近日，快手?jǐn)?shù)據(jù)平臺(tái)部聯(lián)動(dòng)快手中學(xué)在快手總部舉辦快手大數(shù)據(jù)架構(gòu)技術(shù)交流會(huì)，交流會(huì)邀請(qǐng)了來自快手、阿里巴巴、美團(tuán)的5位技術(shù)大咖，為現(xiàn)場和線上聽眾帶來了一場技術(shù)分享盛宴。

近年來，隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，數(shù)據(jù)架構(gòu)等眾多技術(shù)方向也在各家互聯(lián)網(wǎng)公司得到應(yīng)用和落地。在技術(shù)飛速發(fā)展下，業(yè)內(nèi)從業(yè)者也始終關(guān)心一線大廠在數(shù)據(jù)技術(shù)領(lǐng)域的實(shí)踐，行業(yè)交流的需求和呼聲也越來越強(qiáng)。

本場快手大數(shù)據(jù)架構(gòu)技術(shù)交流會(huì)，采用線下+線上（快手號(hào)“快手大數(shù)據(jù)”“快手中學(xué)”直播）同步開展的方式。交流會(huì)由快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人趙健博出品，快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師徐增強(qiáng)、阿里巴巴資深技術(shù)專家楊克特、快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師鄭天祺、美團(tuán)資深技術(shù)專家曾林西、快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師蘇國東分別帶來5個(gè)不同方向的議題，分享了數(shù)據(jù)架構(gòu)領(lǐng)域的優(yōu)秀實(shí)踐和技術(shù)發(fā)展。

本場交流會(huì)活動(dòng)線下、線上參與人數(shù)超過2.2萬人。從報(bào)名人數(shù)看，超過22%聽眾為國內(nèi)外知名互聯(lián)網(wǎng)公司，來自BAT的同學(xué)占比達(dá)到7%。干貨滿滿的技術(shù)分享，豐富多彩的互動(dòng)，讓線下和線上的聽眾都感到“不虛此行”。

快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)的發(fā)展與挑戰(zhàn)

會(huì)議伊始，快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人趙健博率先開場，為現(xiàn)場及線上聽眾介紹了快手的發(fā)展史以及快手?jǐn)?shù)據(jù)架構(gòu)的發(fā)展歷程。伴隨快手的飛速發(fā)展，快手的數(shù)據(jù)量急劇增長，諸多業(yè)務(wù)帶來的海量數(shù)據(jù)也為數(shù)據(jù)架構(gòu)團(tuán)隊(duì)帶來全新的挑戰(zhàn)。

快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人  趙健博

跨AZ容災(zāi)，降低50%存儲(chǔ)成本

快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師徐增強(qiáng)，從快手對(duì)象存儲(chǔ)架構(gòu)、快手跨IDC EC架構(gòu)設(shè)計(jì)和實(shí)踐等多個(gè)角度，分享了快手對(duì)象存儲(chǔ)領(lǐng)域的技術(shù)積累與實(shí)踐。在快手跨IDC EC架構(gòu)實(shí)踐的部分，他著重分享了數(shù)據(jù)EC流程、數(shù)據(jù)Fixer流程、數(shù)據(jù)可靠性保障以及IDC故障處理，豐富的演講內(nèi)容讓聽眾收獲滿滿。

快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師  徐增強(qiáng)

流批一體，實(shí)時(shí)和離線數(shù)據(jù)業(yè)務(wù)邏輯一體化

交流會(huì)的第二個(gè)議題來自阿里巴巴資深技術(shù)專家楊克特，議題為《Apache Flink發(fā)展歷程和在阿里巴巴的實(shí)踐》。楊克特從Flink的發(fā)展歷史、關(guān)鍵技術(shù)解析和Flink在阿里巴巴的應(yīng)用三個(gè)方面，分享流批一體數(shù)據(jù)平臺(tái)的建設(shè)和應(yīng)用。

阿里巴巴資深技術(shù)專家  楊克特

Projections來自快手的解決方案

Projection是快手向開源數(shù)據(jù)庫ClickHouse貢獻(xiàn)的一個(gè)重要的新特性?？焓?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師鄭天祺為聽眾分享了關(guān)于ClickHouse的背景，著重介紹了Projection的原理與應(yīng)用、特性對(duì)比與實(shí)際效果，為廣大關(guān)注開源項(xiàng)目的聽眾分享了快手的貢獻(xiàn)，也為行業(yè)輸出了新的實(shí)踐案例。

快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師  鄭天祺

沒有完美的架構(gòu)，只有恰當(dāng)?shù)臋?quán)衡

本次交流會(huì)還邀請(qǐng)了來自美團(tuán)的資深技術(shù)專家曾林西，他分享的主題是《美團(tuán)Spark Remote Shuffle Service架構(gòu)設(shè)計(jì)與實(shí)踐》。演講內(nèi)容涵蓋Spark在美團(tuán)的發(fā)展歷程、Spark Shuffle原理理及存在的問題、Spark Remote Shuffle Service（RSS）架構(gòu)設(shè)計(jì)、RSS在數(shù)倉生產(chǎn)場景的實(shí)踐。

美團(tuán)資深技術(shù)專家  曾林西

快手大數(shù)據(jù)混部架構(gòu)演進(jìn)之路

最后一個(gè)議題來自快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師蘇國東，他從快手大數(shù)據(jù)混布的背景開始，介紹了快手離線超配架構(gòu)、快手實(shí)時(shí)混布架構(gòu)、快手容齊云混布架構(gòu)，為聽眾帶來了《快手大數(shù)據(jù)混部架構(gòu)演進(jìn)之路》。

快手?jǐn)?shù)據(jù)架構(gòu)研發(fā)工程師  蘇國東

本次參與快手大數(shù)據(jù)架構(gòu)技術(shù)交流會(huì)的聽眾覆蓋包括BAT、美團(tuán)、滴滴等知名互聯(lián)網(wǎng)公司，不僅限于數(shù)據(jù)開發(fā)，還吸引了算法、架構(gòu)、后端開發(fā)、數(shù)據(jù)分析、運(yùn)維、測試等不同崗位；同時(shí)，本場交流會(huì)還吸引了北京各大高校的同學(xué)、講師。

活動(dòng)現(xiàn)場圖

參會(huì)聽眾反饋，本場交流會(huì)分享的諸多案例和實(shí)踐，對(duì)于從業(yè)者乃至行業(yè)都產(chǎn)生諸多正面影響，讓聽眾既能了解大數(shù)據(jù)架構(gòu)技術(shù)的發(fā)展，更能感受到快手對(duì)行業(yè)的貢獻(xiàn)，以及快手大數(shù)據(jù)架構(gòu)技術(shù)的落地與應(yīng)用。觀看快手大數(shù)據(jù)架構(gòu)技術(shù)交流會(huì)完整回放請(qǐng)?jiān)诳焓諥PP搜索“快手中學(xué)”或“快手大數(shù)據(jù)”。