受邀出席騰訊數(shù)字生態(tài)大會(huì) 作業(yè)幫分享大數(shù)據(jù)平臺(tái)架構(gòu)演進(jìn)之路

近日，2021騰訊數(shù)字生態(tài)大會(huì)在武漢舉行，大會(huì)以“數(shù)實(shí)融合·綻放新機(jī)”為主題，邀請(qǐng)了300多位產(chǎn)業(yè)領(lǐng)袖和專(zhuān)家，展示前沿技術(shù)成果、創(chuàng)新服務(wù)場(chǎng)景、細(xì)分行業(yè)數(shù)字化轉(zhuǎn)型的實(shí)踐案例。作為騰訊云最佳生態(tài)合作伙伴，作業(yè)幫受邀出席，作業(yè)幫大數(shù)據(jù)平臺(tái)技術(shù)部負(fù)責(zé)人劉晉在“大數(shù)據(jù)”專(zhuān)場(chǎng)與參會(huì)者分享作業(yè)幫大數(shù)據(jù)平臺(tái)架構(gòu)的演進(jìn)之路，系統(tǒng)地介紹了作業(yè)幫大數(shù)據(jù)平臺(tái)概況、面臨的問(wèn)題和解決方法，以及在彈性、數(shù)據(jù)湖、數(shù)據(jù)安全的實(shí)踐經(jīng)歷和取得的效果。

彈性能力持續(xù)豐富 算力利用率最大化

劉晉表示，作業(yè)幫從2015年開(kāi)始就使用存算分離的架構(gòu)來(lái)構(gòu)建離線的數(shù)據(jù)體系，該系統(tǒng)架構(gòu)讓計(jì)算、存儲(chǔ)資源具備極好的擴(kuò)展性，降低運(yùn)維成本、優(yōu)化TCO。為了提升在線集群資源利用率、滿足突發(fā)的資源使用需求，團(tuán)隊(duì)正在將計(jì)算層從自建CDH到EMR的遷移。

為了實(shí)現(xiàn)平滑的遷移，團(tuán)隊(duì)采用了漸進(jìn)式的方案，首先對(duì)任務(wù)進(jìn)行標(biāo)準(zhǔn)化測(cè)試，對(duì)一些不適合高版本Hive環(huán)境的任務(wù)進(jìn)行了改造，之后進(jìn)行數(shù)據(jù)準(zhǔn)確性的檢驗(yàn)，通過(guò)對(duì)任務(wù)在不同集群的結(jié)果對(duì)比來(lái)驗(yàn)證數(shù)據(jù)，這個(gè)過(guò)程中對(duì)發(fā)現(xiàn)的開(kāi)源版本缺陷進(jìn)行修復(fù)，最后進(jìn)行分隊(duì)列的遷移。

從遷移后的效果來(lái)看，基于EMR-EKS能快速的彈性擴(kuò)容，今年上半年團(tuán)隊(duì)基于彈性在短時(shí)間內(nèi)擴(kuò)容了上萬(wàn)核，很好的滿足了計(jì)算需求。同時(shí)正在實(shí)施在線離線混布的方案，通過(guò)彈性網(wǎng)卡做了硬件層面的網(wǎng)絡(luò)隔離，并且對(duì)Yarn的原生調(diào)度模式進(jìn)行優(yōu)化，縮短了節(jié)點(diǎn)回收的時(shí)間，避免慢節(jié)點(diǎn)影響任務(wù)執(zhí)行效率。

數(shù)據(jù)湖技術(shù)加持 湖倉(cāng)一體實(shí)踐探索

在傳統(tǒng)基于Hadoop的數(shù)倉(cāng)應(yīng)用里，存在著數(shù)據(jù)查詢(xún)慢，數(shù)據(jù)模型更新成本過(guò)高、以及數(shù)據(jù)冗余等諸多的缺點(diǎn)，作業(yè)幫通過(guò)Iceberg的數(shù)據(jù)湖技術(shù)，結(jié)合實(shí)際的使用場(chǎng)景，在數(shù)倉(cāng)和即席查詢(xún)領(lǐng)域進(jìn)行了積極的探索和實(shí)踐。

首先通過(guò)Flink構(gòu)建實(shí)時(shí)Pipeline，生成ODS層分鐘級(jí)的IceBerg數(shù)倉(cāng)表，再通過(guò)事件驅(qū)動(dòng)來(lái)周期性的做流轉(zhuǎn)批生成具有時(shí)間邊界的分區(qū)，對(duì)分區(qū)內(nèi)數(shù)據(jù)通過(guò)Zorder、DataSkipping技術(shù)來(lái)做查詢(xún)加速，在流量域的用戶(hù)行為查詢(xún)中，使用Iceberg的查詢(xún)相比傳統(tǒng)模式有近10倍以上的提升。

劉晉表示，作業(yè)幫在批計(jì)算、實(shí)時(shí)、OLAP等領(lǐng)域有豐富的應(yīng)用場(chǎng)景，未來(lái)作業(yè)幫技術(shù)團(tuán)隊(duì)將持續(xù)建設(shè)創(chuàng)新技術(shù)體系，在數(shù)據(jù)治理、數(shù)據(jù)湖、自動(dòng)調(diào)度、離在線混布、OLAP、實(shí)時(shí)計(jì)算等領(lǐng)域不斷的實(shí)踐和突破，充分發(fā)揮數(shù)據(jù)價(jià)值，賦能教育創(chuàng)新。

關(guān)鍵詞： 作業(yè)幫