火山引擎首次發(fā)布自研視頻芯片，“抖音同款”走向千行百業(yè)

澎湃新聞?dòng)浾?王瀟雨

無(wú)論你是不是一個(gè)短視頻愛好者，視頻化的場(chǎng)景也已經(jīng)覆蓋了你生活的方方面面。

QuestMobile數(shù)據(jù)顯示，截止到2023年5月，中國(guó)移動(dòng)視頻行業(yè)整體用戶規(guī)模達(dá)到10.76億，月人均時(shí)長(zhǎng)達(dá)到64.2小時(shí)。即便沒有這些數(shù)據(jù)統(tǒng)計(jì)，日常的生活已說(shuō)明了一切。

(資料圖)

早上到公司后，你一邊上電梯，一邊打開手機(jī)觀看汽車的“自動(dòng)泊車”是否順利；10點(diǎn)的第一個(gè)會(huì)議需要通過(guò)視頻與外地的同事進(jìn)行溝通；午休時(shí)間你和暑假在家的孩子通了視頻電話，叮囑他不要忘記下午3點(diǎn)的視頻課；晚上到家后，你迅速滑了一下常去的幾個(gè)直播間，看看是否有一些價(jià)優(yōu)的商品可以購(gòu)入。

視頻化的時(shí)代來(lái)臨，催生了用戶以及平臺(tái)對(duì)于視頻轉(zhuǎn)型的需求，也催生了對(duì)視頻云的需求。艾瑞咨詢的數(shù)據(jù)顯示，2024年中國(guó)視頻云服務(wù)整體市場(chǎng)規(guī)模將達(dá)到924億元。一個(gè)千億級(jí)的賽道必然吸引各路人馬的加入，也將加速視頻云的發(fā)展。這其中，“抖音現(xiàn)象”的基石——火山引擎視頻云備受業(yè)內(nèi)關(guān)注。

火山引擎作為字節(jié)跳動(dòng)旗下云服務(wù)平臺(tái)，最初主要服務(wù)于字節(jié)跳動(dòng)內(nèi)部產(chǎn)品，而隨著內(nèi)部產(chǎn)品覆蓋面、影響力的擴(kuò)大，火山引擎的技術(shù)也愈發(fā)成熟，近兩年技術(shù)逐步外溢到B端市場(chǎng)，惠及千行百業(yè)。

NVIDIA英偉達(dá)開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬（左）和火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅（右）共同宣布開源BMF多媒體處理框架

8月22日，火山引擎視頻云&AIGC大會(huì)以“視象新生”為主題，發(fā)布了自研的視頻編解碼芯片，并攜手英偉達(dá)發(fā)布多媒體處理框架BMF（Babit Multi-Media Framework)，與行業(yè)伙伴共同探討視頻技術(shù)的發(fā)展將如何助力不同行業(yè)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新與增長(zhǎng)。

更高清，更交互，更沉浸

在信息爆炸的時(shí)代，沒有人愿意等待屏幕上那個(gè)不斷旋轉(zhuǎn)的圓圈，用戶的流失是以毫秒為計(jì)算單位。

一方面，“更高清、更交互、更沉浸”的極致體驗(yàn)成為用戶需求常態(tài)；另一方面技術(shù)突破天花板見頂，技術(shù)邊界難以打破，行業(yè)在共同突破視頻云上限。火山引擎視頻云發(fā)布的解決方案之所以備受關(guān)注，與其在抖音上的實(shí)踐不無(wú)關(guān)系。

2018年，當(dāng)抖音DAU規(guī)模突破1億以后，在視頻播放、畫質(zhì)、交互、性能等方面遇到了非常多的挑戰(zhàn)，也正是從那時(shí)候起，字節(jié)跳動(dòng)通過(guò)解決業(yè)務(wù)發(fā)展過(guò)程中的各種問題，沉淀出一系列的音視頻技術(shù)能力。

火山引擎的“出圈”不得不提2022卡塔爾世界杯直播。本屆世界杯直播中，抖音免費(fèi)開放了超高清模式，且完全無(wú)片頭廣告。“良心”、“靠譜”、“超高清”等評(píng)價(jià)出現(xiàn)在各大社交媒體上，大批“自來(lái)水”的涌入，讓抖音在此次世界杯賽事期間累計(jì)支持了106億人次的直播觀看，決賽的觀看人數(shù)更是達(dá)到了2.3億。

支持2.3億不同客戶端、不同屏幕質(zhì)量的用戶高清無(wú)卡頓地在同一時(shí)間看到比賽結(jié)果離不開一個(gè)重要工具——轉(zhuǎn)碼芯片。

視頻轉(zhuǎn)碼本質(zhì)上是先解碼再編碼，視頻解碼相當(dāng)于把接收到的壓縮包重新解壓為一幀幀的畫面，視頻編碼則是把每一幀畫面壓縮打包便于傳輸，目的是讓不同終端的用戶提供同樣高清畫質(zhì)的視頻。

此次大會(huì)發(fā)布的火山引擎自研視頻編解碼芯片。經(jīng)驗(yàn)證，其壓縮效率相比行業(yè)主流硬件編碼器提升30%以上，可應(yīng)用于視頻點(diǎn)播、直播、圖像壓縮、XR等業(yè)務(wù)場(chǎng)景。與具備通用計(jì)算能力的CPU芯片相比，火山引擎自研芯片僅支持視頻編解碼任務(wù)，因此能夠在視頻處理場(chǎng)景具備更高的計(jì)算密度。一臺(tái)芯片服務(wù)器的轉(zhuǎn)碼能力與百臺(tái)CPU服務(wù)器相當(dāng)。

簡(jiǎn)單來(lái)說(shuō)，在4K/8K超高清、高幀率場(chǎng)景中，相對(duì)軟件編碼，火山引擎這款視頻編解碼芯片能實(shí)現(xiàn)低延時(shí)的高質(zhì)量轉(zhuǎn)碼，針對(duì)觀看人數(shù)比較小的中長(zhǎng)尾直播，可以節(jié)省大量算力成本。用戶端的感受則是更高質(zhì)的畫面和更低延時(shí)。

火山引擎硬件編碼能力此前在世界編碼器大賽MSU中奪得多項(xiàng)第一，達(dá)到行業(yè)領(lǐng)先水平。此次自研視頻編解碼芯片的發(fā)布，有望大幅提升4K超高清應(yīng)用場(chǎng)景的編碼速度，保證較高的視頻主客觀質(zhì)量，大幅降低4K編碼計(jì)算成本，推動(dòng)更多4K應(yīng)用的不斷普及。

普惠開源，加速視化新進(jìn)程

當(dāng)下，視頻不僅是人們?nèi)粘Ｉ钪兄匾膴蕵贩绞街唬彩切畔鬟f、商業(yè)連接、知識(shí)傳達(dá)最主要的渠道之一，同時(shí)在視頻質(zhì)量、內(nèi)容豐富性、交互性等方面已經(jīng)達(dá)到了新的高度，我們已經(jīng)進(jìn)入了一個(gè)“超視頻時(shí)代”。

當(dāng)視頻化成為應(yīng)用標(biāo)配后，視頻處理框架所面對(duì)的場(chǎng)景和需求越來(lái)越多樣化和復(fù)雜化，同時(shí)對(duì)計(jì)算性能和異構(gòu)計(jì)算資源的運(yùn)用提出更多的要求。快節(jié)奏的創(chuàng)新速度迫切的期望框架有強(qiáng)大的能力幫助用戶把各種能力和方案優(yōu)勢(shì)互補(bǔ)、協(xié)同工作、快速落地。火山引擎攜手英偉達(dá)的基于億級(jí)DAU實(shí)踐的下一代視頻處理架構(gòu)BMF出現(xiàn)了。

從大會(huì)展示來(lái)看，BMF能夠提供簡(jiǎn)潔易用的跨語(yǔ)言接口、靈活的調(diào)度和擴(kuò)展性，以模塊化的方式動(dòng)態(tài)擴(kuò)展、管理和復(fù)用視頻處理的原子能力，以graph/pipeline的方式構(gòu)建高性能的多媒體處理鏈路或者以單獨(dú)處理能力的直接調(diào)用實(shí)現(xiàn)工程集成，幫助多媒體用戶便捷、高效地將項(xiàng)目落地于生產(chǎn)環(huán)境。

在業(yè)務(wù)落地的過(guò)程中，BMF框架的功能多樣性、易用性、兼容性、穩(wěn)定性和性能得到了充分的打磨，可以對(duì)從生產(chǎn)到消費(fèi)的全鏈路視頻場(chǎng)景進(jìn)行支持，包括點(diǎn)/直播轉(zhuǎn)碼、云編輯、移動(dòng)端后處理等，特別是它支持大量視頻AI的應(yīng)用場(chǎng)景，比如視頻增強(qiáng)、視頻質(zhì)量分析等。

NVIDIA英偉達(dá)開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬表示，NVIDIA和火山引擎始終將把BMF打造成新一代視頻處理的基礎(chǔ)平臺(tái)作為目標(biāo)。“未來(lái)，我們會(huì)與火山引擎保持合作，聽取社區(qū)及用戶的意見，在NVIDIA最新的軟硬件平臺(tái)上進(jìn)行迭代，繼續(xù)完善BMF框架。”

基于抖音集團(tuán)的大模型實(shí)踐沉淀，火山引擎也在一直探索AI與視頻云的融合。比如“極致超清”技術(shù)，就是基于人眼的主觀感受最優(yōu)為基準(zhǔn)的AI前處理方案，降低播放碼率，實(shí)現(xiàn)整體降帶寬，單路流降低15-35%，該技術(shù)可以應(yīng)用于大型活動(dòng)直播、電商直播間等場(chǎng)景，提升畫質(zhì)體驗(yàn)；又比如“AI修復(fù)”技術(shù)，通過(guò)利用AIGC大模型強(qiáng)大的生成能力，對(duì)不同損傷情況的老片影片進(jìn)行修復(fù)，從清晰度、色彩、流暢度、瑕疵等方面對(duì)百部港片進(jìn)行全面的畫質(zhì)提升。

字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅

值得一提的是，BMF目前已經(jīng)全面開源。包含BMF框架層整體開源、9個(gè)開箱即用案例、20+API調(diào)用范例，以幫助開發(fā)者低成本的構(gòu)建視頻應(yīng)用。字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅表示：“開源以后，我們計(jì)劃持續(xù)開源更多核心能力，完善解決方案，包括支持更多異構(gòu)硬件、更多原子能力以及移動(dòng)端支持等。希望我們的愿景早日達(dá)成——面向全球，加速視頻化進(jìn)程，共建視頻開發(fā)生態(tài)。”

“十四五”規(guī)劃把開源納入頂層設(shè)計(jì)，開放互聯(lián)也是火山引擎云服務(wù)的重要發(fā)展理念。通過(guò)更多人的參與，技術(shù)革新會(huì)得到加速，未來(lái)商業(yè)也有了更大想象空間。數(shù)字技術(shù)不僅是“某朵云”的基石，也是未來(lái)社會(huì)生活場(chǎng)景的基石。

攜手千行百業(yè)共破“增長(zhǎng)難”

視頻云自誕生之初便被賦予了重要使命——讓企業(yè)“視頻化”的代價(jià)和成本變得更低。相比采用視頻云服務(wù)，自行搭建直播平臺(tái)的成本以及后期的維護(hù)費(fèi)用要高得多，周期也比較長(zhǎng)。在視頻云的助力下，企業(yè)在直播化、視頻化的過(guò)程中，可以有效降低成本、提升效率。

然而，隨著視頻化在各行各業(yè)的不斷深入和滲透，應(yīng)用場(chǎng)景和需求也在呈現(xiàn)碎片化、復(fù)雜化的趨勢(shì)，視頻云方案場(chǎng)景化弱是當(dāng)下的另一邊界。因此，此次大會(huì)的另一個(gè)核心議題，就是與行業(yè)代表們共同探討邊界融合的實(shí)干方案。

在互動(dòng)娛樂場(chǎng)景和營(yíng)銷直播場(chǎng)景上，抖音已經(jīng)給出了答案。例如在基礎(chǔ)直播的基礎(chǔ)上，火山引擎視頻云推出了互動(dòng)直播營(yíng)銷解決方案，從數(shù)據(jù)結(jié)果上來(lái)看，抖音互動(dòng)直播日均場(chǎng)次超210萬(wàn)場(chǎng)。此外，火山引擎視頻云也在PICO的VR業(yè)務(wù)中接入互動(dòng)直播連麥，接入之后的人均看播時(shí)長(zhǎng)也增長(zhǎng)了15.4%。

除了在泛互聯(lián)網(wǎng)領(lǐng)域不斷地進(jìn)化，火山引擎視頻云也在更多的行業(yè)中不斷地積累和實(shí)踐。以智能駕駛為例，在車載視頻監(jiān)控、哨兵模式、遠(yuǎn)程理賠、快遞到車等場(chǎng)景，遠(yuǎn)程畫面可以實(shí)時(shí)呈現(xiàn)，延時(shí)可以低至90ms；在遠(yuǎn)程輔助泊車、末端物流應(yīng)急接管、高危環(huán)境遠(yuǎn)程作業(yè)等場(chǎng)景，控制指令可實(shí)時(shí)響應(yīng)，在丟包80%網(wǎng)絡(luò)下也可以保證信令100%到達(dá)。

截止到2023年，火山引擎視頻云依托其技術(shù)能力和大規(guī)模的行業(yè)應(yīng)用實(shí)踐，不僅覆蓋娛樂，社交、電商、游戲等泛互聯(lián)網(wǎng)場(chǎng)景，也深入到了傳媒、金融、汽車、教育等更多的行業(yè)場(chǎng)景，與上千家不同企業(yè)共同打磨和沉淀音視頻產(chǎn)品方案。

火山引擎總裁譚待表示，在營(yíng)銷、空間、商業(yè)和知識(shí)的交互體驗(yàn)都在發(fā)生變化的視頻化時(shí)代，視頻云技術(shù)因其從視頻生產(chǎn)，處理、傳輸、消費(fèi)的全鏈路技術(shù)能力被賦予了重要使命。隨著AIGC、XR等技術(shù)的興起，新技術(shù)與視頻云的融合將帶來(lái)更多創(chuàng)新和價(jià)值。

從二維到三維，從人工到智能，技術(shù)的飛速發(fā)展讓物理世界與虛擬世界的壁壘不斷被打破。“視頻云”不斷升級(jí)的意義在于，抓住更多想要邁進(jìn)視頻時(shí)代伙伴的手，共同尋找確定的未來(lái)。

關(guān)鍵詞：