不出戶，越四季，游四海｜vivo運用AI打造更懂用戶的人像技術

2020年，vivo牽手FIRST青年影展，到今年已是第四年，但這卻是我頭一次到現場感受這場別致的影展，真是大開眼界。特別令我開心的事情是，今年這屆影展的超短片單元，有近60%的作品是由手機完成，且最年輕的創作者只有14歲。我曾說過：“這是一個美好的時代，因為手機影像的普及，讓每個人都擁有揮灑自己創意的機會”，在這次影展上是實實在在感受到了。但作為消費電子行業的媒體人，對于本次影展的關注還是要落腳到7月30日下午的影像盛典特別活動，在這次活動上，vivo再次壯大了自己的影像技術矩陣……

(資料圖)

AIGC和人像技術的融合

今年FIRST青年影展的活動是從7月23日開始的，而本次vivo影像技術的特別活動早在7月18日就在重慶拉開了帷幕。在這一天，我頭一次來到了位于重慶南岸區的vivo智能工廠，vivo動（作）捕（捉）實驗室就在這里。這次行程對我來說還挺意外的，這家工廠布局于2014年，于2017年竣工投產，在vivo產品陣列中占據重要位置的S系列就在這里生產，但我怎么也沒想到vivo動捕實驗室居然坐落在廠區之中，一系列vivo面向未來的AI影像技術也在這里開發預研。

我們能看到的vivo動捕實驗室的具體形象，主要是由多達175臺單反相機（174臺負責影像捕捉，1臺用于監控）和數十枚LED閃光燈組成的環形暗室，以及用于處理暗室捕捉信息處理、算力強大的服務器陣列組成。短短數秒的成像之后，再經過40分鐘左右的建模運算，現實世界中的實體就能被數字化為3D模型，從而就可進行各種靈活的圖形處理。官方宣稱這套模型可以重建出“毛孔級”的高精度3D人體模型，可以支持在虛擬環境下實現極具真實感的渲染視效。現場有媒體老師自告奮勇參與了建模實驗，從最后呈現在大屏幕上的結果來看，“毛孔級”三個字的形容毫不夸張，尤其是面部、衣服等表面細節的保留非常全面。

除了這些能看到的內容，在FIRST影展特別活動之后，與vivo影像副總裁于猛、vivo影像產品高級總監李卓、vivo影像認知產品總經理湯青良等藍廠高層的面對面交流中，于猛還提到了vivo動捕實驗室令人咋舌的“軟件”配置：這家實驗室是2022年，vivo與位于美國圣地亞哥的加州大學聯合建立的，同等形制配置的實驗室在大洋彼岸也有一套，都專注于AI和3D兩個層面技術的預研。位于重慶實驗室目前有100多人，學歷都偏博士向，規格非常高。

相信看到這里，很多朋友都非常疑惑：動捕實驗室那套東西如此龐大，3D建模時間又如此之長，其成果要如何轉化到小小的手機中？對比服務器陣營強悍的算力，手機芯片的算力又如何能保證實現的效果呢？這一點實驗室的工程師解釋得非常清楚，他們所做的工作，主要是為vivo儲備人臉、人體和手勢為核心的三大人像3D感知算法能力，實現對人臉面部表情、人體姿態動作以及手勢交互感知的精準捕捉和驅動。換言之，實驗室后最交付到手機軟件端的也會是一套適應手機應用場景的軟件模型，在手機芯片的算力驅動下，實現最接近實驗室的運行效果，套用那句經典的廣告詞：實驗室“知其道”，手機終端“用其妙”。

人像3D感知能力之于vivo影像所擅長的人像賽道相當重要。比如vivo X系列手機后置影像模組人像模式中的蔡司鏡頭風格模擬、虛擬景深等算法，就必須依賴人像3D感知算法的能力，同樣，S系列的前置自拍功能也需要這套算法的能力。特別是被我們稱為“死亡空洞”的小縫隙、發絲等弱紋理邊緣的摳像效果，過去總是不盡如人意，而vivo動捕實驗室給出的結果顯示，在其構建的算法體系下，過去那些看起來“一眼假”的“翻車” 場景將被極大的弱化。更重要的是，因為有動捕實驗室提供的基礎模型保駕護航，就算是不運用多目方案，采用單攝像頭方案也能實現非常好的空間捕捉能力——不開玩笑，Google相機早就給我們呈現了算法的威力。

細心的朋友肯定注意到動捕實驗室那上百臺相機旁邊還有總計數十枚LED燈，只需要3秒鐘時間，這些LED補光燈就能模擬各種角度的補光效果并由相機捕捉下來——這就是智能補光（重打光）算法的基礎，相信很多人都還記得伴隨iPhone推出人像模式時那數種模擬燈光效果吧，殊途同歸。它的基礎應用還是為人像模式提供更有空間感、氛圍感和質感的照片，這一點很容易理解，但它更深層次的應用，則是動捕實驗室為vivo影像開辟的未來賽道：通過與AIGC（生成式AI）算法結合，探索高品質虛擬內容創作技術在人像拍攝場景的有效應用，比如這次特別活動上展示的：將建模的3D人像置于不同實景之中，足不出戶便可穿越四季、云游四海，且合成的照片真實程度極高，妙趣橫生。

但是，這種將摳像出來的3D模型置于實景中合成的照片，想要“毫無PS痕跡”，最重要的就是需要將實景的光線條件合理地打在3D人像模型上，才能實現理想的效果。vivo動捕實驗室的影棚中，補光燈與捕捉相機的位置一一對應，自然能在3D建模的同時，也將光線信息一并納入其中。重要的是，這些AIGC算法的運行，全部基于端側的模型算力，這是出于vivo保護用戶數據隱私的底線來進行的。

于猛特別提到：vivo布局動捕實驗室，一方面是為現在競爭激烈的常規影像賽道服務，其產生的3D建模算法，能為vivo標志性的影像功能服務，另一方面則是布局未來的第二賽道，盡管端側AIGC能為傳統影像帶來哪些殺手級的應用尚不明確，但現階段vivo影像團隊必須要有勇于試錯的勇氣，只有這樣才能為未來技術的產品化做好儲備。

劍指百分移動影像

第一個章節的內容，從屬于本次影像盛典特別活動中的“超感人像系統”技術家族。除了這項兼具現在與未來的技術之外，還有其他很多新技術在會上被提及，它們的出現，讓影像技術矩陣的規模再次被壯大。受制于場合，這些技術的介紹都有些蜻蜓點水的味道，但它們都無一例外劍指下半年就要推出的下一代影像旗艦。本來對X系列寄予厚望的消費者就不在少數，在這次技術發布之后，期待值又是上升了一大截。

其中我最感興趣的就是蔡司宣布專門為vivo設計的全新標準“Vario-APO-Sonnar”長焦鏡頭。Vario，意為蔡司變焦鏡頭；APO，復消色差，長焦鏡頭中這項技術不可或缺，被首次運用于移動影像領域；Sonnar，蔡司用于其中長焦鏡頭的結構，結合起來看，就是蔡司為vivo專門設計了用于移動影像的中長焦變焦鏡頭。再加上運用了浮動鏡組技術，讓這一支鏡頭可以涵蓋中長焦風光、微距和人像等多個場景。在vivo X90 Pro+上，藍廠運用計算光學技術讓6400萬像素傳感器的長焦模組煥發了第二春，相信這枚鏡頭在未來會讓X系列擁有更強的影像表現，畢竟于猛也說長焦和視頻會是vivo接下來將要發力的賽道。

說到視頻，當然就要提到vivo全新的影像協處理器V3。這次發布會上只是簡單透露了些許參數，比如6nm制程，AI-ISP架構等，在它的算力加持下，vivo新的影像旗艦不僅可以支持4K@60幀的電影級視頻錄制，還能在錄制完成后進行焦點、虛化等后處理操作——將這一系列特性放在FIRST影展這個場合宣布，vivo顯然是想要表明在視頻生產力方面，其對專業創作者也同樣有吸引力，大家不一定非要去用iPhone。在會上，vivo也提到將會支持索尼雙層晶體管像素(2-Layer Transistor Pixel)技術，考慮到李卓在會后專訪中提到與索尼定制的VSC仿生光譜傳感器，說不定在這項新技術上，vivo也同樣會進行定制。

之于普通消費者，除了全新的超感人像系統是福音之外，包括全景模式在內的全焦段夜景能力又是另外一個好消息。新的“蒼穹夜景系統”能在夜景拍攝這個典型場景下，讓vivo手機的用戶更輕松地拍攝出華麗清晰的照片來。為了讓手機鏡頭能有更好的發揮，會上也宣布蔡司T*鍍膜將運用Multi-ALD技術，將鏡片組之間的中心反射率從之前的0.2%降低至0.1%，進一步減輕復雜光線條件下的炫光和鬼影。

寫在最后

從2017年開始，在AI加持下的移動影像產生了躍遷式的大發展，即使在這個過程中，有過“畫月亮”的爭議，但到了今天，相信所有人都已經高度接受了這項技術的存在。正如于猛所說，在傳統移動影像的技術發展越來越體現出平臺期的特征時，盡早著手下一個賽道的預研刻不容緩。比如3D人像建模與AIGC的結合，借助手機算力即可產生可以類比電影工業級特效的結果，那么無論是對創業者，還是普通消費者，不又是一個值得期待的未來么？

關鍵詞：