【世界播資訊】高通押注混合AI，終端側或將運行100億參數模型

2022年末，美國人工智能公司Open AI推出了ChatGPT對話模型，迅速風靡全球并快速迭代，其在不到4個月后又發布了能力更強大的GPT-4，而后乘勝追擊，推出了聯網和第三方應用插件功能，不斷刷新人們對生成式AI強大能力的認知。毫無疑問，生成式AI帶來的巨大機遇將成為業界變革的轉折點。

(資料圖片僅供參考)

然而，隨著生成式 AI 模型使用量和復雜性的不斷增長，僅在云端進行推理并“不劃算”，因為包括硬件、場地、能耗、運營、額外帶寬和網絡傳輸在內的數據中心基礎設施成本也將持續增加。而將一些處理從云端轉移到邊緣終端，則可以減輕云基礎設施的壓力并減少開支。這也是為何混合 AI 對生成式 AI 的規?；瘧弥陵P重要。

高通技術公司作為終端側AI領導者，面向包括手機、汽車、XR頭顯與眼鏡、PC和物聯網等在內的數十億邊緣終端，可以提供行業領先的硬件和軟件解決方案，對推動混合AI規?；瘮U展獨具優勢。6月16日，高通正式發布了白皮書《混合AI是AI的未來》，進一步闡釋了混合AI在大模型時代的優勢，以及高通如何憑借終端側AI領導力、全球化規模和生態系統賦能，讓混合AI成為現實。

“混合AI是AI的未來”

所謂的混合AI是指終端和云端協同工作，在適當的場景和時間下分配AI計算的工作負載，以提供更好的體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務。在以云為中心的場景下，終端將根據自身能力，在可能的情況下從云端分擔一些AI工作負載。而混合AI架構可以根據模型和查詢需求的復雜度等因素，選擇不同方式在云端和終端側之間分配處理負載。例如，如果模型大小、提示(prompt)和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側進行。如果是更復雜的任務，模型則可以跨云端和終端運行。

此外，混合AI還能支持模型在終端側和云端同時運行，也就是在終端側運行輕量版模型時，在云端并行處理完整模型的多個標記(token)，并在需要時更正終端側的處理結果。更重要的是，隨著強大的生成式AI模型不斷縮小，以及終端側處理能力的持續提升，混合AI的潛力將會進一步增長。參數超過10億的AI模型已經能夠在手機上運行，且性能和精度達到與云端相似的水平。不久的將來，擁有100億或更高參數的模型將能夠在終端上運行?；旌螦I可以說是能夠適用于幾乎所有生成式AI應用和終端領域，包括手機、筆記本電腦、XR頭顯、汽車和物聯網，并在成本、能耗、性能、隱私、安全和個性化體驗方面更具優勢。

例如，在成本方面，生成式 AI 搜索可以提供更加出色的用戶體驗和搜索結果，但每一次搜索查詢 ，其成本是傳統搜索方法的10倍。所以，當前面向大語言模型推理的云計算架構，將導致搜索引擎企業的運營成本升高。但混合AI能夠利用現已部署的、具備 AI 能力的數十億邊緣終端，以及未來還將具備更高處理能力的數十億終端，在一定程度上減輕運營成本壓力。

在能耗方面，邊緣終端能夠以很低的能耗運行生成式AI模型，尤其是將處理和數據傳輸相結合時。而在時延方面，當生成式 AI 查詢對于云的需求達到高峰期時，會產生大量排隊等待和高時延，甚至可能出現拒絕服務的情況，向邊緣終端轉移計算負載可防止這一現象發生。

高通全棧AI優化

眾所周知，高通已經將其AI能力帶入了包括智能手機、筆記本電腦、PC、汽車在內的眾多終端產品中，其終端側AI技術在大模型時代下也將成為推動混合AI規?；涞氐闹匾屏?。據高通技術公司產品管理高級副總裁兼AI負責人Ziad Asghar介紹，高通已經在飛行模式下實現了全球首個Android手機上的Stable Diffusion終端側演示。Stable Diffusion是一個參數超過10億的超大神經網絡基礎模型，能夠基于輸入的文本提示生成圖片。而通過高通的全棧AI優化，這一模型能夠完全在終端側運行，實現在15秒內完成20步推理，生成飽含細節的圖像。

Ziad Asghar也直言，雖然高通目前已經能夠支持Stable Diffusion這一超過10億參數的模型在終端側運行，但許多關鍵的生成式AI模型的規?？梢赃_到10億到100億參數之間，例如文本生成圖像、自然語言處理、編程、圖像理解、圖像創作等。所以，在未來幾個月內，高通將有望支持參數超過100億的模型在終端側運行。而這無疑也將成為基于高通技術的產品的重要差異化優勢。

此外，通過高通AI軟件棧，高通已經實現在搭載驍龍計算平臺的筆記本電腦上運行Stable Diffusion。憑借行業領先的高通AI引擎，基于驍龍計算平臺的筆記本電腦在MLCommons V3.0上率先實現了出色的MLPerf基準測試結果。同時，高通也是唯一一家能夠在MLCommons V3.0的筆記本電腦品類中獲得測試結果的公司，這也正是因為其擁有能夠在終端側運行如此大規模AI用例的硬件引擎。

其實，早在2022年6月，高通就推出了專門面向邊緣側AI的領先軟件棧產品——高通AI軟件棧，將其所有相關的 AI 軟件產品集成在統一的解決方案中。OEM 廠商和開發者可在其產品上創建、優化和部署 AI 應用，充分利用高通 AI 引擎性能，讓 AI 開發者創建一次 AI模型，即可跨高通所有硬件運行 AI 負載。談及高通AI軟件棧的核心優勢，Ziad Asghar表示，基于高通AI軟件棧的模型一旦開發出來，就可以在不同地方使用，再與混合AI部署相結合，形成殺手級的組合，將幫助生成式AI在不同終端上進行規模化擴展，實現生成式AI的普及。

未來，高通將不斷提高邊緣側支持的模型參數閾值，Ziad Asghar提出，在不久的將來，擁有100億或更大參數的生成式AI模型將能夠在終端上運行。

關鍵詞：