人工智能機器視覺需求猛增，sensAI重塑深度情境感知

智能手機和各類物聯(lián)網(wǎng)設(shè)備的指數(shù)級增長推動了網(wǎng)絡(luò)邊緣計算的發(fā)展，這些設(shè)備無處不在，但如果將其產(chǎn)生的全部數(shù)據(jù)都向云端發(fā)送，毫無疑問將為云端處理帶來極大的負擔(dān)。因此，基于網(wǎng)絡(luò)邊緣的處理十分必要，不僅可以降低云端的網(wǎng)絡(luò)通信成本和云存儲成本，還能避免云端數(shù)據(jù)通道過載。

目前，網(wǎng)絡(luò)邊緣產(chǎn)品和應(yīng)用的開發(fā)人員越來越多地采用人工智能和機器學(xué)習(xí)(AI/ML)算法來匹配和識別復(fù)雜的模式，以幫助分析數(shù)據(jù)并據(jù)此做出決策。事實上，AI/ML技術(shù)的使用增長極其迅猛，ABI Research的數(shù)據(jù)顯示，預(yù)計到2024年，設(shè)備端AI推理功能將覆蓋60%的設(shè)備。

但許多可以利用AI/ML功能的網(wǎng)絡(luò)邊緣設(shè)備，往往需要在極其嚴苛的功耗限制下運行，充一次電或者僅依靠收集和存儲能量就要工作幾個月甚至幾年。另一方面，近十年來AI模型快速發(fā)展，不斷有新的實現(xiàn)方式產(chǎn)生，需要有更出色的硬件來承載，這就需要硬件和算法上的優(yōu)化。

(相關(guān)資料圖)

作為萊迪思推出的業(yè)界第一款用于網(wǎng)絡(luò)邊緣設(shè)備端AI處理的完整解決方案集合，SensAI^TM提供了供開發(fā)人員評估、開發(fā)和部署基于FPGA的機器學(xué)習(xí)/人工智能解決方案所需的全部資源，包括模塊化硬件平臺、演示示例、參考設(shè)計、神經(jīng)網(wǎng)絡(luò)IP核、軟件開發(fā)工具和定制化設(shè)計服務(wù)，旨在解決系統(tǒng)對于日益嚴格的功耗和小尺寸(5mm²到100mm²)的要求，目前已演進到最新的6.0版本。

初識sensAI 6.0

增強對高性能機器視覺AI解決方案的支持，是此次sensAI 6.0版本推出的初衷。根據(jù)IoT Analytics報告，2020年，制造業(yè)和工業(yè)中的人工智能機器視覺市場規(guī)模約為41億美元，預(yù)計到2025年將增加至152億美元，年復(fù)合年增長率(GAGR)為30%，而傳統(tǒng)機器視覺部署的年復(fù)合增長率僅為6.5%。

如此高的年復(fù)合增長率是因為下一代實時邊緣人工智能機器視覺的應(yīng)用，不僅限于質(zhì)量保證和產(chǎn)品檢測應(yīng)用，還要幫助制造商和使用者獲得更多的正常運行時間、獲得預(yù)防性維護的能力、提高生產(chǎn)力和確保工人安全等諸多受益。

為順應(yīng)這一趨勢，sensAI 6.0對硬件平臺的支持從最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant，這也是萊迪思新推出的低功耗中端FPGA平臺。與此前的產(chǎn)品相比，Avant平臺在性能和硬件資源方面得到了進一步的強化，例如邏輯單元容量達到了500K，相比以往100K-150K的配置，提升了5倍；帶寬提升了10倍，計算性能提升30倍。它的面世不但意味著萊迪思邁入了中端FPGA供應(yīng)商的行列，還打開了一扇通往30億美元增量市場的新大門。

萊迪思sensAI 6.0解決方案集合

萊迪思sensAI 6.0解決方案集合中的IP核包括多種類型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)加速器——CNN、CNN Plus、CNN Compact、Advanced CNN、以及一個CNN協(xié)處理器引擎，能讓開發(fā)人員使用其他人發(fā)布的廣泛使用的各類CNN，例如Mobilenet v1/v2、Resent、SSD、VGG、OpenCV和標準機器學(xué)習(xí)(ML)訓(xùn)練平臺，或者根據(jù)需要自定義CNN模型，再依托萊迪思FPGA的并行處理能力、分布式存儲器和DSP資源，極大簡化了超低功耗AI設(shè)計的實現(xiàn)。

SensAI支持多種AI算法模型

軟件工具層面，sensAI Studio設(shè)計環(huán)境是一種基于圖形用戶界面(GUI)的工具，擁有AI模型庫，經(jīng)過配置和訓(xùn)練可適用于各類主流應(yīng)用場景，可幫助開發(fā)人員快速構(gòu)建機器學(xué)習(xí)應(yīng)用，此番在sensAI 6.0中與編譯器工具一起獲得更新，用以支持新的AI加速引擎。

Glance by Mirametrix?計算機視覺軟件(V10.0)的更新，則主要集中在對用戶界面、攝像頭功能、外部用戶界面(UI)模式的優(yōu)化和低功耗FPGA的支持，是本次更新的重點內(nèi)容之一。

Glance是由Mirametrix公司開發(fā)的注意力感應(yīng)軟件，軟件配合IR Camera(紅外攝像頭)可捕捉用戶的面部、眼睛和凝視動作，從而了解用戶的意識和注意力。利用這項獨特的技術(shù)開發(fā)的智能設(shè)備，能提供更自然和沉浸式的用戶體驗和設(shè)備交互。2021年，萊迪思通過全現(xiàn)金方式交易收購Mirametrix公司，將Mirametrix的專業(yè)知識與萊迪思創(chuàng)新的硬件和軟件解決方案堆棧相結(jié)合，從而創(chuàng)建出了一個從硬件到應(yīng)用層的端到端AI和計算機視覺解決方案。

塑造深度情境感知能力

萊迪思FPGA提供可編程I/O，經(jīng)配置可支持傳感器接口常用的多種電氣接口標準，公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議。由于FPGA長期以來在傳感器融合方面具有顯著優(yōu)勢，因此萊迪思sensAI?6.0解決方案集合包括許多參考設(shè)計示例，演示了多種智能傳感器融合的應(yīng)用案例，它們可以同時運行，實現(xiàn)深入的情景感知，例如：

●?人員偵測

該參考設(shè)計使用CMOS圖像傳感器持續(xù)檢測人員的存在。基于此設(shè)計的AI系統(tǒng)可以使用深度學(xué)習(xí)框架（例如Caffe或Tensorflow）更新所提供的訓(xùn)練模型來檢測和定位任何感興趣的目標。該參考設(shè)計包括一個神經(jīng)網(wǎng)絡(luò)模型、一個訓(xùn)練數(shù)據(jù)集和可使用常用訓(xùn)練工具訓(xùn)練的腳本。

●?條形碼檢測和讀取

條形碼檢測和讀取是一種應(yīng)用程序，通常使用混合了傳統(tǒng)和基于AI/ML的算法的加速工業(yè)PC運行。由于設(shè)計者希望降低部署成本，具有內(nèi)置條形碼讀取功能的攝像頭可以更簡單地實現(xiàn)應(yīng)用程序。因此，此參考設(shè)計演示了使用CertusPro NX FPGA語音和視覺機器學(xué)習(xí)板的條形碼檢測，該板實現(xiàn)了基于Yolov5 NN模型的攝像頭條形碼檢測功能。

資料顯示，該參考設(shè)計允許640 x 480的圖像分辨率輸入，裁剪并縮小到160 x 120進行處理，檢測結(jié)果可在FPGA內(nèi)疊加至輸入圖像的頂部。同時，使用Yolov5型網(wǎng)絡(luò)，實現(xiàn)了在小占地面積內(nèi)提高精度的目標。

條形碼檢測和讀取參考設(shè)計

●?目標檢測、分類、追蹤和計數(shù)

該參考設(shè)計提供了目標檢測、分類、追蹤和計數(shù)的示例，擁有完整的設(shè)計，包括用于萊迪思開發(fā)板的FPGA?RTL、神經(jīng)網(wǎng)絡(luò)模型、示例訓(xùn)練數(shù)據(jù)集以及用于重新創(chuàng)建和更新設(shè)計的腳本。

目標分類參考設(shè)計

●?手勢檢測

該參考設(shè)計使用IR圖像傳感器，實現(xiàn)了一個基于AI的低功耗手勢檢測系統(tǒng)。該參考設(shè)計提供了一個訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個神經(jīng)網(wǎng)絡(luò)模型，方便用戶進行修改。

●?人臉檢測

該參考設(shè)計使用圖像傳感器實現(xiàn)基于CNN的人臉識別，并且可以通過修改訓(xùn)練數(shù)據(jù)庫來識別其他類型的目標。

● 關(guān)鍵詞檢測

該參考設(shè)計使用數(shù)字MEMS麥克風(fēng)持續(xù)檢測關(guān)鍵詞話語。設(shè)計人員可以使用深度學(xué)習(xí)框架（例如Caffe、Tensorflow或Keras）更新提供的訓(xùn)練數(shù)據(jù)集，為系統(tǒng)添加喚醒詞功能。參考設(shè)計包括一個訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個神經(jīng)網(wǎng)絡(luò)模型，方便用戶進行修改。

與此同時，萊迪思還正與合作伙伴和客戶合作，利用多模式、智能傳感器融合和AI/ML技術(shù)，不斷提升PC/筆記本電腦用戶的體驗，并顯著降低筆記本電腦的運行功耗，在某些應(yīng)用中，電池使用時間最多提高了28%。

結(jié)語

此次更新的Automate?3.0和sensAI?6.0解決方案集合，均在萊迪思低功耗FPGA上運行，可實現(xiàn)高效、靈活和安全的工業(yè)應(yīng)用開發(fā)，同時帶來低功耗和小尺寸優(yōu)勢。設(shè)計人員可以在不依賴云端的情況下，快速為網(wǎng)絡(luò)邊緣設(shè)備提供更多計算資源，從而最大程度幫助客戶實現(xiàn)最新的工廠自動化和工業(yè)機器視覺應(yīng)用。

關(guān)鍵詞：