人工智能(AI)起飛,視覺運算可算是發展最快的應用之一。不少人認為,視覺運算的成本不菲,其實廠商已推出方案,減低開發的難度,部署也愈來愈簡單。
儘管說,不少AI深度學習模型都以雲運算訓練,但是應用時的推論(Inference)卻是利用邊緣設備,不少人相信,未來智能手機將是AI的最大入口。
不過,一般的SoC,並不專門作AI運算,難以處理神經網絡的工作負荷。許多時候由於網絡速度的限制,AI推論也不一定利用雲運算,許多時設備只傳回輕量元數據(Metadata)到數據中心,AI推論其實也是利用分散運算。
IOT視覺技術
不少AI推論在終端進行,設備往往要利用專用AI晶片。2016年,英特爾看準了這個趨勢,收購了研發加速AI晶片的Movidius。
Movidius專門生產供無人機使用AI晶片。深圳大疆的子公司Ryze所推出的特洛(Tello)無人機,亦是利用了Movidius的Myriad視覺處理單元(VPU)。Ryze利用了Myriad為Tello無人機處理高速的影像和視覺;令Tello「看得見」周圍影像,Myriad的視覺技術,Tello可在飛行中避開障礙物,「看」到自己與地面之間距離,實現精確的空中懸停;Tello甚至可降落在伸出的手掌之上,一切均全靠Myriad視覺處理技術,Myriad的VPU功耗極低,Tello還可以連續飛行13分鐘。
英特爾也推出Movidius神經運算USB手指(Neural Compute Stick),能夠以低功耗運作,連接Ubuntu的桌上電腦或者Raspberry Pi進行實時物件分類和辨識,支援兩種DNN框架,包括TensorFlow和Caffe。Movidius最大優點是進行物件分類時,完全無須網絡連接。模型首先在雲端,或者性能較強的電腦來訓練,再以Movidius的SDK工具,以Movidius配搭一般電腦作型態化(Profiling)、調整(Tuning)、編譯(Compile),然後進行原型設計認辨物件。Movidius也支援連接四枚USB手指一同作AI加速,目前在港售價約為港幣650元。
英特爾也建立Intel AI Academy網站,推廣本身AI硬件,從XEON處理器到FPGA晶片,又舉辦網上研討會,介紹Movidius等神經運算USB手指的各種應用。
DeepLens技術門檻低
除了Movidius,AWS也推出視覺運算的邊緣設備,AI智能鏡頭DeepLens,開發人員利用AWS上的SageMaker,先行訓練及部署機器學習模型。SageMaker可減少訓練、調校以及部署機器學習模型所需時間,亦可利用Jupyter Notebook快速測試模型。SageMaker可管理和自動化訓練和調校的步驟,模型更快投入運作。當模型訓練完成,Greengrass ML推論可將機器學習的模型,從雲端部署下載到DeepLens執行,Greengrass推論也是直接DeepLens內執行,資料不用來回傳送至雲端推論;只在額外處理資料,才會傳送到AWS雲端。
DeepLens亦可利用Lambda服務再啟動其他服務;例如當DeepLens偵察到特定物件時,才觸發運算的需求;「看到」某些物件經過鏡頭,馬上發出SMS或電郵通知,甚至連接到Echo語音助手,以人聲發出提示。DeepLens可算迄今最容易開發和部署的AI視覺終端設備,但只支援AWS的雲端服務。DeepLens在Amazon購物網站有售,每套約為港幣2000元。