新科技速遞
雖然說,人工智能訓練模型,仍是以NVIDIA的GPU為主流,但是其他專用芯片仍急起直追,不過邊緣推理有不少方案興起,最明顯的就是FPGA和AI的SoC方案,從能耗和性價比挑戰GPU地位。
不少數據必須即場處理,馬上向現場的人員作出反饋,所以不可能利用雲端的算力作推理。不過GPU在功耗和價格較高,所以不少邊緣方案出現了,但是NVIDIA作為AI算力最大廠商之一,近年也推出EGX平台,也有不少創新方案。
NVIDIA針對邊緣運算推出了EGX平台,其中包括了數月前推出NVIDIA Jetson Nano,功耗數瓦特,可應用在流動設備,每秒0.5 萬億次運算(TOPS) 處理速度,可為視覺運算等AI提供推理,據說銷量極佳。
NVIDIA推出NVIDIA EGX Edge 超級運算平台(Supercomputing Platform)高效能、雲端原生平台,平台最大特色是支援雲原生容器技術,隨時從雲端轉移工作負荷到邊緣,通過容器技術,標準化自動部署所有GPU軟件內容。
NVIDIA打造EGX邊緣超算平台,可透過Tesla T4、Tesla V100或Quadro RTX 8000等GPU的加速,最高具備10,000 TOPS以上處理速度。據沃爾瑪的數據,EGX邊緣平台每秒處理的數據量可達1.6 Terabytes,提供完全實時的分析。
針對GPU的Kubernetes技術,支援AI容器,可包裝不同的AI模型變成容器,稱為NGC容器,並利用NGC registry註冊,容器內已包裝了NVIDIA的CUDA工具包、NVIDIA深度學習函式庫和其他AI軟件,支援 TensorFlow、PyTorch、 MXNet、NVIDIA TensorRT、RAPIDS等訓練的模型。
NGC也可快速連接雲服務,從雲端開發的NGC容器可通過Helm快速包裝及部署NGC容器到EGX平台。
NVIDIA已推出打造智慧城市與視訊分析應用的 NVIDIA Metropolis,以及發表 NVIDIA Aerial開發人員套件。Aerial 讓電訊營運商建立虛擬化 5G 無線電存取網絡(RAN),又具備高度可編程化、擴充性與節能,最終可提供像智慧工廠、擴增實境(AR)/虛擬實境(VR)與雲端遊戲等全新服務。
5G的動態部署必須採用全新的RAN設計,支援新功能,包括網絡初割等功能,其高度編程化,採用了SDN和NFV等,必須應用大量FGPA 等可編程的技術。近期,Xilinx和英特爾均大力推動FGPA在5G的應用,不過NVIDIA支援容器,對不少營運商有甚大吸引力。
NVIDIA 攜手合作生態系統夥伴包括了微軟、Ericsson及Red Hat,可見針對5G。
EGX可以讓營運商完全使用雲原生的生態系統,加上NVIDIA較早前收購Mellanox可提供200Gbps傳輸速度的網絡介面,應用在EGX就可讓5G在GPU的記憶體內處理5G的訊號處理,完全虛擬化整個RAN的部署,按照不同的場景,再下載適合容器即場處理接受的訊息,RAN佔去5G主要成本,更可通過容器馬上支援不同應用場景,例如智慧工廠和零售等,通過5G產生收入,相信不少營運商,會對NVIDIA方案感興趣。
沃爾瑪、BMW、Procter & Gamble、三星、東日本電信電話 (NTT East) ,三藩市和拉斯維加斯。沃爾瑪利用EGX邊緣超算,以AI處理從串流獲得的畫面,可以自動提醒超市內的員工補貨到貨架、開設新收銀台應付人流、回收手推車
NVIDIA 已擴展其伺服器認證計劃,並包含全新命名、NGC-Ready for Edge、由 NVIDIA T4 驅動的識別系統、Quadro RTX 8000,以及能夠在邊緣運行最為吃力之 AI 工作負荷的 V100 Tensor Core GPU。戴爾科技、惠普、聯想、QCT 與Supermicro等,為首批與 NVIDIA 合作系統認證廠商,目前全球共有超過 12 家廠商的 20 多款伺服器,皆已完成認證。
EGX 軟體堆疊架構已獲得領先業界的混合雲夥伴們支援,包括Canonical、思科、Nutanix、Red Hat 與VMware 。