[新科技速遞]
2025 年國際消費電子展(CES 2025)上,輝達(Nvidia)行政總裁黃仁勳發佈多款產品,美國AI投資氣氛冷卻之際,Nvidia重新部署到消費市場。
AI 在雲端發展,AI大模型部署應用,現時多通過雲端以連接 API進行。不過,AI要普及化,在終端設備加入AI,似乎是必經之途,蘋果推出Apple Intelligence,結果毁譽參半。AI PC 銷量差強人意,躑躅不前。
以往,PC上須備置NPU或者GPU,才能跑大模型,還要降低精度,以減少記憶體和運算消耗,市場上不少開源平台,包括Ollama、LM Studio、Open WebUI,可在PC或Mac上,運行參數較少模型。
一般而言,較小模型的能力有限。AI從雲端開始發展,部署及應用AI模型,不少是連接雲端的API,很多AI PC潛在用戶;類似是設計師、軟件工程、創意人員,PC的 AI基本上不能應付專業工作,暫不會改用AI PC,一般用戶又嫌售價太貴,結果兩邊不討好。
Nvidia的GPU和CUDA生態,幾乎壟斷大模型訓練和遊戲卡,黃仁勳公佈RTX 50 系列GPU最為矚目,融入AI和神經渲染技術,最低階RTX 5070售價549美元,性能上與上一代取價1599 美元的頂級RTX 4090看齊。
據研究機構Jon Peddie調查,去年第三季Nvidia佔GPU市場近九成,長期供不應求。
超級電腦投石問路
黃仁勳公佈超級AI電腦Project Digits,搭載 GB10 Grace Blackwell 超級晶片,包括 Grace CPU 和Blackwell GPU,最高提供1 PFLOPS 的 AI運算性能,支援2000億參數的模型,預計5月上市,售價3000美元。
可是,美國GPU設計專家Raja Koduri和研發AI服務器的Tiny Corp批評,Project Digits誇大了性能,所謂1 PFLOPS算力,精度只有FP4,性能還不如RTX 5070。
Project Digits的128GB記憶體計算,如果大模型精度FP16,每個參數2 Byte,只能運行640億參數模型。大模型精度降低,可減少記憶體和計算需求,以FP4訓練模型可能因精度損失影響性能。不過精度降至FP4的模型在推理上,損失其實並不嚴重,Project Digits不能應付嚴肅的科學工作,以GB10 Grace Blackwell 超級晶片執行一般的AI推理,肯定綽綽有餘,日常用量大用戶,相信會轉用Project Digits。
Project Digits 也是消費級AI PC的試金石,Grace CPU的Arm處理器與台灣MediaTek(聯發科)合作。黃仁勳指,聯發科可在「其他方面」採用Grace Blackwell,雙方會有其他計畫。
他提出,Arm 處理器的Windows電腦,可透過 Windows Linux subsystem(WSL2)可連接Nvidia在 Linux 環境的 AI 開發工具和模型。言下之意,MediaTek肯定進軍AI PC,只是時間的問題,Project Digits是進軍 PC賽前熱身。Nvidia會透過MediaTek合作,拓展Blackwell到AI PC市場。
一石二鳥立於不敗
現時Arm 架構的PC廠家,幾乎只有高通的Snapdragon X系列,智能手機早就利用AI技術,MediaTek在流動晶片與高通平分春色,雙方AI各擅勝場,MediaTek加入PC市場,加快Arm 架構AI PC普及。
Project Digits另一賣點,預載Nvidia連接DGX生態各項軟件,包括 NeMo 框架、RAPIDS 庫加速數據科學應用,PyTorch、Python 和 Jupyter Notebooks各項工具一應俱全,部署開發生態,伸展了DGX生態,推動Nvidia完整生態,包括硬件、軟件、開發者工具,為Nvidia基於Arm 架構拓展PC市場鋪路。
Project Digits以基於Linux的 Nvidia DGX 作業系統,本地DGX OS環境下模型原型設計、微調和測試後,直接部署到DGX Cloud 雲平台,反之亦然,確保了AI項目在不同環境都可運行,無需修改模型的底層。
DGX生態統一江山
Project Digits支援DGX生態,目標就是與其他產品線協同。例如Project Digits開發微調項目進一步測試處理,實現跨終端AI應用和開發,例如推動智能機器人和自動駕駛。Nvidia的AI晶片雄霸遊戲和AI訓練,嵌入式AI包括機器人和自動駕駛市場,亦脫穎而出。2014年,Nvidia推出嵌入式AI模組Jetson系列,打入了機器人和邊緣AI推理市場,有不少工業應用場景。
CES上,黃仁勳推出新一代汽車智駕晶片Thor,單顆算力達2000TOPS,針對L4/L5級自動駕駛車載娛樂及智能座艙等,宣佈與豐田合作發展自動駕駛。
2024年,Nvidia上一代Drive Orin汽車晶片站穩高端自動駕駛市場;去年下半年Orin佔國內新能源乘用車智駕網域控制更近半。DGX雲端訓練高精度目標檢測和路徑規劃模型,Project Digits可直接支援Jetson和Thor系列的AI開發生態。
Nvidia進軍AI PC,可能改寫多個市場;從專業工作站至個人電腦,傳統廠商岌岌可危,只能自求多福了。