Web3嘉年華2025
Slide
Web3Festival2025
previous arrow
next arrow

數碼轉型| DeepSeek開源降推論成本 應科院研助港把握AI機遇

ASTRI
應科院主席李惠光(左)和首席科技官黃瑩博士指DeepSeek出現對本港影響深遠,應科院將助港把握AI機遇。

[數碼轉型]

香港應用科技研究院(ASTRI)舉辦應用科技高峰會,探討生成式AI、低空經濟、智慧城市等發展,助本港普及AI應用。

應科院是全港最大科研機構,包括六百多位科研人員,過去轉化的科技,不少落地在政府和私人企業,甚至走向全球。近期警方推廣的智慧搜救HKSOS應用,在荒郊精準定位搜救戶外活動遇險人士的超級智能Wi-Fi科技,就是應科院投資過千萬美元的研究成果。

香港AI新機遇

應科院持有超過一千多項專利,包括可信AI技術、5G通訊、物聯網感測與AI技術、集成電路系統等,在港設有「國家專用集成電路系統工程技術研究中心香港分中心」,封裝技術曾獲中國國家科學技術進步一等獎,研究範圍包括神經網絡處理器(NPU)及AI晶片。

應科院技術轉化在智慧城市、金融科技、新型工業化及智能製造、數碼健康、專用集成電路及元宇宙落地,具豐富轉化基礎技術為應用的實戰經驗。

新質生產力代表

近日DeepSeek掀起全球AI熱潮,亦為應科院帶來機遇。

應科院主席李惠光指, 中國被限購AI先進晶片,科學家以靈活方法解決問題。DeepSeek令人印象深刻之處,只用少數算力訓練。不過,他認為DeepSeek更大意義,卻是大大降低了推論(Inference)成本。

DeepSeek訓練用AI晶片,數量比同級模型計算,成本少了96%。但是,模型訓練只佔AI算力很少部分,全球八成算力用於推論,也就是在運作時,模型對特定輸入問題生成預測或回應所耗用的算力。

李惠光說:「DeepSeek通過算法去優化推論,大大減低依賴算力,才是業界最鼓舞之處。此舉可解讀為新質生產力,探究不同途徑,解決問題提昇效率,作出顛覆性的改進。」窮則變,變則通。他認為DeepSeek為香港的AI發展,打下一支強心針。

開源成創新之途

DeepSeek令市場洗牌,甚至刺激IBM股價上升。IBM採用DeepSeek相似開源策略和架構,IBM高度讚揚DeepSeek突破,業級AI平台watsonx上架DeepSeek,充份肯定性能表現。

IBM官網Think頻道以「DeepSeek推理型AI盡顯高效訓練的小模型之威」發表評論;AI硬件首席研究科學家Kaoutar El Maghraoui指:「DeepSeek 肯定重塑AI的發展格局,以開源和先進創新挑戰AI產業巨頭。」

文章指,中國AI迅速冒起,部分是擁抱開源,願意分享底層技術。IBM大模型高級技術產品經理Abraham Daniels說,DeepSeek已在開源社區衍生不少功能強大模型,加速AI民主化。

DeepSeek以寬鬆的MIT協議開源,完全開放文檔和權重,容許免費無限制商用,在Huggingface社區下載迅速破百萬,微調和蒸餾DeepSeek衍生出的模型上載過千,盛況空前。

文章認為,DeepSeek發佈R1證明了大模型蒸餾成小模型後,可保留理想推理(Reasoning)效果。以較小的DeepSeek-R1-Distill-Qwen-32B為例,以320億參數在AIME 2024評分達72.6%、MATH-500達 94.3%;蒸餾後模型推論成本低,卻有不俗表現,甚至較Llama 70B要好,性價比無出其右。

開源打破AI畛域

IBM院士Kush Varshney指,全球AI競賽地緣政治的差異開始下降,模型開源之後,源自何方已無關宏旨。

文章指,中國的AI擁抱開源,字節跳動開源操作UI的UI-TARS智能體,表現出色;騰訊和阿里巴巴都開源模型,清華大學開源KTransformers,大大降低AI硬件需求,展現創新活力。相較之下,美國只有Meta和IBM走向開源,OpenAI、Anthropic、Google都走向閉源。

應科院首席科技官黃瑩博士說,DeepSeek降低部署算力,加上開源策略,非常適合部署內部。以往,AI模型耗用大量算力,又以閉源為主,難以在內部部署,DeepSeek的出現,終於迎來轉捩點。

他認為,DeepSeek出現對本港影響深遠,OpenAI只在雲端提供,迫使不少企業上載數據到公有雲,引起不少數據主權問題。應科院從客戶獲悉,期望AI模型可以部署在內部,以免數據要上載雲端。以往大模型對IT基建要求高,香港GPU進口又受限,部署更有不少制肘。

助港把握AI機遇

Deepseek降低了推理算力要求,亦有助AI普及化應用。

「尤其是人事管理和法庭應用,以敏感數據建立問答系統,現在可將數據輸入大模型。」黃瑩說,Deepseek有望推動更多政府和企業AI 應用落地。

圖靈獎得主楊立昆(Yann LeCun)一直提倡開源,多次指出DeepSeek非中國AI超越美國,是開源擊敗了閉源。DeepSeek站在巨人肩膀上,PyTorch 和Llama等開源之上繼往開來。他指出,免費開源AI模型工具,允許更多專家參與,才有望推動進步。楊立昆是Meta的科學家,Llama開源後成為影響力最大的模型。中國是全球開源軟件第二大貢獻國,僅次於美國,GitHub活躍度全球第一,為「雲原生計算基金會」(CNCF)貢獻多個開源項目核心代碼。

李惠光說,AI帶動產業升級,機遇亦帶挑戰,包括「深偽」技術興起,須同時發展可信AI技術,香港才能真正抓住AI機遇。

Leave a Reply

Your email address will not be published. Required fields are marked *