[新科技速遞]
生成式AI出現，不少大模型（LLM）出現，以AI提昇生產力，不過必須上網。最近多種終端設備包括手機和個人電腦，紛紛加入本地模型。Microsoft、Google和蘋果宣布為平台加入本地AI功能，雖然開源LLM可下載執行，傳統電腦部署8B參數以上的LLM，運作已甚為吃力。
最近市場上出現多部高通Snapdragon的X Elite和X Plus筆記電腦，搭配上專為AI而生的Windows 11 AI系統，實現獨一無二AI體驗。
Snapdragon的X系統算力可高達45TOPS，但終端設備始終受制算力，只運行統稱為「小語言模型」（Small language model，SLM）的語言模型。邊緣運作的SLM參數較小，上下文長度有更大限制，如果以電腦作比喻，參數代表了語言模型的運算能力，上下文長度就是記憶體，類似大模型要求的運算能力，手機或消費級電腦無法應付，必須上網才能運作。
小模型變大市場
最近，蘋果及Microsoft公佈邊緣設備運作的SLM；雖然參數較少，功能集中文字生成和推理，負責設備上處理用戶文件，勝在私隱度高，具感知場景能力，能辨別用戶個人需求，協調應用提供適切服務。
蘋果在全球開發者大會介紹Apple Intelligence，手機內SLM的參數只有3B， Openai只是處理無法本地應付的查詢。Microsoft的Phi-3開發從3.8B到14B參數的SLM，相較於Meta 剛公佈Llama 3參數多達4000億，邊緣設備運行模型較小，優點是保護隱私，結合設備應用，又毋須上網，隨時離線使用提供協助，適合總結和摘要、內容生成、程式碼生成、語言翻譯、智能助理對答。
上周，華為開發者大會2024鴻蒙作業系統HarmonyOS Next預覽，亦聲稱具原生的AI，再通過AI智能體（ Agent）協調，智能助手小藝具備感知場景能力，可按用戶個人需要作規畫，協調手機APP完成任務。據Counterpoint統計，鴻蒙佔中國市場份額已超越了蘋果，今年首季達17%。
場景感知保護隱私
與LLM比較，SLM模型參數不算多，Phi-3-mini只有70億參數，通過測試數學、哲學、法律等，性能媲美OpenAI 的 GPT-3.5（1750 億個參數），全球多家廠商正開發不同SLM，在邊緣設備支援應用。
SLM配合新一代處理器，包括高通、聯發科、英特爾、AMD的AI處理器，提供暢順AI體驗，預計刺激終端設備銷路。SLM最大優點是功能專一，感知設備的「用戶場景」（Context-aware），例如從訊息內容，自動上網搜尋資訊，主動作規畫和推薦。
上星期，多部Copilot+ PC人工智能AI PC相繼推出，Copilot從對話式AI，陸續支援更多AI，Copilot+ PC的Recall應用，為電腦上活動定期拍照，以AI加索引，查詢時間軸就可找到應用、文件或檔案，還提供建議。理論上，Recall方便用戶尋找資訊，可是一開始就引來批評，觸發隱私疑慮。不過新版Windows配合NPU，改善視像通話質素，自動追蹤拍攝技術、自動構圖及模糊背景，而Live Captions實時轉譯和生成會議摘要，相當實用。
HP推出EliteBook Ultra G1q搭載Snapdragon X Elite平台，40+ TOPS （每秒兆次運算）性能令人眼前一亮，AI PC首次加入Copilot快捷鍵，助用戶撰寫電郵、計畫書、報告、迅速綜合摘要文件、總結網上數據等。Microsoft表示，大部分應用已按Arm版本優化，即使不少非 x86 和x64原生應用， 亦可利用Prism模擬器運行。
Snapdragon大舉上市，AMD亦迎頭追上。 Lenovo推出14吋 ThinkPad P14s Gen 5，配搭AMD Ryzen PRO 8040 HS系列AI神經處理器（NPU） ，亦可加速AI，39 AI TOPS的效能較上代，再提升 3.5 倍。
不少AI支援Linux環境，通過Kubernates或Docker部署，ThinkPad P14s Gen 5可搭配 Windows 11 Pro，又支援Linux，已通過 Ubuntu、Red Hat Enterprise、Fedora、Debian 和 Rocky 認證，包括 Ubuntu 和 Red Hat Enterprise。
AMD Ryzen性能優越，入門版價格也較親民，Microsoft押注在高通Snapdragon，曾幾何時，憑Wintel叱吒一時的英特爾，如今可能斯人獨憔悴了。