[新技術速遞]
上海「世界人工智能大會」（WAIC）為全球最大型人工智能（AI）會議之一。去年，WAIC開始舉辦香港分會場; 今年由創新科技署主辦、科技園公司合辦，今年的WAIC上海主會場開幕當天，亦在香港科學園同步舉行。
AI消耗大量算力，尤其是邊緣推理（Inference）更甚，推理要快速反應，也不可能回傳到雲端推理；語音辨識、視覺運算、機械人各種應用，都要耗用邊緣算力，不少更要求低功耗，香港有設計團隊開發AI晶片，有望大幅降低AI成本，普及AI應用。
香港科技大學全資擁有的「智能晶片與系統研發中心」（ACCESS）在2020年成立，目前也是InnoHK研發平台重點項目之一，開發新一代AI加速技術。
ACCESS中心主任鄭光廷為科大副校長，專長於研究電子設計自動化和視覺運算，較早前在WAIC香港分會場發表主題演講，討論AI晶片設計與架構如何改寫人工智能物聯網（AIOT），甚至全球微控制器（MCU）市場。
AI發展有三大元素；分別是數據、算法和算力。鄭光廷指，AI應用的發展，建立在多項AI基建上，包括算法、視覺運算、人機介面、自然語言處理等，AI基建須在硬件上執行，AI應用在各生活層面，前題須要有新一代硬件，以提高算力和降低成本。
算力功耗無以為繼
AI的凖確度和算力之間，關係密切可說唇齒相依。
過去10年算力飛躍，大大提高AI凖確度，令AI終於有了應用價值。隨著AI發展，數據愈來愈多，算法愈來愈複雜，早超越了算力極限，功耗成本驚人，結果是投入算力和能耗愈多，凖確度提昇有限，回報愈來愈少，到了無之為繼的境地。
AI再往前發展，須開發新一代的硬件，配合AI算法和應用特徵的專用晶片。但為各種AI應用或算法，設計出專用晶片的難度極大。ACCESS為未來開發AI硬件，加速AI硬件設計的生產力，訂下了4個策略。
四大策略攻克難關
ACCESS研究多種技術；首先是開發技術配合傳統晶片，以求突破硬件瓶頸；包括新一代的記憶體設計、矽基光子（Silicon Photonic）、甚至3D IC技術；以多枚晶片進行三維垂直整合，突破半導體電子及材料的物理極限，也就是炙手可熱的Chiplet技術。
第二個策略則發展記憶體為中心的運算架構，也就是「內存運算」（in-memory computing），將運算帶至記憶體執行。第三則開發AI硬件設計自動化方法學和工具，包括AI晶片的EDA工具。
最後ACCESS透過協同設計，以開發針對各種AI應用和算法的硬件。現時的硬件和軟件都是獨立設計，AI開始時更只利用CPU或GPU通用處理器，後來陸續出現AI加速硬件，近期的RISC-V處理器也加入向量計算，其他加速技術包括Google的TPU和華為Ascend、Microsoft的Holographic processing unit等，都是針對某類算法優化，ACCESS則更從AI的應用和傳感器層面，結合算法優化硬件，大幅加速AI並和降低功耗。
專用晶片大勢所趨
鄭光廷舉例，ACCESS已開發出超低功耗AIOT傳感技術，以倍數降低能耗。「所謂AIOT，必須快速傳回實時數據、準確性高，功耗極低以隨時部署。ACCESS開發的超低功耗的影像傳感器，以每秒15幀實現的特徵提取，功耗僅7.63μW，影像及壓縮只是69.4μW，類似技術部署在公共空間點算人數，僅以電池續航力可長達5年。」
現時的AI監視鏡頭，不少都內建邊緣運算的人數點算功能；不過須連接電源，加上算力極其有限，統計誤差甚大。ACCESS在WAIC場館內，展示了以推理引擎搭配傳感器的陣列，混合了模擬和數碼記憶體的架構，在數據處理功能嵌入了傳感器後，大幅減少傳感器和運算之間數據傳輸和記憶體訪問，大幅提高性能。
ACCESS主任研究員霍曉說，AI加速晶片整合到微控制器（MCU），為物聯網設備加入AI性能。現時MCU實現AI/ML推論，包括TinyML等技術，性能受到限限，配合ACCESS加速晶片，可以極低功耗，實現高性能的邊緣推理，為智能設備甚至自動駕駛，加入低成本的高性能AI。
據研究機構ABI估計，2030年全球具TinyML技術的MCU，出貨量超過25億枚。不過，除非有類似ACCESS高性能低功耗加速技術，才有望令AI運算，無處不在。