[新科技速遞]
生成式人工智能（AI）被公認是繼互聯網之後，最具影響力IT科技突破，快速普及，大模型（LLM）性能愈來愈強，不少企業希望引進AI，卻必須克服合規的風險。去年IBM推出AI開發平台watsonx、Granite大模型及數據平台，支援其他開源大模型，同時也推出全面的管治技術，確保生成式AI是安全及合規。
IBM香港區總經理潘鳳瑤說，據IBM最近調查，大企業有 42%表示已積極部署AI，另四成正探索，礙於技能不足、數據複雜、信任成本等障礙未大規模部署。IBM推出的AI平台watsonx.ai，覷準了上述難題。
AI平台虛位以待
IBM首席科技總監李永輝介紹，watsonx是生成式AI平台，也是IBM去年最重要產品發佈，x指x Factor，代表一種特質，簡單而言是與別不同。Watsonx包括了watsonx.ai、watsonx.data和watsonx.governance，IBM更認為AI管治能力，更是部署AI的關鍵。
「watsonx開發平台支援大模型（LLM），亦可開發傳統的AI。事實上，機器學習在計算和預測，例如在欺詐偵察（Fraud detection），傳統AI比大模型更適合。」李永輝說，watsonx.ai是開放AI平台，具用戶開發介面，以生成和測試提示，並微調大模型，亦同時可部署機器學習／預測性AI，並支援多個開源大模型；包括Mixtral和Llama 3等。
大模型日新又新
另外，watsonx.data平台則是IBM「湖倉一體」（Lakehouse）方案，類似Databricks的Data Intelligence Platform方案，為企業數據（包括結構化和非結構化）提供單一存儲，供機器學習、商業智能（BI）和AI運算訓練，訓練和微調大模型，支援Hadoop大數據分析等任務。
近期，Databricks推出MoE架構的132B的DBRX大模型，值得一提是DBRX在標準基準測試，包括兩個綜合基準（Composite benchmarks）、程式設計和數學及MMLU比所有開源模型優勝，DBRX更屬於開源，參數比Granite多出10倍。
IBM的Granite參數較少，但是利用網上數據、學術數據和代碼，再加上一成是法律和財務數據，訓練出13B參數Granite大模型，精於回答法律財務問題，最大特點則是利用可信數據訓練，過程嚴謹，新版本過濾約三分之二數據，刪除來源不可信或重複數據，確保沒仇恨、辱駡和褻瀆（HAP）數據。李永輝說，經評估Granite安全性最高，包括最少暴力、有害、歧視性措辭及個人敏感數據。
Granite另一優點是透過IBM代碼訓練，精於代碼轉換，可自行編寫Ansible的Playbook執行自動化營運和開發。「Granite是在可信頼數據上訓練，改善了「對齊」方式，即使13B參數，亦超越不少65B、40B和30B性能。」雖然Granite非開源，仍可利用企業數據，在watsonx.data平台微調成企業專用的模型。
管治架框重中之重
Watsonx更專注於建立AI管治上，即使用戶是利用開源模型，watsonx.governance亦可確保生成式AI的透明度和可解釋性，甚至是否安全；適用於商業環境。
近期，各國相繼立法監管AI。今年4月，歐洲議會通過《人工智能法案》（AI Act），美國政府簽署首個AI行政命令，香港金融管理局早向銀行業發出AI指引，企業必須具備確保AI安全和合規的框架，以確保生成式AI符合法規，AI管治將是未來焦點，而watsonx協助企業AI合規，避免AI應用違規，例如大模型是否使用適當的數據，數據有否被更改，內容是否帶有偏見和仇恨，包含HAP數據等。
測試評分確保安全
watsonx.governance包含了三個功能，首先是生命週期治理（Life cycle governance），從業經驗證或信賴的函式庫或AI模型，再構建起專用模型，即使未來有性能更好的模型出現，watsonx亦可提供測試框架，以確保答案符合預期，提醒用戶應注意事項。
另外watsonx.governance亦具風險管理功能，對模型進行評分，決定模型是否有所偏差，是否出現漂移問題？也就是模型處理相同問題，答案有否明顯變化。第三確保法規遵從，各地出台AI法規，AI模型必須兼顧合規，watsonx亦可在AI應用推出前，構建審批的流程。
IBM已大模型推出供應鏈、人力資源和專家系統應用AI方案，最近為香港政府工務部門建立AI模型，工程師輸入標準資訊，即可生成事故報告，簡化流程後，工程師生產率提高了6倍，下一步將為工程隊俉建立虛擬專家的知識庫（Knowledge hub），通過RAG加入部門工程文檔，自動回答技術問題。
李永輝說，IBM已為多家企業提供度身訂造方案，解決管治、風險評估、私隱保護等，不少諮詢顧問開始採用，確保管治、風險管理和合規。