Slide
Slide
previous arrow
next arrow

Red Hat推出推理服務器 vLLM普及AI成本下降

RedHat-vLLM
與傳統的靜態批次不同,靜態批次等待批次中的所有序列完成(由於輸出長度可變且導致 GPU 利用率不足,因此效率低下),連續批次在每次迭代時都會動態地用新序列替換已完成的序列。

[RedHat][vLLM]

人工智能的主要算力都是用在推理(Inference)方面,如何降低推理成本和提高推理效率,一直是業界最關心AI問題。

vLLM(Virtual Large Language Model)是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源, 提供高輸送量的LLM推理並大大降低GPU記憶用量,迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”

小學生手機APP設計比賽 提升編程技能應用知識

中銀人壽
中銀人壽執行總裁鄧子平(右二)、聖雅各福群會總幹事李玉芝(左二)、中銀人壽品牌及企業傳訊總監焦揚(右一)及聖雅各福群會高級服務經理(扶貧服務) 馬子健(左一)為「中銀人壽小財智編程師計劃 – 建構可持續智慧香港」主持啟動禮。

中銀人壽與聖雅各福群會宣佈推出2025全港小學生手機應用程式設計及繪畫大賽,透過跨界別合作,開啟STEAM教育。大賽設豐富獎學金及獎品,即日起接受報名,全港小學生參加。 Continue reading “小學生手機APP設計比賽 提升編程技能應用知識”

中大研微型機械人療法 有效對抗頑固鼻竇感染

 

光催化微型機械人
光催化微型機械人於鼻竇生物膜感染中的治療機制

鼻竇感染困擾不少都市人,常用方法是利用生理鹽水沖洗或抗生素藥物,不過效果因人而異,香港中文大學研發的微型機械人療法,首次應用在對抗頑固鼻竇感染。

中大機械與自動化工程學系張立教授,聯同深圳大學化學與環境工程學院王奔副教授及廣西大學張亞斌教授,成功研發嶄新微型機械人療法,以應對全球最迫切的健康挑戰之一──頑固性細菌生物膜感染。研究結果已於國際權威期刊《Science Robotics》上發表。 Continue reading “中大研微型機械人療法 有效對抗頑固鼻竇感染”

穩定幣發行全球起飛 香港與迪拜合作機遇

Mamo Pay發言人照片(首席執行官)
Mamo Pay行政總裁Imad Gharazeddine說,DIFC的「創新測試許可證」為Mamo Pay提供真實環境的沙盒,測試平台技術並確
保合規

穩定幣在國際愈來愈受重視,美國財長貝森特(Scott Bessent)在國會表示,2028年前他估計美元穩定幣(Stablecoins)的規模會達2萬億美元。 Continue reading “穩定幣發行全球起飛 香港與迪拜合作機遇”