香港生成式人工智能研發中心(HKGAI)雪巍教授團隊聯同杜比實驗室(Dolby Laboratories)的空間音訊研究論文,在 ACM MM 2026 奪得最高榮譽「最佳論文獎」。該會議全名 ACM International Conference on Multimedia 2026,於 2026 年 11 月 10 至 14 日在巴西里約熱內盧舉行。新聞稿指出,是次獲獎印證 HKGAI 在多模態基礎模型的科研實力已穩居世界頂尖行列,亦標誌著「空間音訊生成」技術取得重大突破。
現時的文字生成聲音工具為何不夠「立體」?
新聞稿指出,現時市面上大部分文字生成聲音的 AI 工具,生成的往往是平面的單聲道音訊,就像一個收音機喇叭,所有聲音擠在一起,分不清遠近和方向。即使強行輸出雙聲道,亦容易出現聲場塌陷或方向模糊的問題,難以應用於講求臨場感的電影或遊戲製作。
是次論文的題目為《Discrete Coding and Masked Modeling for Text-to-Stereo Audio Generation》(面向文字生成立體聲音訊的離散編碼與掩碼建模),探討如何讓 AI 僅憑一段文字描述,合成具備真實方位感與動態軌跡的空間立體聲音訊。
StereoGen 系統由哪三大組件組成?
人類能夠聽聲辨位,是因為左右耳接收聲音時存在極微細的時間和音量差異。HKGAI 團隊從這個原理出發,研發出一套全新的空間立體聲生成系統,包含三大核心技術組件:
- StereoCodec(立體聲離散編解碼器):針對雙聲道訊號特點設計,引入符合人類心理聲學(Psychoacoustics)的重建目標,將雙聲道音訊壓縮為高保真離散 token,保留左右聲道之間的空間關係。
- StereoGen(掩碼生成式立體聲模型):採用結合多模態與單模態的混合 Transformer 架構及掩碼生成建模(Masked Generative Modeling)技術,創作者輸入包含空間動態的文字指令,模型即可生成具備空間移動軌跡的立體聲音訊。
- StereoCLAP(語義空間一致性評測框架):引入方向性「困難負樣本挖掘」(Hard Negative Mining),衡量生成音訊與文字描述在語義及空間方位上的匹配度,例如區分聲源在左側抑或右側。
系統如何理解空間移動指令?
新聞稿的模型架構示意圖指出,系統能理解「電單車由右向左高速駛過」等空間移動指令,快速生成具備左右方位變化的立體聲音訊。團隊以離散編碼配合掩碼生成建模,處理雙聲道音訊之間的空間關係。
對影視、遊戲及音訊研究有何意義?
新聞稿指出,這項突破將大幅降低 AI 影視作品、動畫及遊戲開發的後期製作門檻,可根據劇本或玩家位置自動配對具方向感的 3D 環境音效。團隊建立的空間音訊基礎組件,亦為未來構建「聲畫合一」的多模態世界模型(World Models)提供關鍵技術支點。
ACM Multimedia 是全球多媒體領域最具影響力的旗艦級國際學術會議,本屆會議於 2026 年 11 月 10 至 14 日舉行。
HKGAI 是什麼機構?
香港生成式人工智能研發中心(HKGAI)成立於 2023 年 10 月,由政府透過聚焦人工智能及機械人技術的「AIR@InnoHK」創新香港研發平台資助成立,專注研發生成式人工智能技術,目標是建立香港自主研發的人工智能基礎模型和生態系統。HKGAI 以香港科技大學為主導,與本地及國際機構合作。
