Slide
Slide
Slide
Hitachi_AI_HCI
Hitachi_HCI
HCI
previous arrow
next arrow

自主科技| 港辦高等教育AI論壇 大學研究成突破關鍵

理大校長滕錦光
理大校長滕錦光:人工智能發展正在改變社會,影響工作、學習和生活方式。理大成立數據科學及人工智能學系,明年將成立計算機及數學科學學院。

[自主科技]

人工智能衝擊各行業,對教育影響尤深,香港剛舉辦AI論壇,多家著名大學校長出席,深入探討大學應對AI挑戰,以及推動AI研究角色。

論壇由理工大學與泰晤士高等教育合辦,以「人工智能時代的高等教育」為題,大學高層以外,多位人工智能專家出席,其中有前AI研發高層,包括科大主席沈向洋,他曾擔任微軟核心團隊,管理全球研發工作。此外,清華大學智慧科學講席教授張亞勤亦有出席,亦是全球知名AI專家,曾執掌微軟亞洲研究院。

沈向洋說,生成式AI須大量算力,主要仍靠GPU,受地緣政治和成本高昂,大學推動研究困難重重。他以「講卡傷感情,沒卡沒感情」,形容高等教育研究AI困局,現時100張GPU卡動輒千萬元計,非一般校院所能負擔。

現時,生成式AI的最大障礙是算力不足,所有大模型預訓練都是大型科企一手包辦,高等院校難以參與,要靠資源共享和多方協作,才足以發展AI。

講卡傷感情

推動AI的協作幾個方向。沈向洋指,首先校內的跨學科研究,資源共享和跨學術合作。科大校董會在禁售前,通過耗資二千五百萬港元,購買512張A100輝達GPU,以推動AI研究,亦與其他學科如物理研究共享,以充分利用資源。

第二是靠政府推動協作,結合力量推動研究。沈向洋說,本港創新研究平台InnoHK內成立生成式人工智能研發中心,科大牽頭組織5家亞洲大學共同研發AI,取得不少進展。

科企財雄勢大,大學與其合作亦可解決「卡荒」。沈向洋指出,過去10年,AI約有97%最具影響力論文,均出自業界。他指出,微軟全球研發經費,每年約一成半是推動與大學合作,可見其重要性。合作兩蒙其利,大學亦可獲算力研究AI。

PolyU_AI
三位知名人工智能科學家,包括科大郭毅可(左)、清華大學張亞勤(中)及理大楊紅霞,探討中國人工智能機遇和挑戰。

中國應用後發先至

張亞勤曾出任微軟亞太研發集團主席,後來再加入百度,親歷初期AI行業發展。張亞勤說,AI發展可分為三層次,包括硬件基建、算法/大模型、應用。以中美之間AI的發展,從硬件基建;晶片算力、網絡、高性能記憶體,美國遙遙領先,基本上沒有懸念。

第二層是基建以上軟件架構,從大模型、算法、結構框架,OpenAI和Google仍處於領先,國內的阿里巴巴、百度、字節跳動以及大模型的七小龍;包括零一萬物、百川智能、智譜AI、月之暗面、Minimax、階躍星辰和雲從科技等,已經與美國旗鼓相當。

最上的第三層,從AI的應用和商品化,內容生成、機械人、製造業應用等各方面,張亞勤以為,中國開始領先美國。

「回顧不少科技的發展,以互聯網和流動應用為例,基礎研究源自美國,中國卻在應用層面青出於藍,開發產品更無出其右。AI發展軌跡,可能與其他科技相似,未來五至十年,中國AI應用性能和規模上,可能亦是後發先至。」

需求發明之母

儘管中國缺乏算力,AI要突圍而出,仍有不少困難,大模型性能仍是遵從所謂「規模定律」(Scaling Law),須依靠加入算力、參數和訓練數據投入,才能提高性能。張亞勤說,未來的數年,Scaling Law作用之下,算力仍是決定因素,中國不免受到掣肘。

但是,現時算法和機制,其實效率並不高,算法須尋求進步,以改進計算架框和算法,純以算力和參數去提高性能,終有一日無以為繼,遲早另闢蹊徑。

其中一個可能,生成式AI訓練將趨向分散式的運算。上周,張亞勤到訪三藩市,與圖靈獎得主Yoshua Bengio促膝長談,彼此都以為AI,近年單靠投入算力和數據量,已經可取得進步,導致算法改進,反而被忽略了,中國受到算力限制,發展受阻下,需求又是發明之母,算法上必然尋求突破。

分散式AI訓練

香港極為缺乏算力,理大電子計算學系教授楊紅霞在業界從事大模型開發,達15年之久,先後在IBM、阿里、字節跳動研發機構,是少數參與研發大模型的專家,回港投身學術界,預見AI研究柳暗花明,學術界會重掌主導權。

楊紅霞長期在業界,對企業研發侷限,卻有另一番見解。她指擁有算力,未必代表永遠立於不敗之地。她舉例,Google坐擁大量算力和人才,研究方向反受業務牽制,所以即使率先提出Transformer架構,研究焦點卻落在檢索上表現更好的BERT結構上,Google長於檢索技術,只見樹木,結果錯過機遇,終於讓OpenAI有機可乘,異軍突起,率先在基礎模型取得突破。

大模型發展至今、可能處於臨界點,以超大算力和參數預訓練的「數據模型」(Model over Data)傳統範式,已到了盡頭,反之為每個領域訓練相對較小的「語言模型」(Small Language Models),再通過「模型之上的模型」(Model over Models, MoM)方法構建基礎模型(Foundation Model)的範式,日後有機會興起。大學又正好有不同知識範疇,創建較小的語言模型,針對不同應用,又可訓練更多人才投身,帶動大模型取得突破。

理大研究以MoM建立分散式AI實驗室,以解決GPU不足,容許研發機構和企業共同發展。楊紅霞指,大學發展AI有獨特優勢。也許終有一天,生成式AI預訓練不再是大企業專利,飛向尋常百姓家。

Leave a Reply

Your email address will not be published. Required fields are marked *