Slide
Slide
Slide
Hitachi_AI_HCI
Hitachi_HCI
HCI
previous arrow
next arrow

Google Lens脫胎換骨 虛擬實景學習解題

GoogleLens
Google Lens搜尋量子力學獲得的原子結構圖,學生掃描STEM或數學亦會獲得解題。

新科技速遞

雖然利用圖片搜尋非新事件,Google Lens出現了好幾年,從2017年推出以來,初期搜尋的結果強差人意,Google Lens透過改善深度學習,又累積大量數據,也開始慢慢成長,配合其他技術,凖確度已大有提昇。

據Google Lens及虛擬實境總監Lou Wang表示,Google Lens可以利用鏡頭搜尋

每個月的用量已突破30億次,並推出了Places filter功能,更快辨認出全球各地的建築物和地標,原因是Places filter結合了Google Earth的3D立體模型,再加上Google Lens的視像辦識技術,構成了具深度的AR體驗,同樣的技術亦正利用在Google Map

Google Lens可辨認數以百億計的物件,iPhone用戶通過Chrome瀏覽器搜尋相機按紐,亦可以Google Lens搜尋事物,尤其是辨認植物更加凖確。Google亦在英國3個城市推出城市步行旅遊,以Google Lens介紹布里斯托爾(Bristol)、利物浦、倫敦的特色景點。

Google Lens可辨認文字,甚至原文位置上蓋上翻譯字句;例如知道餐牌就逐句辨認;部分內容除了原文翻譯,甚至加上物件和其他資訊;三藩市de Young Museum博物館就為展品加上了多媒體作品解讀,Bon Appetit雜誌則為不同菜式,加上了烹飪過程。

GoogleLens
Google推出英國的3個城市推出城市步行旅遊,以Google Lens介紹布里斯托爾(Bristol)、利物浦、倫敦的特色景點。

Google Lens教育功能

除了一般的用途,疫情停課期間Google Lens吸引更多學生使用,因為Google Lens 具數學解答功能,讓學生利用 Google Lens 獲得數學方程式(formula)。透過加入 Socratic App 算式影像辨識技術,為學生自動解題,利用 Google Lens 拍攝數學題,Google 以 Socratic作出解答,列出解題的方程式。

Google Lens提供量子力學模型和3D虛擬實境,學生可以AR觀察多種生物學和化學等3D 模型。Google Lens發展出教育模式,尤其是STEM的題目,只要利用Google Lens掃描就可找到答案。

Google即將推出Pixel 5a智能手機,除了支援5G,亦進一步支援Google Lens,雖然蘋果宣佈了iOS 15新功能Live Text 和Visual Look Up,功能上非常類似Google Lens,但Google Lens不單圖片辨認能力更高,更透過配合多種服務,加上地理位置和GPS,凖確辨認各種地貌,Google在多個大城市推動「Behind the Lens with Google Pixel」活動,鼓勵市民透過Pixel的Google Lens,重新發現自己城市的特色景點。

GoogleLens
Google Lens上的烹飪教程,只要拍攝某種Bon Appetit雜誌上的菜式,就會顯示如何製作的短片。

重新發現城市景點

雖然Google智能電話Pixel流行程度,及不上iPhone。Pixel拍攝的軟件開發,則一定有不少突破,以往包括了Night Sight、Portrait Mode、HDR+功能,結果Pixels鏡頭較少,仍拍出精釆照片,尤其是夜視Night Sight,以疊圖取代長曝光,加大相機的感光元件或光圈,以單鏡頭拍出大光圈照片,Google研發小組Marc Levoy居功不少。

今年3月離開Google的Levoy宣佈了加入Adobe開發一項攝影應用,Adobe已推出Photoshop Camera相機濾鏡,Adobe Lightroom app亦有另一項鏡頭應用,Photoshop Camera功能有限,相信Levoy集中伸延功能。Levoy曾開發Google眼鏡及Street View等項目,拍攝功能加入深度學習和AI,將衍生出更多百花齊放的手機鏡頭應用。

Leave a Reply

Your email address will not be published. Required fields are marked *