[企業轉型]
AWS作為全球最大雲服務,每年年底的re:Invent用戶大會推出的產品,往往成為業界焦點。
2014年,re:Invent公佈了無伺服運算Lambda,幾乎改寫雲運算,甚至傳統運算的思維。2020年,AWS行政總裁Andy Jassy指,過半AWS應用已採用Lambda開發。
2017年re:Invent又推出Nitro晶片和2019年Graviton處理器,又一次改變數據中心的設計思考,導而引爆雲端上的高性能運算(HPC),以至DPU革命;如今計算流體力學(CFD)亦可在雲服務上運行,甚至有初創在AWS上設計新一代飛機。
每年,Jassy的主講演說都是re:Invent的亮點,2021年Adam Selipsky接任行政總裁後,全球企業轉向公有雲,幾乎沒有停頓,雲服務增長持續,不少人亦關注AWS改變無伺服運算和HPC後,還有甚麼可令人眼前一亮?
數據價值成焦點
今年re:Invent舉行,從主題演說內容去推測,AWS下一目標,可能改變企業的數據管理。AWS上有不少數據儲存、查詢和分析服務;尤其是其雲源生的數據庫種類,可說無出其右,包括關聯數據庫Aurora、NoSQL的DynamoDB、串流服務Kinesis、數據倉庫Redshift,非結構性數據則以S3物件儲存,可變成大數據分析用的數據湖。
除了數據儲存查詢,AWS也有多種簡單的分析工具,例如針對商業智能Redshift Query Engine和Quicksight、快速查詢的Athena、大數據分析EMR等工具。
以雲原生數據服務,AWS可涵蓋各種應用案例,不少SaaS應用其實亦是直接採用了S3的API存取,AWS全球客戶多達150萬,客戶如何提取數據商業價值,有極大的商業潛力,數據服務自然是重中之重。
Selipsky是Tableau前行政總裁,對於數據價值當然是瞭如指掌。數據用途愈來愈廣,商業潛力之大,已經形成了共識。但是真正可提取數據價值,事先要整合不同來源的數據,除了靠分析工具,配合數據管治和合規管理架構,加上數據凖備整合工 夫、才可發掘出數據真正價值,往往是知易行難。
更新數據管治平台
但是整理管治大量的數據,加上內部數據往往不足夠,有時要整合第三方的數據工作,過程之繁複耗時,龐大數據量令人無從入手,以沙裡淘金形容,亦不為過。
如何可讓用戶大量數據內發現價值,事先須加上適當MetaData(元數據),以建立和維護數據目錄,讓用戶根據目錄系統,快速搜尋有用數據;所以,分析人員在使用數據前,其實整理上已花不少時間。
AWS宣佈推出DataZone,以解決數據管理協作的難題;例如管理和控制數據訪問權,並協助用戶發現數據。DataZone可定義數據,並加以分級分類,並建立數據治理策略,再整合分析。DataZone亦可根據數據來源,透過機器學習後,從來源和類型等自動為數據集,建議加入適當MetaData,以方便分析人員分類,作個別訓練模型和分析用途,減輕管理數據的工作負擔。DataZone亦提供了API,可與AWS各種分析方案或第三方平台DataBricks、Snowflake和Tableau整合。
數據服務新戰場
不少數據都是從交易產生,所有關聯式數據庫的數據,又必先經ETL三部步,也就是抽取(Extract)、轉換(Transform)、加載(Load )數據,才能送往分析或是機器學習。操作過程除了從OLTP系統抽取數據,往往有第三方數據來源,再轉換不同數據格式、整合不同來源再標準化後,才載入數據倉庫產生報表。ETL過程不單痛苦耗時,數據來源一旦變動,ETL又須全盤重整。
AWS發展的雲源生Aurora數據庫,屬於企業級數據庫,支援達128TB數據量,成本約是商用數據庫一成,而且還針對Oracle遷移工具。但數據庫運作成本只屬次要,有時ETL操作花費,可能甚於擁有成本。Oracle的賣點就是OLTP和OLAP一體化操作,減少數據在不同系統之間轉移。
如果數據庫分散在不同地點,則連接數據來源和ETL轉化,成本則可能更高,AWS一直開發的雲原生數據服務,其中一個重點是降低ETL成本,甚至是轉譯不同來源的數據。
Selipsky在re:Invent大會亦提出Aurora和Redshift的Zero ETL整合方案。其實Zero ETL不是一項工具,而是多項AWS服務的總和。
AWS一向都有數據凖備工具Glue,新數據到達前可進行ETL,有時數據來源還有第三方,AWS則以AppFlow支援多種數據源,以轉譯SaaS或第三的數據來源,Zero ETL的願景是將不同來源數據打通,以快速分析或機器學習,以抽取數據價值。從AWS公佈產品藍圖,數據服務有可能是下一必爭之地。
隨著數據重要性上升,雲原生的數據服務,可望加快轉企業向公有雲的轉型。
https://reinvent.awsevents.com/on-demand/?trk=direct&trk=direct