Hitachi Vantara物件儲存平台Hitachi Content Platform(HCP)在2022年第二季的銷量,比對上一年增長了四成,較市場平均增長13.6%,亦要高得多。
目前,估計非結構性數據佔全球所有數據存儲9成以上,不過如果非結構數據儲存在SAN/NAS,不單止昂貴,難以被充份利用數據,支撐分析或者新一代應用,長期數據儲存管理,也不足以應付。
如果非結構性數據儲存在檔案系統,由於一般檔案系統利用檔案形式儲存,而且利用了分層結構,如果不知道存取路徑,難以找到資料。物件儲存則是利用custom identifier,加上形容數據內容的metadata(元數據),並不是通過路徑,而是以API存取。
物件儲存以API存取有不少優勢,通過custom identifier或者metadata,最大優點是應用易於讀寫非結構性數據,尤其新一代雲原生應用,物件儲存亦可以無限擴充。
相對而言,利用custom identifier或者metadata,毋論系統如何擴充,幾乎都可對應數據來源。因為對於應用而言,物件儲存是一個平坦結構,所以存取非常簡潔。例如說應用要從儲存取出某段影片,只要提供custom identifier就可讀取,或通過metadata檢索。
其次是物件儲存適合分析,一般用於ML/AL訓練數據,可能都是數以petabytes計算,不可能採用SAN/NAS架構,數據分析與AI應用漸增,市場上開始針對數據分析與AI領域,推出專用基礎架構,而物件儲存就廣泛應用在ML/AL訓練數據,甚至大數據分析。
例如說,某個應用要從儲存取出影片播放,只要利用identifier就可讀取,以metadata分類和篩選,完全不要理會儲存位置,平坦結構令物件儲存具無限擴張的能力,所有數據湖都是採用了物件儲存。數據最大價值還在分析,分析系統通過非結構性數據建立AI模型,AI往往通過大量數據訓練和優化,訓練AI模型往往利用無伺服器架構,多以容器開發,例如Kubeflow去管理流程。
透過能夠高速讀寫和存取非結構性數據,對於開發雲原生應用或者AI分析,性能均較同級儲存為佳。以往不少系統都透過數據庫系統處理Metadata,近年物件儲存metadata可系統生成和附上,例如是地理空間(geospatial)數據,更容易和直接管理,供雲原生SaaS開發應用。
Hitachi Vantara處理Metadata能力無出其右,亦可加強數據的metadata便利未來分析,其實Metadata對於數據的管理、治理、分析、協作和文件閘道功能都非常重要,亦可令數據在存檔後更容易檢索。
不少物件儲存用於備份和恢復,物件儲件結合Erasure Coding,數據分拆多個儲存,甚至不同地理位置,作為數據保護和容錯用途,而重建硬盤時間和成本亦較RAID為低。Hitachi Vantara的Virtual Storage Software Block(VSS Block)亦支援Erasure Coding,可將Hitachi Vantara虛擬儲存平台擴展至雲原生應用。事實上,不少Hadoop檔案系統HDFS難於管理又昂貴,HDFS只應付中小規模數據集存儲,存儲一旦擴展,HDFS極為昂貴和低效率,要同時增加存儲容量和計算能力,不少HDFS亦以Hitachi Vantara的HCP作暫時儲存以降低成本。
Hitachi Vantara物件管理用於長期數據保存,以確保證數據可讀性和可解釋性,並且完整保存原始數據和Metadata。不少數據格式、合規性、應用程式和使用方式在數據生命週期中斷變化,Metadata也為長期保存帶來保證。