當應用架構改變,也改變了IT基建設計的思維。兩年前IDC估計,2023年有約5億新應用和服務出現,催生新一代基建。
最近幾年談論數碼轉型,企業要從累積數據獲得分析,改善營運和效率,手段通常是視覺運算、人工智能(AI)、機械學習(ML)、推薦系統等。
這些應用有些以實時數據,部分分析歷史數據,共通點是AI/ML不少都是以容器(Container)出現,統稱為「雲原生」運算。
AI/ML模型一般通過容器訓練和交付,容器可以Pipeline Workflow快速迭代訓練AI/ML模型,幾乎已成為工業標凖。部署上,容器技術亦有不少優勢,隨時隨地都可部署,又可伸縮自如,但在IT基建上,要求跟傳統應用很不一樣。
軟件定義配合容器
傳統的企業應用講求是穩定和一致性,部署後很少改變升級。虛擬化席捲IT基建設計後,出現「區域儲存網絡」(SAN),數據庫應用仍是以iSCSI或FC協定為主流。企業有不少關鍵應用;從線上交易處理(OLTP)、ERP/MRP、數據倉庫/商業智能分析,追求低時延和IO讀寫,以iSCSI或FC協定的低延遲傳輸,區塊儲存(Block)幾乎仍是標凖配置,性能可作「垂直擴充」(Scale-up)。
後來,市場出現了軟件定義的儲存,但非完全取代SAN。軟件定義最大優點是具雲運算靈活性,以主機(Node)可逐部作橫向擴充(Scale Out),仍改變不區塊儲存(Block)在企業應用的地位。
軟件定義儲存解決容量擴張的難題,而是以主機逐部擴充;透過線性「橫向擴充」也可提高平行讀取速度;非常合適雲原生,或者容器交付的AI/ML等應用。
容器特點是建立後可在任何地點運行,雲原生AI/ML分析訓練後,可轉移至不同位置,或者多部主機上分散運作,這點實在非常適合軟件定義的儲存,分散多部主機上做分析,充份利用平行讀取的能力。
數據傳送實時分析
不少的分析屬於實時性,甚至是從生產中的企業系統擷取實時數據,以儘快靠AI分析決策,在分秒必爭市場內搶佔先機。
數據從「垂直擴充」的企業系統,快速傳至「橫向擴充」儲存作AI分析,回傳結果至公有雲用戶,或者企業系統作出決定。系統之間須具同一「數據層」(Data Plane)才能高速分析數據,結合兩種企業儲存優勢,產生出商業價值。
近年NVMe傳送協定快閃儲存陣列,完全發揮固態硬碟速度,讀寫效能已遠超傳統中階儲存陣列,充份發揮處理器性能,容錯性能極佳,極速執行指令和運算。以Hitachi Vantara企業級VSP 5000系列為例,就是業界最快儲存平台,IOPS可達3,300萬次,遲延率低至39 microseconds,廣泛用於頂級儲存應用。
AI神經網絡往往也涉及平行運算,數據的流量極大,儲存要能應付高速平行讀取,配合GPU處理器的平行處理,快速執行神經網絡等AI分析。
其實儲存系統的設計,往往是根據工作負載誕生。企業應用在NVMe快閃儲存陣列支撐,讀寫數據迅速執行交易;而軟件定義儲存則可供容器等雲原生應用,快速獲得AI分析。
速度決定商業價值
舉例說,金融機構關鍵應用是執行市場的交易,生產系統會採用高可用性、具快速復原能力,運算性能優越的儲存系統,例如VSP 5000系列,要求低延遲和快速IO,高可用性等;不少機構還希望加入AI次系統,以助金融的決策,瞬間獲得先機。
為了不拖慢交易作業,數據要從生產系統抽出,送至平行讀取性能較快的次系統,以多個容器執行AI分析,結果發送回交易系統執行指令,反應愈快,效果當然愈好。
為了配合雲原生AI應用,Hitachi Vantara開發軟件定義儲存技術,在多部主機軟件定義作橫向擴充,加上新一代Polyphase Erasure Coding技術,大大加快平行讀取數據,以針對雲原生並分散執行的容器。
同樣建基於Hitachi Vantara作業系統SVOS,與VSP共享同一的Data Plane,可選擇以iSCSI或FC協定傳送。
Hitachi Vantara的VSSB之所以出現,全因應用架構正在轉變,愈來愈多應用,特別是AI以容器出現,可隨時隨地安裝使用,不分畛域在系統邊緣和核心位置分析數據。容器以微服務(Micro Services)出現,單一應用往往是由鬆散連結,可獨立部署的微服務組成;企業甚至可採用公有雲上的微服務,添加入本身應用加快功能的迭代。
雲原生應用在軟件定義儲存的多部主機上執行,以平行讀寫、容錯和平均負載,更能發揮容器性能。VSSB亦可配合VMware、RedHat、Google Anthos容器的管理架構,分析多部主機構上分散數據。明白上述原理,就明白Hitachi Vantara企業級VSP和軟件定義儲存來儲存VSSB的關係,為何可產生巨大的商業價值。