新科技速遞
快閃記憶SSD價格下跌,消費產品不少以NVMe介面,發揮SSD性能,不過數據中心改用NVMe介面,卻有不少技術挑戰。
超融合系統(HCI)可利用NVMe介面SSD,減低系統延遲率,紛紛加入不少新功能,令系統的儲存效率更高,能夠安裝更多虛擬機器,而運行應用的反應更快。
Nutanix在年度的Nutanix .NEXT Digital Experience大會上,發表了新的SSD儲存技術,可充份利用NVMe介面,較利用SATA的SSD,再快上2倍。
Nutanix亦與英特爾合作支援Optane SSD和3D NAND技術,達到了更低延遲的要求,對於了純NVMe平台,搭載了Optane SSD技術。
作業系統管理的虛擬記憶,分為「用戶空間」(User space)與「核心空間」(Kernel space)兩個區段;劃分兩者是作為記憶體保護其中一環,以免應用影響核心操作,運行用戶空應用,統稱為用戶級(Userland)。不過,傳統的作業系統技術,有時會妨礙了新技術的創新,SSD就是一個例子。
檔案系統遷移
Nutanix虛擬的平台作業系統稱為AOS,每個Nutanix節點上,都安裝一個虛擬儲存控制器(Controller Virtual Machine,CVM),控制系統IO輸出輸入,稱為「Stargate」。Stargate位於用戶空間,以往Nutanix的AOS利用了一般Unix系統的EXT4檔案系統,位於虛擬記憶內的核心空間。
Nutanix工程師巧妙地想到在用戶空間,打造另一個檔案系統,再與CVM整合。如此一來,用戶空間內同時放置檔系系統和區塊管理層,減少了用戶空間和核心空間之間,數據來回抄寫的次數,以減少延遲度。
Nutanix的AOS 5.18版本加人的區塊式儲存(Blockstore)技術,就是在用戶空間加入檔案系統,儲存效率已明顯高於傳統檔案系統。
不過AOS 5.18在用戶空間加入Blockstore後,還有額外好處,就是用戶空間可直接安裝英特爾開發的開源的存儲性能開發套件(SPDK)。
以往,CVM靠系統核心SCSI次系統,才跟能儲存設備通訊,與核心空間交換內容,檔案系統搬至了用戶空間,SPDK完全擺脫了SCSI次系統,直接在用戶空間,透過直接記憶存取(Direct Memory Access,DMA)技術,與NVMe的儲存完成數據交換,進一步減低延遲。
SPDK如虛添翼
SPDK是由英特爾發起,用於加速NVMe SSD作後端存儲的應用軟件加速函式庫。函式庫的核心就是在用戶空間、非同步的輪詢NVMe驅動(因為SSD相當快,毋須再以interrupt requests (IRQ)決定IO)。相比內核NVMe的驅動程式,SPDK也大幅降低了NVMe 指令的延遲,提高處理器IO速度。
SPDK為完全針對NVMe開發的新一代SSD驅動,用戶空間上的應用,直接存取經NVMe介面的SSD,毋須經作業系統或內核空間。據英特爾的數據,SATA SSD隨機讀取為103 µs,而隨機寫入則為54 µs。Nutanix以搭載了Optane SSD,讀寫延遲為10-12 µs。
分離SSD令人期待
另一家HCI,VMware也在vSphere 7加入NVMe-oF (Non-Volatile Memory Express over Fabric),支援NVMe over Fibre Channel及NVMe over RDMA (RoCE v2),同樣毋須經SCSI次系統,配合Marvell的Qlogic光纖通道與FastLinQ以太網卡,vSphere 7.0利用NVMe-oF存取以SSD建立的資源池。
傳統vSAN為HCI超融合的部署,運算和存儲聚合在服務器節點,組成對等集群,而支援NVMe-oF後,vSAN可將SSD遷移JBOF專用機箱,安裝多條SSD的資訊池,供多個VM或應用共用。
NVMe-oF存儲和計算可單獨擴展;超融合的運算和記憶體往往耗用很低,儲存卻不足夠,結果要再增節點。NVMe-oF可遠程配置SSD,以資源池方式分配,充份利用,也可隨時擴展SSD數量。
NVMe over TCP是更令人期待系統,成本更低,儲存的服務更多。Lightbits Labs在上次的VMworld 2019上討論以在超融合上實現分離式SSD,Lightbits Labs的vSAN服務器節點的功能更高,加下更多管理功能,就像存儲的管理網關,仍可靠上層的鏡像,實現高可用性。
Nutanix改善了NVMe的性能,但有關SSD技術的競爭,才剛剛開始。