Amazon FSx for Lustre 是一項為計算工作負載提供高性能、經(jīng)濟高效且可擴展的文件存儲的服務,現(xiàn)在支持 Elastic Fabric Adapter (EFA) 和 Nvidia GPUDirect Storage (GDS)。
通過此次發(fā)布,Amazon FSx for Lustre 為云中的 GPU 實例提供了最快的存儲性能,與之前的 FSx for Lustre 系統(tǒng)相比,每個客戶端實例的吞吐量提高了 12 倍 (1200Gb),因此您可以更快地完成 ML 訓練作業(yè)并降低工作負載成本。
EFA 通過使用 AWS 可擴展可靠數(shù)據(jù)報 (SRD) 協(xié)議來提高網(wǎng)絡吞吐量利用率,并在數(shù)據(jù)傳輸期間繞過操作系統(tǒng),從而提高工作負載性能。對于由高性能計算實例(如 Trn1 和 Hpc7a)提供支持的應用程序,您可以使用 EFA 實現(xiàn)更高的每個客戶端實例的吞吐量。GDS 支持基于 EFA 構建,通過在文件系統(tǒng)和 GPU 內存之間實現(xiàn)直接數(shù)據(jù)傳輸來進一步提高性能。此直接路徑消除了數(shù)據(jù)傳輸操作中的內存副本和 CPU 參與。通過結合使用 EFA 和 GDS 支持,使用 P5 GPU 實例和 Nvidia 計算統(tǒng)一設備架構 (CUDA) 的應用程序可以將每個客戶端實例的吞吐量提高 12 倍(高達 1200Gb)。
在提供 Persistent-2 文件系統(tǒng)的所有商業(yè) AWS 區(qū)域中,新的 FSx for Lustre Persistent-2 文件系統(tǒng)均免費提供 EFA 和 GDS 支持。
2018-2022 Copyright © Stor.com.cn