運用進階儲存架構,強化資料中心的人工智慧。
Supermicro、Seagate 與 OSNexus 攜手合作,為人工智慧的未來打造解決方案,旨在提升人工智慧的效率和擴充性。
分鐘讀取時間
目錄:
人工智慧 (AI) 的興起,帶動了空前的需求:大家需要易於擴充、高效能又經濟實惠的資料中心儲存解決方案。本白皮書所介紹的是全方位解決方案,結合了 Supermicro 硬體、採用 Seagate HAMR 型 Mozaic 3+™ 技術的 Seagate Exos 硬碟機,以及 OSNexus QuantaStor 軟體。這項多方聯手的解決方案,可因應 AI 帶動的爆炸性資料儲存需求成長,提供穩固的架構,且同時支援垂直擴充和橫向擴充的配置。主要優點包括:擴充性更高而能應對不斷成長的 AI 工作負載,高傳輸量和低延遲可提供優異效能,且能減少實體硬碟機和用電量以達到最佳成本效益,統一管理平台可簡化操作需求,而先進的全功能符合法律合規的要求,並且以節能的儲存解決方案來降低對環境的影響。
AI 和機器學習 (ML) 技術的快速發展,從根本上改變了資料儲存的局勢。運算能力的進步、對開發人員的普遍性供應,以及更快速的開發工具,使得採用 AI 技術的創新突破大幅增加。隨著 AI 模型日趨先進,對可擴充的高效能儲存解決方案的需求也空前高漲。資料是 AI 的骨幹,而高效儲存、管理和存取大量資料的能力,則對訓練 AI 模型和部署 AI 應用程式至關重要。傳統儲存解決方案通常無法滿足這類需求,因此必須配合 AI 工作負載所需,量身打造全新架構。
AI 工作負載帶來了獨特的挑戰,傳統儲存解決方案難以應付。AI 模型需要大量資料以供訓練,通常會達到 PB 規模。這些資料必須隨時可供存取,因為訓練流程的效率很大程度上取決於是否能快速擷取資料。此外 AI 應用環境通常牽涉到大規模的資料處理工作,而需要有高傳輸量和低延遲,才能提供即時的深度分析資訊。
AI 工作負載的高運算密度還會產生大量的中繼資料,一定要有效管理才能避免出現瓶頸。傳統儲存解決方案的擴充性和效能有限,並不適合這些需求。通常缺乏足以處理動態工作負載的靈活性,而導致效率低下並增加營運成本。
AI 創新發展所需的儲存解決方案,必須能快速擴充規模、處理大量非結構化的資料,且提供順暢無阻的資料的存取能力。舉例來說,若要訓練複雜的 AI 模型,為了改善演算法並提高準確度,就會涉及到大量資料集的迭代處理。迭代工作所需的龐大資料量,可能會讓傳統儲存系統不堪重荷,因此造成延遲並降低 AI 作業的整體效率。
此外對 AI 的應用越來越常部署在注重立即資料處理能力的即時環境中。包括自駕車、預測性維護以及個人化醫療保健等用途。這些使用案例不但需要高容量的儲存解決方案,還必須具備卓越的效能,才能支援即時的資料分析和決策工作。
Supermicro、Seagate 和 OSNexus 的合作解決方案結合了尖端的軟硬體,能為 AI 工作負載提供穩健、易於擴充、經濟實惠的儲存基礎結構。此解決方案的核心要素包括 Supermicro 伺服器和 JBOD、Seagate Mozaic 3+ 硬碟機、Seagate Nytro NVMe SSD,以及 OSNexus QuantaStor 軟體。
合作解決方案的架構可支援垂直擴充和橫向擴充配置,因此能配合各式各樣的部署需求。
垂直擴充 (即向上擴充) 會增加單一儲存系統或伺服器的容量,例如增加 CPU、記憶體和/或儲存硬碟機等資源的數量。這種做法能將個別裝置的效能最大化,但在擴充性方面本身有所限制。
另一種為橫向擴充 (即水平擴充),則是在系統中增加更多儲存節點或伺服器,將工作量分散到多個裝置上。如此可提供幾乎無限的擴充性,讓系統隨著需求成長一起無阻暢擴充架構,便能處理規模更大、更複雜的 AI 工作負載量。
垂直擴充的配置適合較小型且注重成本的應用環境,可提供最高 5-10GB/秒的傳輸量。相較之下,橫向擴充配置則是專為更大規模的部署所設計,效能會隨著更多節點加入而呈線性提高。這種擴充能力,能讓解決方案達到每秒數百 GB 的傳輸量,滿足重度 AI 工作負載的需求。
完美整合 Supermicro 伺服器、Seagate 硬碟機和 QuantaStor 軟體,便形成了緊密又有效率的儲存解決方案。此架構同時支援檔案儲存和物件儲存,因此組織能夠靈活選擇最適合其特定需求的配置。QuantaStor 具備統合管理能力,可確保所有元件協調運作,提供最佳的效能和可靠性。若能用單一平台管理垂直擴充和橫向擴充配置,就能簡化操作,並降低多個儲存系統維護上的複雜性。
此架構由是由 Supermicro 伺服器、Seagate Exos Mozaic 3+ 硬碟機和 Seagate Nytro NVMe SSD 組成,皆以 OSNexus QuantaStor 軟體負責協調運作。這種組合可滿足AI/ML 工作負載量的重度需求,也就是需要高傳輸量、低延遲以及高效處理大量資料集的能力。
基礎架構部署考量:
依 AI/ML 工作負載量對效能和資料容量的特定需求,可能需要不同的配置才能達到最佳效果。需根據資料處理量和資料存取速度等因素,判斷應當使用混合式還是全快閃配置才是最適合情況的選擇。此外預算考量和擴充性需求,也會影響架構的設計選擇。
為了確保 AI/ML 工作負載在儲存架構中發揮最佳表現,必須進行有效的管理和最佳化。QuantaStor 的進階管理功能不但能簡化作業,還能提供全方位的控制並監督各種不同的配置。
不同的 AI/ML 工作負載量需要量身打造的儲存解決方案,才能達到最佳效能和成本效益。可以視工作量的規模和複雜性,部署垂直擴充、橫向擴充或混合式的配置,以配合各種產業和應用環境的專門需求。
此解決方案所展現的技術進步,是其效率的關鍵所在。Seagate Exos Mozaic 3+ 硬碟機是儲存技術的重大飛躍。本系列硬碟機採用 HAMR 技術,可達到空前的磁錄密度,在相同的實體空間中提供更大的儲存容量。這項技術的進步,不僅能因應大規模資料儲存的需求,還因為能以較少的硬碟機儲存相同的資料量,而能改善能源效率。
Mozaic 3+ 硬碟機的 TCO 優勢相當可觀。像是能以相同的資料中心佔地空間提供 3 倍儲存容量,每 TB 成本降低 25%,每 TB 耗電量降低 60%,且每 TB 隱含碳派房量減少 70% (比較對象為 10TB PMR 硬碟機,為目前資料中心所需升級的一般硬碟機容量)。硬碟機若能降低耗電量,就能進一步減少能源成本;較高的密度則能減少對實體空間的需求,進而降低資料中心基礎架構的成本。此外硬碟機的碳排放更低,也因此成為更環保的選擇,符合對現代企業日益重視的永續性目標。
整合 Seagate Nytro NVMe SSD,效能更上一層樓。管理 AI 工作負載量常見的密集讀取和寫入作業時,這類高速硬碟機至關重要。低延遲能保障資料的即時存取和處理,而這正是訓練 AI 模型和部署 AI 應用環境的關鍵。SSD 的雙連接埠設計能提升可靠性,即使其中一個連接埠故障也能持續運作。
OSNexus QuantaStor 軟體提供智慧型資料管理和進階安全功能,進一步強化解決方案。該軟體的自動分層功能,能確實將資料儲存在最合適的分層中,達到最佳的效能與成本。端對端加密以及對業界標準的合規性,可應對 AI 應用環境最看重的安全性和隱私權考量,有助於保護資料安全。像是醫療保健和金融這類產業經常需要處理敏感資料,這點尤其重要。
Supermicro、Seagate 和 OSNexus 的合作解決方案有多項關鍵優勢,足以因應 AI/ML 工作負載的特定需求。優點如下:
此解決方案具備豐富功能,足以支援各行各業、各式各樣的用途。部分範例如下:
由 Supermicro、Seagate 和 OSNexus 共同開發的 AI 解決方案,可提供全方位、可擴充、經濟實惠的儲存架構,而且是針對 AI/ML 工作負載的獨特需求所量身打造。此解決方案結合了先進的硬體和軟體技術,可提供優異的效能、可靠性和效率。如果公司組織想運用 AI 取得競爭優勢,這是最理想的選擇。無論是部署在醫療保健業、金融業、媒體業、製造業,還是做為研究之用,都能提供各種用途所需的強大基礎架構,以支持下一代 AI 應用環境的發展,並為未來各行各業的 AI 創新鋪好前路。
拓樸結構 | 產品 | 彈性模式 | 原始容量 | 可用容量 | 詳細規格 |
---|---|---|---|---|---|
垂直擴充 | SBB 混合式 | 三同位 | 2,039TB 原始容量 | 1,512TB 可用容量 | 連結 |
垂直擴充 | SBB 全快閃 | 雙同位 (4d+2p) | 737TB 原始容量 | 553TB 可用容量 | 連結 |
橫向擴充 | 超級快閃記憶體 | EC2k+2m/REP3 | 1,106TB 原始容量 | 533TB 可用容量 | 連結 |
橫向擴充 | 4U/36 | EC4K+2m/REP3 | 3,974TB 原始容量 | 2,513TB 可用容量 | 連結 |
橫向擴充 | 4U/36 | EC8K+3m/REP3 | 8,342TB 原始容量 | 5,786TB 可用容量 | 連結 |
橫向擴充 | 雙節點頂載 | EC8K+3m/REP3 | 11,981TB 原始容量 | 8,406TB 可用容量 | 連結 |
縮寫與其他資訊:
SBB:Storage Bridge Bay (儲存橋接機槽)。
EC:擦除碼。
「雙同位」和「三同位」是指用來提供資料備援和容錯能力的同位區塊數目。
數字字串與彈性模型有關。