人工知能 (AI) アプリケーションの採用は世界中で増加し続けています。同時に、AIを実現するITソリューションの機能も急速に向上しています。これに続いて、前例のないイノベーションが生じています。
現在、AIに貢献する要素として、企業のリーダーや投資家は主にプロセッサ（ロジック）側に注目しています。確かに、プロセッサはAIや高性能なコンピューティングに不可欠です。しかしAIの成功に不可欠な要素は、コンピューティングや処理速度の速さだけではありません。同様に重要な点は、AIアプリケーションがデータ・ストレージも必要としていることです。データ・ストレージは、未加工のデータの初期リポジトリを提供し、AIワークフローの信頼性を高めるチェックポイント機能を実現し、AI分析の推論や結果を保存します。
AIの実装を成功させるには、コンピューティング・リソースとデータ・ストレージ・リソースの相乗効果が必要です。
大規模なデータ・センターがAI能力を拡張するにつれ、AIアプリケーションが利用しているのはAIデータ・センター・アーキテクチャのコンピューティング側だけではないことが明らかになってきました。コンピューティング・クラスタは、プロセッサ、高性能な広帯域メモリ (HBM)、ダイナミック・ランダムアクセス・メモリ (DRAM)、高速のローカル・ソリッドステート・ドライブ (SSD) で構成されており、AIトレーニング用の強力なエンジンを構築しています。コンピューティング・クラスタのコンポーネントは、距離が離れるとレイテンシー（待ち時間）やパフォーマンスの問題が生じる可能性があるため、ローカルに（通常は相互に隣り合わせに）配置されます。
AIアプリケーションにはストレージ・クラスタも不可欠です。このクラスタには、大容量のネットワーク・ハードディスク・ドライブやネットワークSSD（コンピューティング・クラスタ内の高性能なローカルSSDよりも大容量）が含まれます。ストレージ・クラスタは、ネットワーク化（分散化）されています。これは、規模が大きくなってもストレージの処理速度に対する懸念が少ないためです。コンポーネント間の距離は、コンピューティング・クラスタと比べて、その合計レイテンシに対する影響が大きくありません。コンピューティング・クラスタでは、想定されるレイテンシはナノ秒単位になることがあります。データは最終的にストレージ・クラスタに転送され、その大部分は長期保存用の大容量ハードディスク・ドライブで構成されます。
本記事では、一般的なAIワークフローの複数のフェーズで、コンピューティングとストレージがどのように連携しているかを検証します。
AIのパフォーマンスと拡張性。
AIワークフローには、高性能な技術もあれば、拡張性に優れた技術もありますが、いずれもプロセスに不可欠です。オンデバイス・メモリは高性能で、一般にプロセッサ（グラフィック・プロセッシング・ユニット (GPU) や中央演算処理装置 (CPU)、データ処理装置 (DPU) に取り付けられたHBMやDRAMで構成されています。DPUはCPUに接続されるオフロード機能エンジンで、特定のタスクを支援します。アーキテクチャによってDPUが使用される場合も、使用されない場合もあります。メモリの高いスループットにより、AIの効率的なデータ取り込みとモデルのトレーニングが可能になります。
SSDは低レイテンシで、十分な容量があるため、高速な推論と保存されたコンテンツへの頻繁なアクセスが可能になります。AIデータ・センターのアーキテクチャでは、高性能なローカルSSDがプロセッサとメモリに近いコンピューティング・クラスタに組み込まれています。通常、ローカルSSDは、トリプルレベル・セル (TLC) メモリを搭載しており、高い耐久性も備えていますが、ネットワークSSDよりも高価で、大容量ではありません。
ネットワークSSDは、ローカルSSDよりもデータ・ストレージ容量が大きく、AIアプリケーションのワークフロー全体でその他の特定の役割を担うストレージ・クラスタに組み込まれています。その処理速度は、ローカルSSDの速度には及びません。ネットワークSSDは、1日あたりのドライブ書き込み回数では比較的耐久性に劣りますが、それを補う大容量という長所があります。
ネットワーク・ハードディスク・ドライブも、AIデータ・センター・アーキテクチャのストレージ・クラスタの一部であり、AIワークフローにおいて最も拡張性が高く効率的なITデバイスです。このデバイスのアクセス速度はあまり速くありませんが、非常に大容量であるため、頻繁な高速アクセスを必要としない用途に最適です。
AIの無限ループ。
AIワークフローの動作ではコンテンツの作成と利用が無限に繰り返されるため、コンピューティングに対応したプロセッサやメモリだけでなく、ストレージ・コンポーネントも必要となります。AIワークフローの相互に関連するステップには、ソース・データ、モデルのトレーニング、コンテンツの作成、コンテンツの保存、データの保存、データの再利用などがあります。各段階でコンピューティングとストレージが果たす役割について以下に説明します。
ステップ1：ソース・データ。
データ・ソーシング段階では、AI分析用のデータを定義、検出、準備します。
コンピューティング：GPUは、高速なデータ前処理と変換を促進することによって、データ・ソーシング段階で基礎的な役割を果たします。GPUは、CPUを補完し、CPU上で主要なアプリケーションが実行されている間、反復計算を並列に実行します。GPUがより専門性の高い小規模なタスクを実行する一方で、CPUは主要なユニットとして機能し、複数の汎用コンピューティング・タスクを管理します。
ストレージ：データ・ソーシング段階では、新たなコンテンツの作成に必要な膨大なデータを保存するために、ネットワークSSDとネットワーク・ハードディスク・ドライブの両方が使用されます。ネットワークSSDは即時にアクセス可能なデータ層として機能し、より高速なパフォーマンスを実現します。ネットワーク・ハードディスク・ドライブは、大容量、高密度、拡張可能であり、未加工のデータを長期的に保存し、データ保護を実現することもできます。
ステップ2：モデルのトレーニング
モデルのトレーニング・ステップでは、モデルは保存されたデータから学習します。トレーニングは試行錯誤のプロセスであり、モデルが収束し、チェックポイントで保護されます。トレーニングには高速データ・アクセスが必要です。
コンピューティング：モデル・トレーニング段階では、GPUが極めて重要となります。GPUの並列処理能力により、ディープ・ラーニングにかかわる膨大な計算負荷を処理することができます。AIのトレーニングでは数千の行列乗算が実行されますが、GPUはこれを同時に処理し、プロセスを高速化します。これにより、数十億のパラメータを持つ複雑なモデルのトレーニングが可能になります。CPUはGPUと並行して動作し、メモリとコンピューティング・リソース間のデータ・フローを調整します。CPUはバッチ処理やキュー管理などのタスクを管理し、適切なタイミングで適切なデータをGPUに供給します。また、モデルのハイパーパラメータの最適化を処理し、GPUの並列処理能力を必要としない計算を実行します。
モデルのトレーニングでは、高速なデータ・アクセスを実現し、アクティブなデータセットをプロセッサの近くに配置するために、HBMとDRAMが不可欠です。一般にGPUに統合されるHBMは、トレーニング中に最も頻繁に使用されるデータをGPUからアクセス可能な状態に保つことで、データの処理速度を大幅に向上させます。
ローカルSSDは、この段階で使用されるデータセットの高速アクセス・ストレージとして機能します。これは中間的なトレーニング結果を保存し、大規模なデータセットを迅速に取得できるようにします。また、数百万の画像を扱う画像認識モデルなど、大量のデータに対する迅速なアクセスが必要なモデルのトレーニングに特に役立ちます。
ストレージ：ハードディスク・ドライブには、AIモデルのトレーニングに必要な膨大なデータを低コストで保存できます。ハードディスク・ドライブは、必要な拡張性のある容量を提供するだけでなく、作成されたコンテンツの複製バージョンを保存して保護することでデータ保全性を維持するために役立ちます。ハードディスク・ドライブは、他のストレージ・オプションと比べて費用対効果に優れ、信頼性の高い長期保存を実現し、大規模なデータセットを効率的に保存して管理します。
特に、ネットワーク・ハードディスク・ドライブとネットワークSSDは、モデルのトレーニングを保護し、改良するためのチェックポイントを保存します。チェックポイントとは、トレーニング、チューニング、適応中の特定の瞬間にモデルがどのような状態であるかをスナップショットとして保存することを意味します。このスナップショットは、知的財産を証明するか、アルゴリズムがどのようにして結論に至ったかを示すために後で呼び出されることがあります。SSDをチェックポイント機能に使用する場合、低レイテンシでアクセスできるため、チェックポイントは短い間隔（たとえば1分ごと）で書き込まれます。しかし、ハードディスク・ドライブと比べて容量が小さいため、一般にそのデータは短い期間の後に上書きされます。対照的に、通常、ハードディスク・ドライブに保存されるチェックポイントは、より長い間隔（たとえば5分ごと）で書き込まれますが、ハードディスク・ドライブの容量は拡張可能であるため、ほぼ永続的に保存することができます。
ステップ3：コンテンツの作成。
コンテンツ作成フェーズには、トレーニング済みのモデルを使用して出力を生成する推論プロセスが含まれます。
コンピューティング：コンテンツの作成中に、GPUはAI推論タスクを実行し、トレーニング済みのモデルを新しい入力データに適用します。並列処理により、GPUは複数の推論を同時に実行できるため、動画生成や対話型AIシステムなどのリアルタイム・アプリケーションに不可欠なものとなっています。コンテンツ作成時のコンピューティング・タスクではGPUが中心的な役割を果たしますが、制御ロジックの管理やシリアル処理が必要な処理の実行にはCPUが不可欠です。これには、スクリプトの生成、ユーザー入力の処理、GPUの高いスループットを必要としない優先度の低いバックグラウンド・タスクの実行などが含まれます。
コンテンツ作成ステップでは、HBMとDRAMが使用されます。メモリは、リアルタイムのデータ・アクセスにおいて重要な役割を果たし、AIによる推論の結果を一時的に保存して、さらなる改良を加えるためにモデルにフィードバックします。大容量DRAMにより、特に動画生成やリアルタイム画像処理などのアプリケーションで、ワークフローのスピードを低下させることなくコンテンツ作成を複数回繰り返すことが可能になります。
コンテンツ作成時には、ローカルSSDによってリアルタイム処理に必要な高速の読み取りと書き込みのスピードが実現されます。AIが新しい画像、動画、テキストのいずれを生成する場合でも、SSDによりボトルネックなしで頻繁な高速I/Oを処理し、コンテンツを迅速に作成することができます。
ストレージ：この作成ステップを実現するプライマリ・ストレージは、HBM、DRAM、およびローカルSSDです。
ステップ4：コンテンツの保存。
コンテンツ･ストレージ段階で、新たに作成されたデータは、継続的な改良、品質保証、コンプライアンスのために保存されます。
コンピューティング：長期的な保存には直接かかわりませんが、GPUとCPUは、保存の準備段階でデータの圧縮や暗号化を支援することがあります。また、大容量のデータを迅速に処理できるため、遅延なしでコンテンツをアーカイブする準備を整えることができます。データを長期的なストレージに移動する前に、メモリは一時的なキャッシュとして使用されます。DRAMは書き込み処理を高速化し、AIによって生成されたコンテンツを迅速かつ効率的に保存します。これは、データの保存に遅延が生じるとボトルネックにつながる可能性があるリアルタイムAIアプリケーションでは特に重要です。
ストレージ：コンテンツ･ストレージ段階では、継続的な改良、品質保証、コンプライアンスのためにデータを保存するネットワークSSDとネットワーク・ハードディスク・ドライブの両方が重要です。ネットワークSSDは、スピードを調整するデータ層を備え、AI生成コンテンツの短期間の高速保存に使用されます。ハードディスク・ドライブと比べて容量が少ないため、SSDには、通常、頻繁にアクセスされるコンテンツや編集と改良にただちに利用する必要があるコンテンツが保存されます。
反復的なプロセスによって、ストレージを必要とする新しい検証済みデータが生成されます。このデータは、継続的な改良、品質保証、コンプライアンスのために保存されます。ハードディスク・ドライブは、作成されたコンテンツの複製バージョンを保存して保護し、AIプロセス中に生成されたコンテンツを保存するための重要な容量を提供します。SSDなどの他のストレージ・オプションと比べて、比較的安価で大容量のストレージを提供できるため、特にこのような用途に適しています。
ステップ5：データの保存。
データ保存段階では、複製されたデータセットが地域や環境を越えて保存されます。通常、この段階では、ストレージ・リソースが使用されます。
ストレージ：保存データは信頼できるAIのバックボーンであり、データ・サイエンティストはモデルが期待どおりに動作していることを確認できます。ネットワークSSDは、ハードディスク・ドライブをローカルSSD層に接続し、データがエコシステム内を移動できるようにするためのパフォーマンス・ガスケットとして使用されます。
ハードディスク・ドライブは、長期保存とデータ保護を必要とするデータの主要な実現手段です。これは、AIコンテンツ作成の成果物を保持し、生成されたコンテンツをセキュアに保存することにより、必要な時にアクセスできるようにするために役立ちます。また、増加するデータ量を効率的に処理するために必要な拡張性も備えています。
ステップ6：データの再利用
最後に、データ再利用の段階で、ソース、トレーニング、および推論データがワークフローの次の反復に適用されます。
コンピューティング：GPUは、新たな推論や追加のトレーニングのためにアーカイブされたデータセットでモデルを再実行することにより、データ再利用フェーズで重要な役割を果たします。これによって、AIデータのサイクルを再開することができます。GPUは大規模なデータセットで並列計算を実行できるため、AIシステムは最小限の時間でモデルの精度を継続的に向上させることができます。CPUは、再利用のために保存されたデータを照会し、取得します。これは、履歴データを効率的にフィルタリングして処理し、関連する部分をトレーニング・モデルにフィードバックします。大規模なAIシステムでは、CPUがこのようなタスクを実行する一方で、ストレージ・システムとコンピューティング・クラスタ間の相互作用を管理することがよくあります。
AIモデルの分析における別の反復処理で再利用するために履歴データを取得する場合、メモリによって大規模なデータセットへの高速アクセスが保証されます。HBMによって、GPUメモリへのデータセットの高速ロードが可能になり、再トレーニングやリアルタイム推論にデータセットをただちに利用できます。
ストレージ：コンテンツ出力はモデルにフィードバックされ、モデルの精度が向上し、新しいモデルが有効になります。ネットワーク・ハードディスク・ドライブとSSDは、地理的に分散したAIデータ作成をサポートします。未加工のデータセットと成果物は、新しいワークフローのソースになります。SSDは、以前に保存されたデータの取得を高速化します。低レイテンシのアクセスにより、このデータがAIワークフローに迅速に再統合され、待ち時間が短縮され、システム全体の効率性が向上します。ハードディスク・ドライブは、AIデータの再利用段階における大容量ストレージの要件を満たし、モデルの後続の反復処理を合理的なコストで実行できます。
ストレージはAIのバックボーン。
上述したように、AIワークフローには高性能プロセッサだけでなく、データ・ストレージ・ソリューションも必要です。オンデバイス・メモリとSSDは、処理速度の速さによりAIアプリケーションに適しており、高速な推論を可能にします。しかし、私たちはハードディスク・ドライブをAIのバックボーンとみなしたいと考えています。特に多くのAIワークフローに不可欠な低コストの拡張性を備えているため、ハードディスク・ドライブは非常に重要です。
Seagateハードディスク・ドライブは、熱補助型磁気記録 (HAMR) テクノロジーを独自に実装したMozaic 3+™技術を搭載しており、記録密度、効率性、容量の最適化というメリットがあるため、AIアプリケーションに最適です。このドライブでは、プラッタあたり3TB以上の前例のない記録密度が実現されました。現在、30TB以上の容量で提供されており、大規模な顧客に大量出荷されています。Seagateは、1プラッタあたり4TB以上および5TB以上の容量を実現するMozaicプラットフォームをすでにテストしています。
現世代の垂直磁気記録方式 (PMR) ハードディスク・ドライブと比較すると、Mozaic 3+ハードディスク・ドライブに必要な動作時の消費電力は4分の1、1テラバイトあたりの二酸化炭素排出量は10分の1です。
AIワークロードでは、コンピューティングとストレージが連携して動作します。AIアプリケーションでは、コンピューティング中心の処理とメモリだけでなく、高性能のSSDも不可欠です。また、拡張可能な大容量データ・ストレージ・ソリューションも必要であり、Seagateハードディスク・ドライブがこの分野を先導しています。
