Architecture de stockage avancée optimisée pour l'IA dans les centres de données.

L’essor de l’intelligence artificielle (IA) a engendré une demande sans précédent de solutions de stockage évolutives, hautes performances et économiques pour les centres de données. Ce livre blanc présente une solution complète associant le matériel de Supermicro, les disques durs Exos équipés de la technologie Mozaic 3+™ basée sur HAMR de Seagate, et le logiciel QuantaStor d'OSNexus. Cette solution conjointe répond à la croissance exponentielle des besoins en stockage des données liée à l'IA, par son architecture robuste compatible avec les configurations à évolutivité verticale et horizontale. Parmi ses principaux avantages : une évolutivité améliorée qui permet de gérer l'augmentation des charges de travail d'IA, des performances exceptionnelles avec un débit élevé et une latence faible, une rentabilité optimisée par réduction du nombre de disques et de la consommation d'énergie, une plate-forme de gestion unifiée qui simplifie les opérations, des fonctionnalités de sécurité avancées pour la conformité et un impact environnemental limité grâce à des solutions de stockage peu énergivores.

L'évolution rapide de l'IA et de l'apprentissage automatique (ML, machine learning) a transformé en profondeur le paysage du stockage des données. Les avancées en termes de puissance de calcul, la démocratisation de l'accès pour les développeurs et la rapidité des outils de développement ont entraîné une explosion de l'innovation dans le domaine de l'IA. Alors que les modèles d'IA deviennent de plus en plus avancés, le besoin de solutions de stockage évolutives très performantes n'a jamais été aussi grand. Les données sont l'essence de l'IA, et la capacité à stocker, gérer et consulter efficacement de grandes quantités de données est essentielle pour entraîner des modèles d'IA et déployer des applications basées sur l'IA. Les solutions de stockage traditionnelles sont loin de répondre à ces besoins, ce qui nous pousse à développer de nouvelles architectures adaptées aux charges de travail d'IA.

Les charges de travail d'IA ont des exigences spécifiques que les solutions de stockage traditionnelles peinent à satisfaire. L'entraînement des modèles d'IA nécessite d'importants volumes de données, atteignant souvent l'échelle du pétaoctet. L'efficacité du processus d'entraînement repose en grande partie sur la rapidité d'extraction des données qui doivent être accessibles à la demande. De plus, les applications basées sur l'IA exécutent généralement des tâches de traitement portant sur de grands volumes de données qui nécessitent un débit élevé et une latence faible, pour pouvoir fournir des informations en temps réel.

Avec une telle intensité de calcul, les charges de travail d'IA génèrent une quantité considérable de métadonnées qu'il convient de gérer efficacement pour éviter les goulots d'étranglement. Les solutions de stockage traditionnelles, limitées dans leur évolutivité et leurs performances, ne sont pas adaptées à ces exigences. En général, elles ne sont pas suffisamment flexibles pour gérer des charges de travail dynamiques, ce qui les rend inefficaces et augmente les coûts d'exploitation.

L'innovation basée sur l'IA a besoin de solutions de stockage capables d'évoluer rapidement, de gérer de grands volumes de données non structurées et d'offrir un accès transparent à ces données. Par exemple, l'entraînement d'un modèle d'IA complexe implique un traitement itératif de grands ensembles de données pour affiner les algorithmes et gagner en précision. Le volume de données requis pour ces itérations peut, à lui seul, submerger les systèmes de stockage traditionnels, causant ainsi des problèmes de latence et d'efficacité globale des opérations d'IA.

De plus, les applications basées sur l'IA sont de plus en plus souvent déployées dans des environnements en temps réel où le traitement immédiat des données est essentiel. Cela inclut des applications telles que les véhicules autonomes, la maintenance prédictive et la santé personnalisée. Ces exemples d'utilisation requièrent des solutions de stockage qui offrent non seulement une grande capacité, mais aussi des performances exceptionnelles pour une analyse des données et une prise de décision instantanées.

La solution conjointe de Supermicro, Seagate et OSNexus associe matériel et logiciels de pointe afin d'offrir une infrastructure de stockage robuste, évolutive et économique pour les charges de travail d'IA. Les composants essentiels de cette solution sont les serveurs et systèmes JBOD de Supermicro, les disques durs Mozaic 3+ et SSD Nytro NVMe de Seagate et le logiciel QuantaStor d'OSNexus.

L'architecture de cette solution conjointe prend en charge les configurations à évolutivité verticale et horizontale, pour répondre à divers besoins de déploiement.

L'évolution vers le haut (ou verticale) consiste à augmenter la capacité d'un système de stockage ou d'un serveur unique en y ajoutant des ressources, telles que des processeurs, de la mémoire et/ou des disques de stockage. Cette approche optimise les performances des unités individuelles, mais elle a ses limites en termes d'évolutivité.

À l'inverse, l'évolution latérale (ou horizontale) consiste à ajouter des nœuds de stockage ou des serveurs à un système, ce qui répartit la charge de travail sur plusieurs unités. Cette approche offre une évolutivité quasi illimitée et permet aux systèmes de gérer des charges de travail d'IA plus importantes et plus complexes, au sein d'une architecture que l'on peut étendre lorsque la demande augmente.

Les configurations à évolutivité verticale sont idéales pour les petites applications sensibles au coût, avec un débit atteignant 5 à 10 Go/s. En revanche, les configurations à évolutivité horizontale sont conçues pour des déploiements plus vastes, avec des performances qui augmentent de façon linéaire à mesure que de nouveaux nœuds sont incorporés. Cette évolutivité permet à la solution d’atteindre un débit de plusieurs centaines de gigaoctets par seconde répondant aux exigences des charges de travail d'IA intensives.

L'intégration parfaite des serveurs Supermicro, des disques Seagate et du logiciel QuantaStor forme une solution de stockage cohérente et efficace. Cette architecture prend en charge à la fois le stockage de fichiers et le stockage d'objets, offrant aux organisations la liberté de choisir la configuration la mieux adaptée à leurs besoins spécifiques. La gestion unifiée fournie par QuantaStor garantit le fonctionnement harmonieux de tous les composants, avec à la clé des performances et une fiabilité optimales. La capacité de gérer des configurations à évolutivité verticale et horizontale au sein d'une seule et même plate-forme simplifie les opérations et réduit la complexité associée à la gestion de plusieurs systèmes de stockage.

L'architecture intègre des serveurs Supermicro, des disques durs Seagate Exos Mozaic 3+ et des SSD Seagate Nytro NVMe, le tout orchestré par le logiciel OSNexus QuantaStor. Cette combinaison répond aux lourdes exigences des charges de travail d'IA et de ML qui nécessitent un débit élevé, une faible latence et la capacité de gérer efficacement des ensembles de données extrêmement volumineux.

Considérations relatives à l'infrastructure de déploiement.

• Bien que ce document n'ait pas pour objet de décrire dans le détail les éléments de réseau et d'infrastructure requis pour réussir un déploiement, ces éléments restent essentiels aux prises de décision relatives à l'architecture.
• Critères principaux :
  • Débit du réseau (pour déterminer le support idéal et la taille de nœud optimale)
  • Caractéristiques du rack (profondeur du rack et espace U)
  • Coût de l'énergie et du refroidissement

• Architecture à évolutivité verticale
  • Cette architecture est idéale pour les environnements nécessitant un stockage haute densité rentable. Elle repose sur des disques NVMe à double port installés dans un châssis à 24 baies de Supermicro, garantissant ainsi la haute disponibilité et des performances élevées grâce à un accès partagé aux disques sous-jacents. Compatible avec les systèmes JBOD, elle permet de connecter jusqu'à quatre unités JBOD aux contrôleurs d'évolutivité verticale pour créer des configurations offrant jusqu'à sept pétaoctets de stockage grâce aux disques durs d'entreprise Mozaic 3+.
  • Dans les configurations à évolutivité verticale, QuantaStor utilise OpenZFS, un système de fichiers d'entreprise très performant connu pour sa protection avancée des données, son évolutivité et son efficacité, en particulier dans les environnements de stockage à grande échelle, très efficace pour vérifier l'intégrité des données et optimiser le stockage. Son architecture est particulièrement adaptée aux charges de travail d'IA et de ML à petite échelle et dans les environnements où la priorité est de réduire les coûts tout en optimisant la densité.

Agrandir

• Architecture à évolutivité horizontale
  • L'architecture à évolutivité horizontale est conçue pour offrir une évolutivité linéaire des performances par l'ajout de nœuds supplémentaires. Elle met en œuvre le codage d'effacement et des techniques de réplication sur l'ensemble des nœuds pour garantir la haute disponibilité et la redondance des données. Elle est particulièrement adaptée aux charges de travail d'IA et de ML à grande échelle, qui requièrent toujours plus de performances et de capacité. Par exemple, l'entraînement de grands modèles de langages (LLM) comme GPT (générateur pré-entraîné) ou BERT (représentations d'encodeur bidirectionnel via des transformateurs), exige une puissance de calcul et des espaces de stockage immenses, ce qui rend l'architecture à évolutivité horizontale essentielle pour gérer la complexité et le volume croissants des données. Par ailleurs, l'évolutivité et la haute disponibilité offertes par l'architecture à évolutivité horizontale s'avèrent particulièrement utiles dans la recherche génomique basée sur l'IA, qui implique de traiter des données génomiques à grande échelle, par exemple pour les analyses de variant et les études sur l'expression génétique.
  • Cette architecture permet d'associer des nœuds hybrides (combinant NVMe et disques durs) à des nœuds 100 % Flash, et de configurer ainsi des clusters personnalisés en fonction des performances et de la capacité requises. Dans les configurations à évolutivité horizontale, QuantaStor tire parti de son intégration avec la technologie Ceph qui excelle dans la répartition du stockage sur un grand nombre de nœuds.

En fonction des exigences de performances et de capacité des charges de travail d'IA et de ML concernées, différentes configurations peuvent être nécessaires pour obtenir des résultats optimaux. Des facteurs tels que le volume de données traitées et la vitesse à laquelle les données sont accessibles détermineront le choix entre une configuration hybride ou 100 % Flash pour le scénario envisagé. En outre, les questions budgétaires et l'évolutivité requise vont influencer les choix de conception de l'architecture.

• Configurations hybrides.
  • Les configurations hybrides combinent des SSD NVMe et des disques durs haute capacité pour équilibrer les performances et le coût. Cette architecture peut prendre en charge jusqu'à 60 ou 90 disques dans des systèmes JBOD. Elle est donc adaptée aux charges de travail d'IA et de ML qui nécessitent à la fois de hautes performances et des capacités élevées de l'ordre du pétaoctet, par exemple dans la recherche en médecine et en physique.
  • Un pool hybride à évolutivité verticale standard utilise trois disques NVMe par pool pour le transfert des métadonnées et des petits fichiers, et des disques durs haute capacité pour stocker des ensembles de données plus volumineux. Les configurations hybrides à évolutivité horizontale comportent au moins trois disques NVMe par nœud.
• Configurations 100 % Flash
  • Les configurations 100 % Flash sont recommandées pour les charges de travail d'IA et de ML qui requièrent de très hautes performances, telles que les analyses en temps réel ou les tâches de traitement de données intensives.
  • Ces configurations à évolutivité horizontale peuvent atteindre un débit de 1 To/s en exploitant des centaines de disques NVMe dans des clusters.
• Prise en compte de la capacité et des performances
  • Il est essentiel de trouver un équilibre entre capacité de stockage et exigences de performances. Par exemple, dans un cluster hybride à évolutivité horizontale combinant disques durs et Flash, environ 3 % de l'espace de stockage total peut être Flash pour optimiser les performances, tandis que dans un cluster hybride à évolutivité verticale, le stockage Flash peut représenter environ 1 % de la totalité. Sachant que les disques durs sont nettement avantageux en termes de coût par téraoctet et de coût total de possession (6 fois moins chers que des SSD d'entreprise), ils restent la solution privilégiée en matière de capacité de masse dans les centres de données.
  • L'architecture permet de commencer avec des clusters de petite taille et de les développer selon les besoins en ajoutant des nœuds ou des systèmes JBOD, de sorte que l'infrastructure de stockage évolue au même rythme que les charges de travail d'IA et de ML.

L'efficacité de la gestion et l'optimisation sont essentielles pour tirer le meilleur parti des charges de travail d'IA et de ML au sein de l'architecture de stockage. Les fonctionnalités de gestion avancées de QuantaStor simplifient les opérations en vous permettant de contrôler et de superviser intégralement des configurations diverses.

• Gestion unifiée QuantaStor
  • QuantaStor propose un plan de contrôle unifié qui simplifie la gestion des architectures à évolutivité verticale et horizontale. Il prend en charge des fonctionnalités avancées telles que la hiérarchisation automatisée, le chiffrement de bout en bout et la conformité aux normes du secteur, pour une infrastructure de stockage sécurisée et optimisée pour les charges de travail d'IA et de ML.
  • La technologie de grille du logiciel favorise une évolution transparente du stockage sur plusieurs sites, éliminant ainsi la complexité de la gestion de systèmes distincts.

Il convient d'adapter les solutions de stockage aux spécificités des charges de travail d'IA et de ML concernées pour obtenir des performances optimales et le meilleur rapport coût/efficacité. Selon l'échelle et la complexité de la charge de travail, des configurations à évolutivité verticale, à évolutivité horizontale, ou mixtes peuvent être déployées pour répondre aux demandes spécifiques de différents secteurs et applications.

• Exemples d'utilisation de l'évolutivité verticale
  • Les configurations à évolutivité verticale sont idéales pour les environnements où les charges de travail d'IA et de ML sont légères ou pour ceux qui privilégient la rentabilité. Elles conviennent parfaitement à diverses applications comme le stockage de contenus dans le secteur du multimédia et du divertissement, la virtualisation de serveurs et l'archivage de données.
• Cas d'utilisation avec des solutions à évolutivité horizontale
  • Les configurations à évolutivité horizontale sont conçues pour l'informatique hautes performances, les lacs de données et les environnements d'IA et de ML dans lesquels la possibilité de faire évoluer les performances et la capacité est cruciale. Ces configurations sont également idéales pour le stockage d'objets à grande échelle et les analyses en temps réel.
• Exemples d'utilisation mixte
  • Les entreprises peuvent déployer des configurations à évolutivité horizontale et verticale dans le même environnement, et profiter de la gestion unifiée QuantaStor pour assurer la cohérence et optimiser les performances des différentes charges de travail.

Agrandir

Les avancées technologiques intégrées dans cette solution sont essentielles à son efficacité. Les disques durs Seagate Exos Mozaic 3+ constituent une avancée significative en matière de technologie de stockage. Grâce à la technologie HAMR, ces disques atteignent une densité surfacique sans précédent et offrent ainsi une plus grande capacité de stockage pour un même encombrement physique. Cette avancée permet non seulement de répondre aux besoins de stockage de données en masse, mais également d'améliorer le rendement énergétique en réduisant le nombre de disques utilisés à quantité de données égale.

Les avantages des disques durs Mozaic 3+ en termes de coût total de possession sont considérables : ils offrent notamment une capacité de stockage multipliée par 3 pour un encombrement identique du centre de données, un coût par téraoctet réduit de 25 %, une consommation énergétique inférieure de 60 % par téraoctet et une réduction de 70 % du carbone incorporé par téraoctet (par rapport à des disques PMR de 10 To, capacité courante qui nécessite une montée en gamme dans les centres de données actuels). La faible consommation d'énergie de ces disques se traduit par une réduction des coûts énergétiques, tandis que leur densité supérieure limite l'espace physique occupé et entraîne donc des économies au niveau de l'infrastructure du centre de données. De plus, ils constituent une solution plus respectueuse de l'environnement de par leur faible quantité de carbone incorporé, en droite ligne des objectifs de développement durable que visent de plus en plus d'entreprises modernes.

L'intégration des SSD Seagate Nytro NVMe vient renforcer les performances. Ces disques ultrarapides sont essentiels pour gérer les opérations de lecture et d'écriture intensives typiques des charges de travail d'IA. Leur faible latence permet d'accéder aux données et de les traiter en temps réel, un point essentiel pour l'entraînement des modèles d'IA et le déploiement des applications basées sur l'IA. La conception à double port des SSD améliore la fiabilité, car elle assure un fonctionnement continu même en cas de défaillance de l'un des ports.

Le logiciel OSNexus QuantaStor vient encore améliorer la solution avec une gestion intelligente des données et des fonctionnalités de sécurité avancées. Les fonctionnalités de hiérarchisation automatique du logiciel garantissent le stockage des données au niveau le plus approprié, pour des performances et un coût optimisés. Le chiffrement de bout en bout et la conformité aux normes du secteur contribuent à protéger les données en répondant aux questions de sécurité et de confidentialité qui sont primordiales dans les applications basées sur l'IA, en particulier dans des secteurs comme la santé et la finance, où des données sensibles sont fréquemment traitées.

Agrandir

La solution conjointe de Supermicro, Seagate et OSNexus offre plusieurs avantages clés qui répondent aux besoins spécifiques des charges de travail d'IA et de ML. Cela inclut les avantages suivants :

• Évolutivité : Par sa capacité à évoluer verticalement et horizontalement, cette solution peut être adaptée à l'évolution des charges de travail d'IA. Que l'entreprise ait quelques téraoctets ou plusieurs pétaoctets de données à gérer, cette solution peut répondre à ses besoins sans nécessiter un remaniement complet de l'infrastructure de stockage.
• Performances : L'utilisation des SSD Nytro NVMe et des disques durs Mozaic 3+, combinée aux fonctionnalités de gestion de QuantaStor, offre des performances exceptionnelles. Ceci est particulièrement important pour les charges de travail d'IA et de ML qui exigent un débit élevé et une latence faible pour fonctionner efficacement.
• Rentabilité : L'architecture de cette solution est conçue pour optimiser les dépenses d'investissement et d'exploitation. En réduisant le nombre de disques physiques nécessaires et la consommation énergétique, et en fournissant une plate-forme de gestion flexible et unifiée, cette solution abaisse significativement le coût total de possession.
• Gestion unifiée : En offrant la possibilité de gérer à la fois des architectures à évolutivité verticale et horizontale, QuantaStor simplifie les opérations et réduit la complexité liée aux solutions de stockage multifournisseurs. Cette approche unifiée permet non seulement de gagner du temps, mais également de réduire le risque d'erreurs et d'optimiser l'efficacité globale.
• Sécurité et conformité : La solution comprend des fonctionnalités de sécurité avancées qui protègent les données contre tout accès non autorisé et assurent la conformité avec les normes en vigueur. Ce point est particulièrement important pour les applications basées sur l'IA dans les secteurs réglementés, où les violations de données peuvent entraîner de lourdes sanctions juridiques et financières.
• Impact sur l'environnement : Les disques Seagate basés sur la plate-forme Mozaic 3+ contribuent à diminuer l'impact environnemental des centres de données en réduisant la consommation d'énergie et l'espace physique requis pour le stockage. Ceci répond à l'importance croissante que le secteur de la technologie accorde au développement durable.

Cette solution est suffisamment polyvalente pour prendre en charge un large éventail de cas d’utilisation dans divers secteurs. En voici quelques exemples :

• Santé : Les charges de travail d'IA et de ML dans le secteur de la santé, telles que l'analyse prédictive et la médecine personnalisée, exigent une capacité de traitement rapide et sécurisé pour de grandes quantités de données. Cette solution conjointe offre l'évolutivité, les performances et la sécurité nécessaires à ces applications.
• Finance : Dans la finance, l'IA est utilisée pour des tâches telles que la détection de fraudes, les transactions algorithmiques et la gestion des risques. Ces applications nécessitent un traitement des données haute vitesse et des analyses en temps réel, deux fonctions prises en charge par l'architecture de stockage très performante de la solution.
• Multimédia et divertissement : L'industrie du multimédia et du divertissement génère des quantités massives de données, notamment en raison de l'utilisation croissante de la vidéo haute résolution. La capacité de cette solution à gérer le stockage de données à grande échelle et à offrir un accès rapide aux fichiers en fait une solution idéale pour différentes tâches comme le montage, le rendu et l'archivage vidéo.
• L'industrie manufacturière : L'IA et le ML sont utilisés dans l'industrie pour la maintenance prédictive, le contrôle qualité et l'optimisation de la chaîne logistique. Ces applications génèrent d'importants volumes de données qui doivent être stockées et analysées efficacement. Notre solution conjointe leur apporte l'évolutivité et les performances requises.
• Recherche et développement : La recherche basée sur l'IA dans des domaines tels que la pharmacie, le génome, la science des matériaux et la modélisation climatique, a besoin de stocker et de traiter de grands ensembles de données. Par son débit élevé et sa faible latence, notre solution est parfaitement adaptée à ces applications exigeantes.

La solution d'IA développée conjointement par Supermicro, Seagate et OSNexus offre une architecture de stockage complète, évolutive et économique, faite sur mesure pour répondre aux exigences spécifiques des charges de travail d'IA et de ML. Alliant des technologies matérielles et logicielles avancées, cette solution assure des performances, une fiabilité et une efficacité exceptionnelles, idéales pour les organisations qui souhaitent gagner un avantage concurrentiel grâce à l'IA. Qu'elle soit déployée dans le secteur de la santé, de la finance, des médias, de l'industrie ou de la recherche, cette solution fournit l'infrastructure robuste requise pour exploiter la nouvelle génération d'applications basées sur l'IA et ouvre des perceptives d'innovation par l'IA dans tous les secteurs. 

Tableau des solutions.

Acronymes et informations complémentaires.
SBB : Storage Bridge Bay.
EC : Erasure Coding (Codage d'effacement).
Les termes « double parité » et « triple parité » désignent le nombre de blocs de parité utilisés pour assurer la redondance des données et la tolérance aux pannes.
Les chaînes numériques sont associées au modèle de résilience.