Zaawansowana architektura pamięci masowej wspierająca sztuczną inteligencję w centrach danych.
Zbudowane z myślą o przyszłości sztucznej inteligencji wspólne rozwiązanie Supermicro, Seagate i OSNexus zostało zaprojektowane dla wspierania wydajności i skalowalność AI.
min na przeczytanie
Spis treści:
Rozwój sztucznej inteligencji (AI) wywołał bezprecedensowe zapotrzebowanie na skalowalne, wydajne i niedrogie rozwiązania pamięci masowej do centrum danych. Niniejsza dokumentacja techniczna prezentuje kompleksowe rozwiązanie łączące sprzęt Supermicro, dyski twarde Seagate Exos z rozwiązaniem Mozaic 3+™ opartym na technologii HAMR firmy Seagate oraz oprogramowanie OSNexus QuantaStor. To połączone rozwiązanie stanowi odpowiedź na gwałtowny wzrost potrzeb w zakresie pamięci masowej danych opartych na sztucznej inteligencji, zapewniając niezawodną architekturę, która obsługuje zarówno konfiguracje skalowalne w górę, jak i w poziomie. Kluczowe korzyści to lepsza skalowalność umożliwiająca radzenie sobie z rosnącymi obciążeniami AI, wyjątkowa wydajność, wysoka przepustowość i niskie opóźnienia, zoptymalizowana efektywność kosztowa dzięki zmniejszonej liczbie dysków fizycznych i oszczędności energii, ujednolicona platforma zarządzania, która upraszcza operacje, zaawansowane funkcje bezpieczeństwa zapewniające zgodność z przepisami i ograniczony wpływ na środowisko dzięki energooszczędnemu rozwiązaniu pamięci masowej.
Gwałtowny rozwój technologii sztucznej inteligencji i uczenia maszynowego (ML) zasadniczo zmienił krajobraz pamięci masowej danych. Postępy w zakresie mocy obliczeniowej, powszechny dostęp dla programistów oraz szybsze narzędzia programistyczne doprowadziły do eksplozji innowacji opartych na sztucznej inteligencji. W miarę jak modele AI stają się coraz bardziej zaawansowane, zapotrzebowanie na skalowalne i wydajne rozwiązania pamięci masowej nigdy nie było większe. Dane stanowią podstawę sztucznej inteligencji, a możliwość skutecznego przechowywania, zarządzania i uzyskiwania dostępu do dużych ilości danych ma kluczowe znaczenie w trenowaniu modeli i wdrażaniu aplikacji AI. Tradycyjne rozwiązania pamięci masowej często nie są w stanie sprostać tym wymaganiom, co wymusza rozwój nowych architektur dostosowanych do obciążeń roboczych wykorzystujących sztuczną inteligencję.
Obciążenia robocze wykorzystujące sztuczną inteligencję stanowią unikatowe wyzwania, którym tradycyjne rozwiązania pamięci masowej starają się sprostać. Modele AI wymagają do trenowania dużych ilości danych, często osiągających petabajtową skalę. Dane te muszą być łatwo dostępne, ponieważ wydajność procesu uczenia w dużym stopniu zależy od ich szybkiego pozyskiwania. Co więcej, zastosowania sztucznej inteligencji często wiążą się z zadaniami związanymi z przetwarzaniem danych na dużą skalę, które wymagają wysokiej przepustowość i niskich opóźnień w celu zapewniania informacji w czasie rzeczywistym.
Intensywność obliczeniowa obciążeń roboczych wykorzystujących sztuczną inteligencję generuje również znaczne ilości metadanych, którymi należy zarządzać w wydajny sposób, aby zapobiegać powstawaniu „wąskich gardeł”. Tradycyjne rozwiązania pamięci masowej, ze względu na ograniczoną skalowalność i wydajność, nie są odpowiednie dla tych wymagań. Często brakuje im elastyczności umożliwiającej obsługę dynamicznych obciążeń roboczych, co prowadzi do braku wydajności i zwiększenia kosztów operacyjnych.
Innowacje wspierane przez sztuczną inteligencję wymagają rozwiązań pamięci masowej, które mogą szybko zmieniać skalę, obsługiwać duże woluminy nieustrukturyzowanych danych i zapewniać bezproblemowy dostęp do tych danych. Na przykład trenowanie złożonego modelu AI obejmuje iteracyjne przetwarzanie ogromnych zestawów danych w celu udoskonalenia algorytmów i zwiększenia dokładności. Ilość danych wymaganych w takich iteracjach może przytłoczyć tradycyjne systemy pamięci masowej, powodując opóźnienia i zmniejszając ogólną wydajność operacji opartych na sztucznej inteligencji.
Co więcej, aplikacje AI są coraz częściej wdrażane w środowiskach czasu rzeczywistego, w których natychmiastowe przetwarzanie danych ma kluczowe znaczenie. Obejmuje to zastosowania takie jak autonomiczne pojazdy, konserwacja predykcyjna i spersonalizowana opieka zdrowotna. Takie zastosowania wymagają rozwiązań pamięci masowej, które nie tylko oferują dużą pojemność, lecz również wyjątkową wydajność, umożliwiając natychmiastową analizę danych i podejmowanie decyzji.
Wspólne rozwiązanie Supermicro, Seagate i OSNexus łączy najnowocześniejszy sprzęt i oprogramowanie, zapewniając solidną, skalowalną i wydajną pod względem kosztów infrastrukturę pamięci masowej do obciążeń roboczych związanych z AI. Podstawowe komponenty tego rozwiązania obejmują serwery Supermicro i JBOD, dyski twarde Seagate Mozaic 3+, dyski SSD Seagate Nytro NVMe oraz oprogramowanie OSNexus QuantaStor.
Architektura połączonego rozwiązania obsługuje zarówno konfiguracje skalowalne w górę, jak i w poziomie, zaspokajając różne potrzeby wdrożeniowe.
Zmiana skali w górę (lub pionowe) obejmuje zwiększenie pojemności pojedynczego systemu pamięci masowej lub serwera poprzez dodanie większej liczby zasobów, takich jak procesory, pamięć i/lub dyski pamięci masowej. Takie podejście maksymalizuje wydajność indywidualnych jednostek, lecz wiąże się z ograniczeniami w zakresie skalowalności.
Z drugiej strony skalowanie w poziomie (lub horyzontalne) obejmuje dodawanie do systemu większej liczby węzłów pamięci masowej lub serwerów, co powoduje rozłożenie obciążenia na wiele jednostek. Takie podejście pozwala na praktycznie nieograniczoną skalowalność, umożliwiając systemom obsługę większych, bardziej złożonych obciążeń roboczych AI poprzez płynną rozbudowę architektury w miarę wzrostu zapotrzebowania.
Konfiguracje skalowalne w górę idealnie nadają się do mniejszych, ekonomicznych zastosowań, oferując przepustowość na poziomie 5–10 GB/sekundę. W przeciwieństwie do tego konfiguracje skalowalne w poziomie są przeznaczone do większych wdrożeń i charakteryzują się liniowym skalowaniem wydajności wraz z dołączaniem kolejnych węzłów. Skalowalność tego rozwiązania pozwala osiągać przepustowość rzędu setek gigabajtów na sekundę, co pozwala sprostać wymaganiom intensywnych obciążeń roboczych związanych ze sztuczną inteligencją.
Bezproblemowa integracja serwerów Supermicro, dysków Seagate oraz oprogramowania QuantaStor tworzy spójne i wydajne rozwiązanie pamięci masowej. Architektura ta obsługuje zarówno plikową, jak i obiektową pamięć masową, zapewniając organizacjom elastyczność wyboru konfiguracji najbardziej odpowiedniej dla ich konkretnych potrzeb. Ujednolicone zarządzanie zapewniane przez QuantaStor gwarantuje harmonijną pracę wszystkich komponentów, dostarczając optymalną wydajność i niezawodność. Możliwość zarządzania konfiguracjami skalowalnymi w górę i w poziomie w ramach jednej platformy upraszcza operacje i zmniejsza złożoność związaną z utrzymywaniem wielu systemów pamięci masowej.
Architektura składa się z serwerów Supermicro, dysków twardych Seagate Exos Mozaic 3+ oraz dysków SSD Seagate Nytro NVMe, a wszystko to zarządzane przez oprogramowanie OSNexus QuantaStor. Takie połączenie zaspokaja intensywne potrzeby związane z obciążeniami roboczymi wynikającymi ze sztucznej inteligencji / uczenia maszynowego, które wymagają wysokiej przepustowości, niskich opóźnień i możliwości wydajnej obsługi ogromnych zbiorów danych.
Rozważania na temat infrastruktury wdrażania.
W zależności od konkretnych wymagań w zakresie wydajności i pojemności danych w zadaniach wykorzystujących sztuczną inteligencję / uczenie maszynowe różne konfiguracje mogą być konieczne do osiągnięcia optymalnych wyników. Czynniki takie jak ilość przetwarzanych danych oraz szybkość, z jaką należy uzyskać do nich dostęp, decydują o tym, czy to konfiguracja hybrydowa lub all-flash będzie najlepszym rozwiązaniem dla tego scenariusza. Dodatkowo na decyzje projektowe dotyczące architektury będą wpływać względy budżetowe i wymagania dotyczące skalowalności.
Skuteczne zarządzanie i optymalizacja mają kluczowe znaczenie dla zapewniania najlepszej obsługi obciążeń związanych ze sztuczną inteligencją / uczeniem maszynowym w ramach architektury pamięci masowej. Zaawansowane funkcje zarządzania w QuantaStor usprawniają operacje, zapewniając kompleksową kontrolę i nadzór w różnych konfiguracjach.
Różne obciążenia robocze związane ze sztuczną inteligencją / uczeniem maszynowym wymagają dostosowanych rozwiązania pamięci masowej, aby osiągnąć optymalną wydajność i efektywność kosztową. W zależności od skali i złożoności obciążeń można wdrażać konfiguracje skalowalne w górę, w poziomie lub mieszane, w celu spełnienia specyficznych wymagań różnych branż i zastosowań.
Postępy technologiczne w tym rozwiązaniu mają kluczowe znaczenie dla jego skuteczności. Dyski twarde Seagate Exos Mozaic 3+ stanowią znaczący krok naprzód w zakresie technologii pamięci masowej. Dzięki wykorzystaniu technologii HAMR dyski te osiągają niespotykaną gęstość powierzchniową, co pozwala na uzyskanie większej pojemność pamięci masowej w tej samej przestrzeni fizycznej. Ten postęp nie tylko odpowiada na potrzebę przechowywania danych w dużej skali, lecz także poprawia wydajność energetyczną, ponieważ do przechowywania tej samej ilości danych potrzeba mniej dysków.
Zalety dysków twardych Mozaic 3+ w zakresie całkowitego kosztu posiadania są znaczące, zapewniają m.in. 3 razy większą pojemność pamięci masowej przy takiej samej przestrzeni zajmowanej przez centrum danych i przy o 25% niższych kosztach w przeliczeniu na TB, o 60% niższym zużyciu energii na TB oraz o 70% obniżonym poziomie emisji dwutlenku węgla na TB (w porównaniu z dyskami PMR o pojemności 10 TB, co stanowi wielkość często wymagają modernizacji w dzisiejszych centrach danych). Niższe zużycie energii przez dyski przekłada się na zmniejszenie kosztów energii, natomiast wyższa gęstość zmniejsza zapotrzebowanie na przestrzeń fizyczną, prowadząc do oszczędności w zakresie infrastruktury centrum danych. Ponadto niższa zawartość dwutlenku węgla w dyskach sprawia, że są one opcją bardziej przyjazną dla środowiska, spełniającą cele związane ze zrównoważonym rozwojem, które stają się coraz ważniejsze dla nowoczesnych przedsiębiorstw.
Integracja dysków SSD Seagate Nytro NVMe zapewnia kolejny poziom poprawy wydajności. Te szybkie dyski są niezbędne do zarządzania intensywnymi operacjami odczytu i zapisu, typowymi dla obciążeń roboczych związanych z AI. Niski poziom opóźnień pozwala na dostęp do danych i ich przetwarzanie w czasie rzeczywistym, co ma kluczowe znaczenie dla trenowania modeli AI i wdrażania aplikacji AI. Konstrukcja dysków SSD z podwójnym portem zwiększa niezawodność, ponieważ pozwala na nieprzerwaną pracę nawet w przypadku awarii jednego portu.
Oprogramowanie OSNexus QuantaStor jeszcze bardziej usprawnia rozwiązanie, zapewniając inteligentne zarządzanie danymi i zaawansowane funkcje bezpieczeństwa. Funkcje automatycznego warstwowania oprogramowania zapewniają przechowywanie danych w najbardziej odpowiedniej warstwie, optymalizując zarówno wydajność, jak i koszty. Pełne szyfrowanie i zgodność ze standardami branżowymi pomagają chronić dane, zapewniając bezpieczeństwo i prywatność, które mają zasadnicze znaczenie w zastosowaniach AI, szczególnie w takich branżach, jak opieka zdrowotna i finanse, gdzie często przetwarzane są wrażliwe dane.
Wspólne rozwiązanie Supermicro, Seagate i OSNexus oferuje kilka kluczowych korzyści, które odpowiadają specyficznym potrzebom sztucznej inteligencji / uczenia maszynowego. Korzyści te obejmują:
Rozwiązanie jest wystarczająco uniwersalne, aby obsługiwać szeroką gamę zastosowań w różnych branżach. Oto kilka przykładów:
Wspólne rozwiązanie AI opracowane przez Supermicro, Seagate i OSNexus oferuje wszechstronną, skalowalną i wydajną pod względem kosztów architekturę pamięci masowej, dostosowaną do unikatowych wymagań obciążeń roboczych związanych ze sztuczną inteligencją / uczeniem maszynowym. Dzięki połączeniu zaawansowanego sprzętu i oprogramowania, rozwiązanie zapewnia wyjątkową wydajność, niezawodność i skuteczność, dzięki czemu jest idealnym wyborem dla organizacji chcących wykorzystać AI do zyskania przewagi konkurencyjnej. Niezależnie od tego, czy jest wdrażane w opiece zdrowotnej, finansach, branży mediów, produkcji czy badaniach naukowych, rozwiązanie to zapewnia solidną infrastrukturę potrzebną do obsługi następnej generacji aplikacji AI i toruje drogę do przyszłych innowacji opartych na sztucznej inteligencji w różnych branżach.
Topologia | Produkt | Model odporności | Czysta pojemność | Pojemność użytkowa | Szczegółowa specyfikacja |
---|---|---|---|---|---|
Skalowanie w górę | Hybrydowy SBB; | Potrójna parzystość | 2039 TB (raw) | 1512 TB (do wykorzystania) | link |
Skalowanie w górę | All-flash SBB | Podwójna parzystość (4d+2p) | 737 TB (raw) | 553 TB (do wykorzystania) | link |
Skalowanie w poziomie | Hyper All-flash | EC2k+2m/REP3 | 1106 TB (raw) | 533 TB (do wykorzystania) | link |
Skalowanie w poziomie | 4U/36 | EC4K+2m/REP3 | 3974 TB (raw) | 2513 TB (do wykorzystania) | link |
Skalowanie w poziomie | 4U/36 | EC8K+3m/REP3 | 8342 TB (raw) | 5786 TB (do wykorzystania) | link |
Skalowanie w poziomie | Podwójne węzły, ładowanie od góry | EC8K+3m/REP3 | 11 981 TB (raw) | 8406 TB (do wykorzystania) | link |
Skróty i informacje dodatkowe.
SBB: Storage Bridge Bay.
EC: Kodowanie z wymazywaniem.
„Podwójna parzystość” i „potrójna parzystość” odnoszą się do liczby bloków parzystości wykorzystywanych do zapewniania nadmiarowość danych i tolerancji na błędy.
Ciągi liczbowe odnoszą się do modelu odporności.