데이터 센터에서 AI를 구동하는 최첨단 스토리지 아키텍처.

AI(인공 지능)의 등장으로 인해 확장 가능하고 비용 효율적인 고성능 데이터 센터 스토리지 솔루션에 대한 수요가 전례 없이 증가했습니다. 이 백서에서는 Supermicro 하드웨어, Seagate의 HAMR 기반 Mozaic 3+™ 기술이 적용된 Seagate Exos 하드 드라이브, OSNexus QuantaStor 소프트웨어를 결합한 포괄적인 솔루션을 제시합니다. 이 공동 솔루션은 스케일 업 및 스케일 아웃 구성을 모두 지원하는 견고한 아키텍처를 제공하여 폭발적으로 증가하는 AI 기반 데이터 스토리지 요구 사항을 해결합니다. 주요 이점으로는 증가하는 AI 작업 부하를 수용할 수 있는 향상된 확장성, 높은 처리량과 짧은 대기 시간의 탁월한 성능, 물리적 드라이브 감소 및 전력 절감을 통한 최적화된 비용 효율성, 운영을 간소화하는 통합 관리 플랫폼, 규정 준수를 위한 고급 보안 기능, 에너지 효율적인 스토리지 솔루션을 통한 환경에 미치는 영향 감소 등이 있습니다.

AI 및 ML(머신 러닝) 기술의 급속한 발전은 데이터 스토리지 환경을 근본적으로 변화시켰습니다. 컴퓨팅 성능의 발전, 개발자의 액세스 대중화, 더 빠른 개발 도구의 등장으로 인해 AI 기반 혁신이 폭발적으로 증가했습니다. AI 모델이 발전함에 따라 확장 가능한 고성능 스토리지 솔루션에 대한 필요성이 그 어느 때보다 커졌습니다. 데이터는 AI의 중추이며 방대한 양의 데이터를 효율적으로 저장, 관리 및 액세스하는 기능은 AI 모델을 학습시키고 AI 애플리케이션을 배포하는 데 필수적입니다. 기존 스토리지 솔루션은 이러한 요구 사항을 충족하지 못하는 경우가 많아 AI 작업 부하의 요구 사항에 맞는 새로운 아키텍처를 개발해야 합니다.

AI 작업 부하는 기존 스토리지 솔루션이 해결하기 어려운 고유한 과제를 제시합니다. AI 모델은 학습을 위해 페타바이트 규모에 달하는 방대한 양의 데이터를 필요로 합니다. 학습 프로세스의 효율성은 빠른 데이터 검색에 크게 좌우되므로 이 데이터에 쉽게 액세스할 수 있어야 합니다. 또한 AI 애플리케이션에는 실시간 통찰력을 제공하기 위해 높은 처리량과 짧은 대기 시간이 필요한 대규모 데이터 처리 작업이 포함되는 경우가 많습니다.

AI 작업 부하의 계산 집약도 또한 상당한 양의 메타데이터를 생성하므로 병목 현상을 방지하기 위해 메타데이터를 효율적으로 관리해야 합니다. 확장성과 성능이 제한적인 기존 스토리지 솔루션은 이러한 요구 사항에 적합하지 않습니다. 동적 작업 부하를 처리할 수 있는 유연성이 부족한 경우가 많아 비효율성과 운영 비용 증가로 이어집니다.

AI 기반 혁신을 위해서는 빠르게 확장하고 대량의 비정형 데이터를 처리하며 이러한 데이터에 원활하게 액세스할 수 있는 스토리지 솔루션이 필요합니다. 예를 들어 복잡한 AI 모델을 학습시키려면 방대한 데이터 세트를 반복적으로 처리하여 알고리즘을 개선하고 정확도를 높여야 합니다. 이러한 반복에 필요한 엄청난 양의 데이터는 기존 스토리지 시스템을 압도하여 지연을 유발하고 AI 운영의 전반적인 효율성을 떨어뜨릴 수 있습니다.

또한 AI 애플리케이션은 즉각적인 데이터 처리가 중요한 실시간 환경에 점점 더 많이 배포되고 있습니다. 여기에는 자율 주행 자동차, 예측 유지 관리 및 맞춤형 의료 서비스와 같은 응용 분야가 포함됩니다. 이러한 사용 사례에는 대용량을 제공할 뿐만 아니라 즉각적인 데이터 분석 및 의사 결정을 지원하기 위해 탁월한 성능을 제공하는 스토리지 솔루션이 필요합니다.

Supermicro, Seagate, OSNexus의 공동 솔루션은 최첨단 하드웨어와 소프트웨어를 결합하여 AI 작업 부하를 위한 강력하고 확장 가능하며 비용 효율적인 스토리지 인프라스트럭처를 제공합니다. 이 솔루션의 핵심 구성 요소에는 Supermicro 서버 및 JBOD, Seagate Mozaic 3+ 하드 드라이브, Seagate Nytro NVMe SSD, OSNexus QuantaStor 소프트웨어가 포함됩니다.

이 공동 솔루션의 아키텍처는 다양한 배포 요구 사항에 맞춰 스케일 업 및 스케일 아웃 구성을 모두 지원합니다. 

스케일 업(또는 수직 확장)은 CPU, 메모리 및/또는 스토리지 드라이브와 같은 리소스를 추가하여 단일 스토리지 시스템이나 서버의 용량을 늘리는 방식입니다. 이 접근 방식은 개별 장치의 성능을 극대화하지만 확장성에는 본질적인 한계가 있습니다. 

반면, 스케일 아웃(또는 수평적 확장)은 시스템에 더 많은 스토리지 노드나 서버를 추가하여 작업 부하를 여러 장치에 분산하는 방식입니다. 이 접근 방식은 사실상 무한한 확장성을 제공하여 수요 증가에 따라 아키텍처를 원활하게 확장하여 시스템이 더 크고 복잡한 AI 작업 부하를 처리할 수 있도록 합니다.

스케일 업 구성은 최대 5~10GB/s의 처리량을 제공하며 비용에 민감한 소규모 응용 분야에 적합합니다. 반면, 스케일 아웃 구성은 추가 노드가 통합됨에 따라 성능이 선형적으로 확장되는 대규모 배포를 위해 설계되었습니다. 이러한 확장성을 통해 솔루션은 초당 수백 기가바이트의 처리량을 달성하여 집약적인 AI 작업 부하의 요구 사항을 충족할 수 있습니다.

Supermicro 서버, Seagate 드라이브 및 QuantaStor 소프트웨어의 완벽한 통합은 응집력 있고 효율적인 스토리지 솔루션을 형성합니다. 이 아키텍처는 파일 및 객체 스토리지를 모두 지원하여 조직이 특정 요구 사항에 가장 적합한 구성을 선택할 수 있는 유연성을 제공합니다. QuantaStor가 제공하는 통합 관리 기능은 모든 구성 요소가 조화롭게 작동하여 최적의 성능과 신뢰성을 제공합니다. 단일 플랫폼 내에서 스케일 업 및 스케일 아웃 구성을 모두 관리할 수 있으므로 운영이 간소화되고 여러 스토리지 시스템의 유지 관리와 관련된 복잡성이 줄어듭니다. 

이 아키텍처는 Supermicro 서버, Seagate Exos Mozaic 3+ 하드 드라이브, Seagate Nytro NVMe SSD로 구성되며, 모두 OSNexus QuantaStor 소프트웨어에 의해 조정됩니다. 이 조합은 높은 처리량, 짧은 대기 시간 및 대규모 데이터 세트를 효율적으로 처리하는 기능이 필요한 AI/ML 작업 부하의 집약적인 요구 사항을 충족합니다.

배포 인프라 고려 사항.

• 성공을 위해 필요한 네트워킹 및 최소 인프라에 대한 자세한 내용은 이 백서의 범위를 벗어나지만 아키텍처 관련 의사 결정에는 매우 중요합니다.
• 핵심 기준:
  • 네트워크 속도(최적의 미디어 및 노드 크기 결정)
  • 랙 사양(랙 깊이 및 U-공간)
  • 전력 및 냉각 예산

• 스케일 업 아키텍처
  • 이 아키텍처는 비용 효율적이고 고밀도 스토리지가 필요한 환경에 적합합니다. Supermicro의 24베이 섀시에서 듀얼 포트 NVMe 드라이브를 활용하여 기본 드라이브에 대한 공유 액세스를 가능케 함으로써 높은 가용성과 성능을 실현합니다. 이 아키텍처는 JBOD를 통한 확장을 지원하여 최대 4개의 JBOD를 스케일 업 컨트롤러에 연결할 수 있으므로 Mozaic 3+ 엔터프라이즈급 하드 드라이브로 최대 7페타바이트의 스토리지 구성을 지원합니다.
  • 스케일 업 구성에서 QuantaStor는 특히 대규모 스토리지 환경에서 고급 데이터 보호, 확장성 및 효율성으로 잘 알려진 고성능 엔터프라이즈급 파일 시스템인 OpenZFS를 활용하여 효율적인 데이터 무결성 검사 및 스토리지 최적화를 가능하게 합니다. 이 아키텍처는 비용 최소화와 밀도 극대화가 우선시되는 소규모 AI/ML 작업 부하 및 환경에 특히 적합합니다.

확대

• 스케일 아웃 아키텍처
  • 스케일 아웃 아키텍처는 더 많은 노드를 추가하여 선형적 성능 확장성을 제공하도록 설계되었습니다. 노드 전체에서 삭제 코딩 및 복제 기술을 사용하여 고가용성 및 데이터 중복을 보장합니다. 이 아키텍처는 성능 및 용량 요구 사항이 지속적으로 증가하는 대규모 AI/ML 작업 부하에 특히 적합합니다. 예를 들어 GPT(Generative Pre-Trained Transformer) 또는 BERT(bidirectional encoder representations from transformers)와 같은 대규모 언어 모델(LLM)을 학습시키려면 막대한 연산 능력과 데이터 스토리지가 필요하므로 점점 더 복잡해지고 규모가 커지는 데이터를 관리하기 위해서는 스케일 아웃 아키텍처가 필수적입니다. 또한 변이 분석 및 유전자 발현 연구와 같은 작업을 위해 대규모 게놈 데이터 처리가 필요한 AI 기반 게놈 연구에서도 스케일 아웃 아키텍처가 제공하는 확장성 및 고가용성으로부터 상당한 이점을 얻습니다.
  • 이 아키텍처는 하이브리드 노드(NVMe와 하드 드라이브 혼합)를 올플래시 노드와 결합하여 특정 성능 및 용량 요구 사항에 따라 클러스터를 구성할 수 있는 유연성을 제공합니다. 스케일 아웃 구성에서 QuantaStor는 Ceph 기술과의 통합을 활용하고 있으며 이는 다수의 노드에 분산 스토리지를 제공하는 데 탁월합니다.

AI/ML 작업 부하의 특정 성능 요구 사항 및 데이터 용량 요구 사항에 따라 최적의 결과를 얻으려면 다양한 구성이 필요할 수 있습니다. 처리되는 데이터의 양 및 데이터에 액세스해야 하는 속도와 같은 요인에 따라 하이브리드 또는 올플래시 구성이 시나리오에 가장 적합한지가 결정됩니다. 또한 예산 고려 사항 및 확장성 요구 사항은 아키텍처의 설계 선택에 영향을 미칩니다. 

• 하이브리드 구성.  
  • 하이브리드 구성에서는 NVMe SSD와 대용량 하드 드라이브를 함께 사용하여 성능과 비용의 균형을 유지합니다. 이 아키텍처는 JBOD에서 최대 60개 또는 90개의 드라이브를 지원하므로 의료 및 물리학 연구와 같이 PB 범위에서 고성능과 대용량이 모두 필요한 AI/ML 작업 부하에 적합합니다. 
  • 일반적인 스케일 업 하이브리드 풀은 메타데이터 및 소규모 파일 오프로드를 위해 풀당 3개의 NVMe 드라이브를 사용하고, 더 큰 데이터 세트를 저장하기 위해 대용량 하드 드라이브와 결합할 수 있습니다. 스케일 아웃 하이브리드 구성은 노드당 3개 이상의 NVMe 드라이브를 사용합니다.
• 올플래시 구성 
  • 실시간 분석 또는 집약적인 데이터 처리 작업과 같이 고성능을 요구하는 AI/ML 작업 부하에는 올플래시 구성이 권장됩니다. 
  • 이러한 스케일 아웃 구성은 스케일 아웃 클러스터의 수백 개의 NVMe 드라이브를 활용하여 최대 1TB/s의 처리량을 제공할 수 있습니다. 
• 용량 및 성능 고려 사항 
  • 스토리지 용량과 성능 요구 사항의 균형을 맞추는 것이 중요합니다. 예를 들어 플래시와 하드 드라이브가 혼합된 스케일 아웃 하이브리드 클러스터에서는 전체 스토리지의 약 3%가 성능 최적화를 위해 플래시 스토리지로 구성될 수 있는 반면, 스케일 업 하이브리드 클러스터에서는 플래시 스토리지가 전체 스토리지의 약 1%에 불과할 수 있습니다. 하드 드라이브는 테라바이트당 비용과 TCO 측면에서 확실한 이점을 제공하기 때문에, 엔터프라이즈 SSD는 6배의 가격 프리미엄을 가지고 있음에도 데이터 센터의 대용량 스토리지를 위해 여전히 하드 드라이브를 선호합니다. 
  • 이 아키텍처를 사용하면 더 작은 클러스터로 시작하여 필요에 따라 더 많은 노드 또는 JBOD를 추가함으로써 클러스터를 확장할 수 있어, 스토리지 인프라스트럭처가 AI/ML 작업 부하에 맞춰 함께 성장할 수 있습니다. 

효과적인 관리 및 최적화는 AI/ML 작업 부하가 스토리지 아키텍처 내에서 최상의 성능을 발휘하도록 하는 데 필수적입니다. QuantaStor의 고급 관리 기능은 운영을 간소화하여 다양한 구성에 걸쳐 포괄적인 제어 및 감독을 제공합니다.

• QuantaStor 통합 관리
  • QuantaStor는 스케일 업 및 스케일 아웃 아키텍처 관리를 간소화하는 통합 컨트롤 플레인을 제공합니다. 자동 계층화, 종단간 암호화 및 산업 표준 준수와 같은 고급 기능을 지원하여 스토리지 인프라스트럭처가 안전하고 AI/ML 작업 부하에 최적화되도록 보장합니다. 
  • 이 소프트웨어의 그리드 기술을 통해 여러 사이트에서 스토리지를 원활하게 확장할 수 있으므로 서로 다른 시스템을 관리하는 데 따른 복잡성이 제거됩니다.

다양한 AI/ML 작업 부하에는 최적의 성능과 비용 효율성을 달성하기 위한 맞춤형 스토리지 솔루션이 필요합니다. 작업 부하의 규모와 복잡성에 따라 스케일 업, 스케일 아웃 또는 혼합 구성을 배포하여 다양한 산업 및 응용 분야의 특정 요구 사항을 충족할 수 있습니다.

• 스케일 업 사용 사례
  • 스케일 업 구성은 AI/ML 작업 부하가 작거나 비용 효율성을 우선시하는 환경에 적합합니다. 미디어 및 엔터테인먼트 스토리지, 서버 가상화 및 데이터 보관과 같은 응용 분야에 적합합니다. 
• 스케일 아웃 사용 사례 
  • 스케일 아웃 구성은 성능과 용량을 모두 확장할 수 있는 능력이 중요한 고성능 컴퓨팅, 데이터 레이크 및 AI/ML 환경을 위해 설계되었습니다. 이러한 구성은 대규모 객체 스토리지 및 실시간 분석에도 적합합니다. 
• 혼합 사용 사례
  • 조직은 QuantaStor의 통합 관리를 활용해 일관성을 유지하고 다양한 작업 부하에서 성능을 최적화하면서 동일한 환경 내에서 스케일 업 및 스케일 아웃 구성을 모두 배포할 수 있습니다.

확대

이 솔루션에 구현된 기술 발전은 그 효과성에 매우 중요합니다. Seagate Exos Mozaic 3+ 하드 드라이브는 스토리지 기술의 상당한 도약을 나타냅니다. 이 드라이브는 HAMR 기술을 활용함으로써 획기적인 영역 밀도를 달성하여 동일한 물리적 공간 내에서 더 큰 스토리지 용량을 제공합니다. 이러한 발전은 대규모 데이터 스토리지에 대한 요구를 해결할 뿐만 아니라 동일한 양의 데이터를 저장하는 데 필요한 드라이브 수를 줄여 에너지 효율성도 높입니다.

Mozaic 3+ 하드 드라이브의 TCO 측면에서 이점은 상당합니다. 동일한 데이터 센터 공간에서 스토리지 용량이 3배 늘어나 TB당 비용이 25% 절감되고, TB당 전력 소비는 60% 낮아지며, TB당 내재 탄소 배출량은 70% 감소합니다(현재 데이터 센터에서 업그레이드가 필요한 일반적인 10TB PMR 용량의 드라이브와 비교). 드라이브의 낮은 전력 소비는 에너지 비용을 줄이며, 높은 밀도는 물리적 공간에 대한 필요성을 줄여 데이터 센터 인프라 비용을 절감할 수 있습니다. 또한 드라이브의 내재 탄소가 낮기 때문에 현대 기업에서 점점 더 중요해지고 있는 지속가능성 목표에 부합하는 환경친화적인 옵션을 제공합니다.

Seagate Nytro NVMe SSD를 통합하면 성능이 한 층 더 강화됩니다. 이러한 고속 드라이브는 AI 작업 부하에서 일반적인 집약적인 읽기 및 쓰기 작업을 관리하는 데 필수적입니다. 대기 시간이 짧기 때문에 실시간으로 데이터에 액세스하고 처리할 수 있으며, 이는 AI 모델을 학습시키고 AI 애플리케이션을 배포하는 데 필수적입니다. SSD의 듀얼 포트 설계는 포트 하나가 고장 나더라도 연속 작동이 가능하므로 신뢰성이 향상됩니다.

OSNexus QuantaStor 소프트웨어는 지능형 데이터 관리 및 고급 보안 기능을 제공하여 솔루션을 더욱 강화합니다. 이 소프트웨어의 자동 계층화 기능은 데이터가 가장 적절한 계층에 저장되도록 보장하여 성능과 비용을 모두 최적화합니다. 종단간 암호화 및 산업 표준 준수를 통해 AI 응용 분야, 특히 민감한 데이터를 자주 처리하는 의료 보건 및 금융과 같은 산업에서 가장 중요한 보안 및 개인 정보 보호 문제를 해결하여 데이터를 보호할 수 있습니다.

확대

Supermicro, Seagate, OSNexus의 공동 솔루션은 AI/ML 작업 부하의 특정 요구 사항을 해결하는 몇 가지 주요 이점을 제공합니다. 이러한 이점은 다음과 같습니다.

• 확장성: 확장 및 축소가 모두 가능한 이 솔루션은 AI 작업 부하의 증가하는 수요에 맞춰 성장할 수 있습니다. 조직이 수 테라바이트 또는 수 페타바이트의 데이터를 처리하든, 이 솔루션은 스토리지 인프라스트럭처를 전면적으로 정비하지 않고도 요구 사항을 충족할 수 있습니다.
• 성능: Seagate Nytro NVMe SSD와 Mozaic 3+ 하드 드라이브를 QuantaStor의 관리 기능과 결합하면 탁월한 성능을 제공합니다. 이는 효과적으로 작동하기 위해 높은 처리량과 짧은 대기 시간이 필요한 AI/ML 작업 부하에 특히 중요합니다.
• 비용 효율성: 이 솔루션의 아키텍처는 자본 지출 및 운영 지출을 모두 최적화하도록 설계되었습니다. 필요한 물리적 드라이브의 수를 줄이고 전력 소비를 낮추며 유연한 통합 관리 플랫폼을 제공함으로써 이 솔루션은 TCO(총 소유 비용)를 대폭 절감합니다.
• 통합 관리: 단일 인터페이스에서 스케일 업 및 스케일 아웃 아키텍처를 모두 관리할 수 있는 QuantaStor의 기능은 운영을 간소화하고 여러 공급업체의 스토리지 솔루션과 관련된 복잡성을 줄여줍니다. 이 통합 접근 방식을 통해 시간을 절약할 수 있을 뿐만 아니라 오류 가능성을 줄이고 전반적인 효율성을 높일 수 있습니다.
• 보안 및 규정 준수: 이 솔루션에는 무단 액세스로부터 데이터를 보호하고 업계 표준을 준수하는 고급 보안 기능이 포함되어 있습니다. 이는 데이터 침해로 인해 상당한 법적 및 재정적 처벌을 받을 수 있는 규제 산업의 AI 응용 분야에 특히 중요합니다.
• 환경에 미치는 영향: Mozaic 3+ 플랫폼을 기반으로 제작된 Seagate 드라이브를 사용하면 데이터 센터의 전력 소비를 낮추고 스토리지에 필요한 물리적 공간을 줄여 환경에 미치는 영향을 최소화할 수 있습니다. 이는 기술 분야에서 지속가능성의 중요성이 증가하는 추세와 부합합니다.

이 솔루션은 여러 산업에서 광범위한 사용 사례를 지원할 수 있을 만큼 유연합니다. 몇 가지 예는 다음과 같습니다. 

• 의료 보건: 예측 분석 및 맞춤형 의료와 같은 의료 보건 분야의 AI/ML 작업 부하는 방대한 양의 데이터를 빠르고 안전하게 처리할 수 있어야 합니다. 이 공동 솔루션은 이러한 응용 분야를 지원하는 데 필요한 확장성, 성능 및 보안을 제공합니다.
• 금융: ;금융 분야에서 AI는 사기 탐지, 알고리즘 거래 및 위험 관리와 같은 작업에 사용됩니다... 이러한 응용 분야에는 고속 데이터 처리 및 실시간 분석이 필요하며, 이 두 가지 모두 솔루션의 고성능 스토리지 아키텍처에서 지원됩니다.
• 미디어 및 엔터테인먼트: 미디어 및 엔터테인먼트 산업은 특히 고해상도 비디오의 사용이 증가함에 따라 막대한 양의 데이터를 생성합니다. 이 솔루션은 대규모 데이터 스토리지를 처리하고 파일에 빠르게 액세스할 수 있어 비디오 편집, 렌더링 및 보관과 같은 작업에 적합합니다. 
• 제조업: 제조 분야에서 AI/ML은 예측 유지 관리, 품질 관리 및 공급망 최적화를 위해 사용됩니다. 이러한 응용 분야는 효율적으로 저장하고 분석해야 하는 대량의 데이터를 생성합니다. 공동 솔루션은 이러한 사용 사례를 지원하는 데 필요한 확장성과 성능을 제공합니다. 
• 연구 및 개발: 제약, 유전체학, 재료 과학, 기후 모델링과 같은 분야의 AI 기반 연구에는 대규모 데이터 세트를 저장하고 처리할 수 있는 기능이 필요합니다. 이 솔루션은 높은 처리량과 짧은 대기 시간으로 이러한 까다로운 응용 분야에 적합합니다. 

Supermicro, Seagate, OSNexus가 공동 개발한 AI 솔루션은 AI/ML 작업 부하의 고유한 요구 사항에 맞춰 설계된 포괄적이고 확장 가능하며 비용 효율적인 스토리지 아키텍처를 제공합니다. 이 솔루션은 고급 하드웨어와 소프트웨어 기술을 결합하여 탁월한 성능, 신뢰성 및 효율성을 제공하므로 AI를 활용하여 경쟁 우위를 확보하려는 조직에 이상적인 선택입니다. 의료 보건, 금융, 미디어, 제조, 연구 등 다양한 분야에 적용 가능한 이 솔루션은 차세대 AI 응용 분야를 지원하고 산업 전반에서 AI 기반 혁신의 미래를 위한 토대를 마련하는 데 필요한 강력한 인프라를 제공합니다. 

솔루션 표.

약어 및 추가 정보.
SBB: 스토리지 브리지 베이의 약어입니다.
EC: Erasure Coding(삭제 코딩)의 약어입니다.
"더블 패리티" 및 "트리플 패리티"는 데이터 중복 및 내결함성을 제공하는 데 사용되는 패리티 블록의 수를 나타냅니다.
숫자 문자열은 복구 모델과 관련이 있습니다.