전례 없는 데이터 성장을 주도하는 AI.

새로운 콘텐츠를 생성하고 복제하는 것은 AI 데이터 수명 주기 전반에 걸쳐 발생하는 복제의 일부일 뿐입니다. 데이터 발자국은 AI 개발 및 프로덕션 프로세스 중에 급증하고 AI가 배포되고 콘텐츠 생성이 시작되면 기하급수적으로 확장됩니다. 주기 전반에 걸쳐 전체 데이터 에코시스템은 규정 준수를 위해 반복적으로 복제됩니다.

복제는 모든 단계에서 데이터 증가를 가속화합니다.

• 학습을 위해 데이터가 발견되고, 정리되고, 레이블이 지정될 때 데이터도 복제됩니다.
• 학습 중 정기적인 체크포인트를 통해 진행 상황을 백업하여 일반적인 학습 실행에서 수백 개의 대용량 파일을 생성합니다.
• 모델과 애플리케이션이 배포되면 해당 데이터가 수많은 노드와 인스턴스에 복사됩니다.
• 점점 더 많은 사람들이 AI를 사용하여 여러 개념, 실험 및 버전을 만들고 반복합니다.

모델 학습은 레이블이 지정된 대규모 데이터 풀에서 시작됩니다. 체크포인트 데이터를 포함하여 학습 실행 전반에 걸쳐 데이터를 저장하면 향후 모델 동작에 대한 통찰력을 제공할 수 있습니다. 모델이 배포되고 결과가 생성되면 각 프롬프트와 응답은 모델 성능을 평가하고, 모델을 조정하고, 다음 학습 실행을 준비하는 데 귀중한 소스가 됩니다.

데이터는 데이터 주기의 모든 합리적인 시점에 보존되어야 합니다. 

• AI를 향상하고 개발하려면 새로운 데이터와 통찰력이 필요하며, 보존된 데이터가 이를 제공할 수 있습니다.
• 미래의 더 스마트한 AI는 저장된 데이터에서 통찰력을 얻어 새로운 가치를 창출할 수 있습니다. 
• 저작권법에 따라 저작물은 사용에 대한 라이선스를 획득해야 하며, 데이터를 보존하면 감사 가능한 추적 자료를 제공할 수 있습니다.
• 규정에 따라 개인정보 보호, 법률 및 윤리 지침 준수를 입증하기 위한 보안 스토리지가 필요합니다.
  

신뢰할 수 있는 AI는 데이터 투명성에 달려 있습니다.

데이터를 장기간 보관하는 것은 AI 모델의 신뢰성을 확립하는 데 매우 중요합니다. 모델에서 내리는 각 결정을 문서화하고 결과를 분석하면 개발자가 모델 성능 저하와 환각 현상을 발견하는 데 도움이 됩니다.

학습 데이터로 오류를 다시 추적하면 주어진 모델의 의사 결정 프로세스를 분석하고 재학습 및 최적화를 위한 데이터를 제공하는 데 도움이 될 수 있습니다. 이러한 모든 데이터 포인트는 모델 성능에 대한 객관적이고 투명한 증거를 제공하기 위해 보존 및 공유되어야 합니다.