AIによる、前例のないデータ増加。

新しいコンテンツの生成と複製は、AIデータのライフサイクルを通じて行われる複製の一部に過ぎません。データ・フットプリントは、AIの開発および製造プロセスで急激に増加し、AIが展開されコンテンツ生成が始まると、指数関数的に拡大します。このサイクルを通じて、規制遵守のためにデータ・エコシステム全体が繰り返し複製されます。

複製のすべてのステップで、データが急増。

• データの発見、照合、トレーニング用のラベル付けの際に複製が行われる。
• トレーニング中の定期的なチェックポイントで進捗状況がバックアップされる。一般的なトレーニングでも、何百もの大きなファイルが作成される。
• モデルやアプリケーションが展開されると、それらのデータが多数のノードやインスタンスにコピーされる。
• 多くの人々が、AIを利用して、複数のコンセプト、実験、バージョンなどの作成や計画を行い、それらを繰り返すと思われる。

モデルのトレーニングには、最初に大量のラベル付きデータを使用します。トレーニング中のデータ、たとえばチェックポイント・データなどを保存すれば、モデルの今後の動作に関するインサイトを得られます。モデルを展開し、出力の生成が始まると、プロンプトと応答のそれぞれが、モデルのパフォーマンス評価、モデルのチューニング、次回のトレーニングの準備に活用できる貴重な情報源となります。

データは、データ・サイクルのすべての妥当なポイントで保存する必要があります。 

• AIの改善と開発には、最新のデータおよびインサイトが必要で、データを保存しておけば、それらを取得できます。
• 賢くなったAIは将来、保存されている過去のデータからインサイトを引き出し、新たな価値を生み出せる可能性があります。 
• 著作権法によって、著作物の使用許諾を要求されることもありますが、データを保存しておけば、監査可能な証跡を提示できます。
• プライバシー、法的、倫理的ガイドラインへの遵守を証明できるよう、データの安全な保管が規制で義務付けられています。
  

AIを信頼できるかどうかは、データの透明性にかかっている。

AIモデルの信頼性を確保するには、データの長期的な保持が、きわめて重要です。モデルによる各判断を文書化し、出力結果を分析すると、モデルのドリフトやハルシネーションを開発者が特定しやすくなります。

トレーニング・データまで溯ってエラーを調査できれば、モデルの意思決定プロセスを解明し、再トレーニングや最適化に役立つデータを提供できます。こうしたデータ・ポイントはすべて保存して共有し、モデルのパフォーマンスについて客観的で透明性のある証拠を提示しなければなりません。