L'intelligence artificielle entraîne une croissance sans précédent des données

La génération et la duplication des nouveaux contenus ne représentent qu'une partie des réplications dont les données de l'IA font l'objet tout au long de leur cycle de vie. Les volumes de données pullulent durant les processus de développement et de production de l'IA, et croissent de manière exponentielle une fois que les modèles sont déployés et commencent à produire du contenu. Tout au long du cycle, tout l'écosystème de données est dupliqué plusieurs fois pour des raisons de conformité réglementaire.

La réplication multiplie les données à chaque étape.

• Les données sont également dupliquées lorsqu'elles sont découvertes, rassemblées et identifiées en vue de l'entraînement des modèles.
• Pendant cet entraînement, des points de contrôle réguliers sauvegardent la progression : une exécution d'entraînement standard génère donc des centaines de fichiers volumineux.
• Lorsque des modèles et des applications sont déployés, leurs données sont copiées sur de nombreux nœuds et instances.
• De plus en plus de personnes sont appelées à utiliser l'IA pour créer et répéter de multiples concepts, expériences et versions.

L'entraînement d'un modèle commence avec un grand pool de données identifiées. Les données enregistrées tout au long de l'entraînement, y compris celles des points de contrôle, peuvent fournir des informations sur le futur comportement des modèles. Une fois qu'un modèle est déployé et qu'il génère des résultats, les diverses demandes et réponses constituent une source précieuse pour évaluer les performances du modèle, l'adapter et préparer l'entraînement suivant.

Des données doivent être conservées au niveau de tous les points appropriés du cycle de données. 

• L'amélioration et le développement de l'IA nécessitent de nouvelles données et informations, que les données conservées peuvent fournir.
• Dans un futur proche, une IA plus intelligente pourra certainement extraire des informations à partir de données stockées, créant ainsi une nouvelle valeur. 
• Les lois sur les droits d'auteur soumettent l'utilisation des œuvres à l'octroi d'une licence ; conserver les données fournit une piste vérifiable.
• La réglementation exige un stockage sécurisé afin d'attester de la conformité avec les directives légales, éthiques et de confidentialité.
  

La transparence des données garantit la fiabilité de l'IA.

Pour établir la fiabilité d'un modèle d'IA, il est essentiel de conserver les données sur le long terme. Le fait de documenter chacune des décisions prises par le modèle et d'analyser les résultats aide les développeurs à identifier les dérives et les hallucinations des modèles.

En remontant des erreurs aux données d'entraînement, il est possible d'examiner les processus de prise de décision du modèle considéré et de fournir des données de réentraînement et d'optimisation. Tous ces points de données doivent être conservés et partagés afin d'apporter la preuve objective et transparente des performances du modèle.