La IA impulsa un crecimiento de datos sin precedentes.

Generar y duplicar contenido nuevo es solo una parte de la replicación que se produce a lo largo del ciclo de vida de los datos de IA. Las huellas de datos se multiplican durante el proceso de desarrollo y producción de IA y se expanden exponencialmente una vez que la IA se implementa y comienza a generar contenido. A lo largo del ciclo, todo el ecosistema de datos se duplica repetidamente para cumplir con la normativa.

La replicación multiplica los datos en cada paso.

• A medida que los datos se descubren, se recopilan y se etiquetan para el entrenamiento, también se duplican.
• Los puntos de control regulares durante la el entrenamiento respaldan el progreso; esto genera cientos de archivos pesados en una ejecución de entrenamiento típica.
• Cuando se implementan modelos y aplicaciones, sus datos se copian en numerosos nodos e instancias.
• Cada vez más personas usarán la IA para crear e iterar múltiples conceptos, experimentos y versiones.

El entrenamiento de un modelo comienza con un gran grupo de datos etiquetados. Guardar los datos a lo largo de la ejecución del entrenamiento, incluidos los datos de los puntos de control, puede proporcionar información sobre el comportamiento futuro del modelo. Una vez que el modelo se implementa y genera resultados, cada solicitud y respuesta es una fuente valiosa para evaluar el rendimiento del modelo, ajustarlo y preparar la siguiente ejecución de entrenamiento.

Los datos deben conservarse en cada punto razonable del ciclo de datos. 

• La mejora y el desarrollo de la IA requieren datos e información actualizados, pero los datos conservados pueden proporcionarlos.
• En el futuro, una IA más inteligente podrá extraer información de los datos almacenados y crear así nuevo valor. 
• Las leyes de derechos de autor exigen que las obras cuenten con una licencia de uso; la conservación de los datos proporciona un rastro auditable.
• Las normativas exigen un almacenamiento seguro para demostrar el cumplimiento de las directrices éticas, legales y de privacidad.
  

La IA fiable depende de la transparencia de los datos.

Mantener los datos a largo plazo es fundamental para establecer la fiabilidad de un modelo de IA. Documentar cada decisión que toma el modelo y analizar los resultados ayuda a los desarrolladores a detectar desviaciones y alucinaciones del modelo.

Hacer un seguimiento de los errores hasta regresar a los datos de entrenamiento puede ayudar a descomprimir los procesos de toma de decisiones de un modelo determinado y proporcionar datos para el reciclaje y la optimización. Todos estos puntos de datos deben conservarse y compartirse para proporcionar pruebas objetivas y transparentes del rendimiento del modelo.