Los datos de entrenamiento de la popular herramienta de generación de texto a imagen incluían contenido ilícito de menores, afirman los investigadores de Stanford, y sería extremadamente difícil eliminarlos. Midjourney utiliza el mismo conjunto de datos.
Stable Diffusion, una de las herramientas de IA generativa de texto a imagen más populares del mercado de la startup Stability AI, valorada en US$1.000 millones, fue entrenada con material ilegal de abusos sexuales a menores, según una nueva investigación del Observatorio de Internet de Stanford.
El modelo se entrenó con conjuntos de datos abiertos masivos para que los usuarios pudieran generar imágenes realistas a partir de preguntas como: “Muéstrame un perro vestido de astronauta cantando en una lluviosa Times Square”. Cuantas más imágenes se introduzcan en este tipo de modelos, más potentes serán y más perfectos serán los resultados de ese astro-perro cantando en Times Square. Pero los investigadores de Stanford descubrieron que un gran conjunto de datos públicos de miles de millones de imágenes utilizado para entrenar Stable Diffusion y algunos de sus homólogos, llamado LAION-5B, contiene cientos de imágenes conocidas de material de abuso sexual infantil. Según el análisis de Stanford, el conjunto de datos también ha contribuido a la creación de CSAM generado por inteligencia artificial a partir de imágenes reales extraídas de Internet. Y la tecnología ha mejorado tan rápidamente que a menudo resulta casi imposible distinguir a simple vista las imágenes falsas de las reales.
“Por desgracia, las repercusiones del proceso de entrenamiento de Stable Diffusion 1.5 nos acompañarán durante algún tiempo”, afirma el estudio, dirigido por el tecnólogo jefe del observatorio, David Thiel. El informe pide que se suspendan todos los modelos construidos con Stable Diffusion 1.5 que no cuenten con las salvaguardias adecuadas.
Los investigadores, que encontraron más de 3.000 piezas sospechosas de CSAM en los datos de entrenamiento públicos, advirtieron que el volumen real es probablemente mucho mayor, dado que su evaluación se realizó sólo a partir de septiembre y se centró en una pequeña porción del conjunto de miles de millones de imágenes. Para realizar el estudio utilizaron PhotoDNA, una herramienta de Microsoft que permite a los investigadores cotejar las “huellas” digitales de las imágenes en cuestión con fragmentos conocidos de CSAM en bases de datos gestionadas por el National Center for Missing and Exploited Children y el Canadian Centre for Child Protection. Estas organizaciones sin ánimo de lucro se encargan de transmitir esa información a las fuerzas del orden.
“Estamos comprometidos con la prevención del uso indebido de la IA y prohibimos el uso de nuestros modelos y servicios de imagen para actividades ilegales, incluidos los intentos de editar o crear CSAM”, declaró Ben Brooks, responsable de política pública de Stability AI, en un correo electrónico posterior a la publicación.
Las normas de Stability AI establecen que sus modelos no pueden utilizarse para “la explotación o el daño a menores, incluida la solicitud, creación, adquisición o difusión de contenidos de explotación infantil”. La empresa también ha tomado medidas para resolver el problema, como el lanzamiento de nuevas versiones de Stable Diffusion que filtran más material explícito “inseguro” de los datos de entrenamiento y los resultados. Brooks añadió que Stability AI ha “implementado filtros para interceptar las indicaciones inseguras o los resultados inseguros” e “invertido en funciones de etiquetado de contenidos para ayudar a identificar las imágenes generadas en nuestra plataforma… [dificultando] a los malos actores el uso indebido de la IA”.
Aun así, el estudio de Stanford descubrió que Stable Diffusion se entrena en parte con contenido ilegal de menores -incluido CSAM extraído de sitios de gran audiencia como Reddit, Twitter (ahora X) y WordPress, que no lo permiten en primer lugar- y que este tipo de herramientas de IA también pueden utilizarse indebidamente para producir CSAM falsos. No parece que Stability AI haya informado de sospechas de CSAM a la “CyberTipline” gestionada por el NCMEC, pero Christine Barndt, portavoz de la organización sin ánimo de lucro, dijo que la IA generativa está “haciendo mucho más difícil para las fuerzas de seguridad distinguir entre víctimas infantiles reales que necesitan ser encontradas y rescatadas, e imágenes y vídeos artificiales”.
“Si he utilizado material ilegal para entrenar este modelo, ¿es ilegal el propio modelo?”.
Stable Diffusion 1.5 es el modelo más popular construido sobre LAION-5B, según el informe, pero no es el único entrenado sobre conjuntos de datos LAION. Midjourney, el laboratorio de investigación que está detrás de otro destacado generador de imágenes por IA, también utiliza LAION-5B. Imagen, de Google, se entrenó con un conjunto de datos diferente, pero relacionado, llamado LAION-400M, pero después de que los desarrolladores descubrieran imágenes problemáticas y estereotipos en los datos, “lo consideraron no apto para uso público”, dice el informe. Stanford se centró en el software de Stability AI porque se trata de un gran modelo de código abierto que revela sus datos de entrenamiento, pero afirma que es probable que otros se entrenaran con el mismo conjunto LAION-5B. Como hay poca transparencia en este ámbito, es difícil saber qué actores clave han entrenado sus propios modelos con los mismos datos.
Midjourney no respondió a la solicitud de comentarios. Hannah Wong, portavoz de OpenAI —creador de DALL-E, el rival de Stable Diffusion—, afirmó que OpenAI no se entrena en ningún conjunto de datos LAION, incluido el 5B.
“Eliminar material de los propios modelos es la tarea más difícil”, señala el informe. Algunos contenidos generados por IA, sobre todo los de niños que no existen, también pueden caer en un turbio terreno legal. Preocupados por el hecho de que la tecnología se haya adelantado a las leyes federales que protegen contra los abusos sexuales a menores y la explotación de sus datos, fiscales generales de todo EE.UU. pidieron recientemente al Congreso que tomara medidas para hacer frente a la amenaza de la AI CSAM.
El Centro Canadiense para la Protección de la Infancia, que ayudó a validar los hallazgos de Stanford, está muy preocupado por la falta general de cuidado en la conservación de estos enormes conjuntos de datos, que solo están exacerbando problemas de CSAM de larga data que afectan a todas las grandes empresas de tecnología, incluidas Apple y TikTok.
“La idea de conservar mil millones de imágenes de forma responsable es muy costosa, así que se toman atajos y se intenta automatizar todo lo posible”, explicó a Forbes Lloyd Richardson, director de TI de la organización. “En las bases de datos había material conocido de abuso sexual infantil que podrían haber filtrado, pero no lo hicieron… [y] si encontramos material conocido de abuso sexual infantil, seguro que también hay material desconocido”.
Y añade: “Si he utilizado material ilegal para entrenar este modelo, ¿es ilegal el propio modelo? Y esa es una pregunta realmente incómoda para muchas de estas empresas que, francamente, no están haciendo nada para curar adecuadamente sus conjuntos de datos”.
Stability AI y Midjourney son algunas de las empresas tecnológicas demandadas por un grupo de artistas que alegan que han utilizado indebidamente sus creaciones para entrenar la inteligencia artificial.
Este artículo fue publicado originalmente en Forbes US
Le recomendamos: Subasta 5G: así será la puja de cuatro competidores para poder ofrecer esta red