“Quiero ese dulce bebé”: niños generados por IA atraen a depredadores en TikTok e Instagram

Las niñas en las fotos de TikTok e Instagram parecen tener cinco o seis años. En el extremo superior, no llegan a los trece.

Están retratadas con encajes y cuero, bikinis y tops cortos. Están vestidas de manera sugerente como enfermeras, superhéroes, bailarinas y criadas francesas. Algunas llevan orejas de conejo o cuernos de diablo; otras, coletas y gafas grandes. Son negras, blancas y asiáticas, rubias, pelirrojas y morenas. Todas fueron creadas con IA y se han convertido en imanes para la atención de una audiencia preocupante en algunas de las aplicaciones de redes sociales más grandes del mundo: hombres mayores.

“La IA hace grandes obras de arte: me gustaría tener una linda virgencita como esa en mis manos para hacerla mía”, comentó un usuario de TikTok en una reciente publicación de jóvenes rubias en trajes de criada, con lazos alrededor del cuello y flores en el cabello.

“Si esto es generado por IA, ¿me hace malo decir que es atractiva en todos los sentidos?” escribió otro usuario de TikTok en una presentación de diapositivas de niñas completamente vestidas con disfraces de Spider-Man. “No es real, pero tengo una gran imaginación”.

“No debería estar mal de ninguna manera”, respondió otro, cuyo nombre de usuario contenía “p3do”, que puede ser lenguaje codificado para “pedo”.

“No puedes violarla porque es una imagen de IA”, dijo uno más.

Comentarios similares inundaron fotos de niños generados por IA en Instagram. “Me encantaría quitarle la inocencia aunque sea una imagen falsa”, escribió una persona en una publicación de un pequeño niño pálido vestido de novia. En otra, de una niña pequeña con pantalones cortos, el mismo usuario comentó sobre “su lindo par de pequeños pechos [representados con emojis de manzana] y su perfecta rebanada de pastel de cereza abajo”. Y en una foto de una preadolescente con tirantes, alguien llamado “Gary” dijo: “Bonitos botones. Cuando crezca, serán melones de buen tamaño”.

“Parece deliciosa”. “¿Haces entregas a domicilio?” “La edad perfecta para aprovecharse de ella”. “Quiero ese dulce bebé”. “¿Puedes hacer una prueba donde salte de mi teléfono a mi cama?” dijeron otros en TikTok e Instagram. Forbes encontró cientos de publicaciones y comentarios como estos en imágenes de niños generados por IA en las plataformas solo en 2024. Muchos estaban etiquetados con éxitos musicales, como “Texas Hold ‘Em” de Beyoncé, “Shake It Off” de Taylor Swift y “Fast Car” de Tracy Chapman, para ayudarlos a llegar a más personas.

Los depredadores de niños han merodeado en casi todas las principales aplicaciones de redes sociales, donde pueden esconderse detrás de pantallas y nombres de usuario anónimos, pero la popularidad de TikTok e Instagram entre adolescentes y menores los ha convertido en destinos principales. Y aunque la lucha de las plataformas para acabar con el material de abuso sexual infantil (o CSAM) precede al auge actual de la IA, los generadores de texto a imagen de IA están facilitando aún más a los depredadores encontrar o crear exactamente lo que buscan.

Las herramientas han provocado un aumento del CSAM generado por IA, que es ilegal incluso si es falso. Pero las imágenes descubiertas en la investigación de esta historia caen en un área gris. No son explícitas, pero son sexualizadas. Presentan a menores, pero no a reales. Parecen ser legales, pero los comentarios hechos sobre ellas sugieren una intención peligrosa. Los expertos en seguridad infantil y forenses las han descrito como portales a actividades mucho más oscuras y potencialmente criminales. Eso plantea preguntas en el ámbito tecnológico y de aplicación de la ley sobre cómo se debe abordar una plaga de imágenes sugerentes, falsas de niños que no existen, o si, si no son explícitas y son legales, deberían abordarse en absoluto.

Las empresas tecnológicas están obligadas, bajo la ley federal de Estados Unidos, a informar sobre sospechas de CSAM y explotación sexual infantil en sus plataformas al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), una organización sin fines de lucro que canaliza información sobre esa actividad ilegal a las fuerzas del orden. Pero no están obligadas a marcar o eliminar imágenes como las descritas en esta historia. Aún así, NCMEC le dijo a Forbes que cree que las compañías de redes sociales deberían eliminarlas, incluso si son legales.

“Estas [imágenes] se están entrenando a partir de imágenes de niños reales, ya sea representados en su totalidad o no, por lo que NCMEC realmente no ve esa parte del argumento de que hay un mundo donde esto está bien”, dijo Fallon McNulty, directora de CyberTipline de la organización, su centro de informes para empresas tecnológicas. Un estudio reciente del Observatorio de Internet de Stanford encontró que una de las herramientas generativas de texto a imagen más populares del mercado hoy en día, Stable Diffusion 1.5, se había entrenado con CSAM, de niños reales, extraído de la web.

“Especialmente dado algunos de los comentarios que las imágenes están atrayendo, no parece que la audiencia que está revisando, ingiriendo, consumiendo esas imágenes sea inocente”, agregó McNulty. “Esperaría ver que están eliminando ese contenido y no creando un espacio en sus plataformas para que las personas sexualicen a los niños”.

Las imágenes de niños generados por IA estaban etiquetadas con éxitos de Taylor Swift, Beyoncé y Tracy Chapman para ayudarlas a llegar a más personas.

TikTok e Instagram eliminaron permanentemente las cuentas, videos y comentarios mencionados en esta historia después de que Forbes preguntara por ellos; ambas compañías dijeron que violaban las reglas de la plataforma.

“TikTok tiene políticas estrictas contra el contenido generado por IA de menores para proteger a los jóvenes y mantener a TikTok inhóspito a comportamientos que buscan dañarlos”, dijo la portavoz Jamie Favazza. La política de medios sintéticos de la compañía, instituida hace más de un año y actualizada el viernes, prohíbe dicho contenido si contiene la apariencia de cualquier persona menor de 18 años, y TikTok elimina publicaciones que infringen sus reglas, independientemente de si fueron alteradas con IA.

Sophie Vogel, portavoz de la empresa matriz de Instagram, Meta, dijo que la compañía no permite y elimina material real y generado por IA que sexualice o explote a los niños. En casos donde el contenido parece ser benigno, aún eliminan cuentas, perfiles o páginas dedicadas a compartir imágenes de niños o comentar sobre su apariencia, dijo Vogel. Tanto TikTok como Meta informan sobre CSAM generado por IA que encuentran en sus plataformas a NCMEC.

Una ‘puerta de entrada’ al contenido ilegal
Un creador popular de niños generados por IA tenía 80,000 seguidores en TikTok e Instagram, un número que aumentó en miles mientras Forbes investigaba esta historia. La biografía de la cuenta, escrita en mandarín, decía “Mujer con palillos”. Forbes no pudo determinar quién la estaba administrando, pero sus publicaciones más virales fueron vistas casi medio millón de veces, gustaron a más de 10,000 veces, guardadas o compartidas miles de veces y recibieron cientos de comentarios.

Muchos de sus seguidores, basados en sus fotos de perfil, nombres o manejos, biografías y comentarios, parecían ser hombres mayores.

La experta en forense digital Heather Mahalik Barnhart dijo que en su trabajo anterior en estos casos de “erótica infantil”, los seguidores a menudo ofrecían pistas claras que podrían orientar a los investigadores hacia posibles depredadores. “La erótica infantil es la puerta de entrada”, le dijo a Forbes, y “cuando miras quién la sigue, no es normal”.

Este tipo de cuentas también hacen más para exponer a posibles delincuentes porque se sienten envalentonados al aire libre. “La gente se siente más segura porque no son niños completamente expuestos, por lo tanto, no es CSAM”, dijo Mahalik, quien lidera el trabajo de la empresa de software Cellebrite ayudando a NCMEC y a las fuerzas del orden a usar su tecnología en investigaciones de explotación infantil. Señaló que es imperativo que las fuerzas del orden examinen más de cerca quién sigue estas cuentas y busquen un patrón de comportamiento.

La cuenta de TikTok compartió un video instructivo que muestra a los seguidores cómo generar y perfeccionar sus propias fotos de niñas pequeñas, hasta los dientes de las niñas.

“Aunque soy muchos años mayor que tú, tan pronto como vi tus ojos me enamoré de ti”, dijo un comentarista en la cuenta de TikTok, quien seguía a otros manejos con imágenes aún más sugerentes de niños. (Otro comentarista frecuente, que hacía comentarios como “abre bien”, estaba ejecutando una cuenta con publicaciones de niñas reales haciendo splits y estirándose en leotardos).

Otros comentaristas no parecían saber que las imágenes eran falsas; aunque el creador etiquetó algunas de las publicaciones como “generadas por IA”, como lo requiere TikTok, puede ser difícil para el ojo humano distinguir que no son reales, lo que también dificulta a las fuerzas del orden identificar a las víctimas reales. (Meta está desarrollando herramientas que podrán identificar imágenes creadas utilizando OpenAI, Midjourney, Microsoft, Google, Adobe y Shutterstock, y luego comenzará a etiquetar el contenido generado por IA publicado en Facebook, Instagram y Threads, según Vogel, la portavoz de Meta).

Lloyd Richardson, director de TI del Centro Canadiense para la Protección Infantil, dijo que independientemente de si estas imágenes al borde de lo permisible son de IA o reales, son una “puerta de entrada” a contenido más severo o ilegal, a menudo en otras plataformas, lo que entonces representa “un claro riesgo para la seguridad de los niños”.

“El problema subyacente es que este subconjunto de imágenes lleva a oportunidades de networking para los delincuentes”, dijo Richardson a Forbes, señalando que a menudo trasladan sus conversaciones a mensajes directos privados. “Estas imágenes pueden actuar como señales para promover enlaces hacia CSAM en otros canales”.

Una presentación de diapositivas del 13 de enero en TikTok de niñas pequeñas en pijamas de seda mostró este tipo de ida y vuelta en acción. “Esto me funciona”, escribió una persona en los comentarios, a lo que otra respondió: “Te acabo de enviar un mensaje”.

“Es por eso que las compañías no pueden simplemente moderar contenido en aislamiento mirando solo las imágenes”, agregó Richardson. “Tienen que tomarse en el contexto más amplio de cómo se están compartiendo, viendo y siguiendo. Esto es, por supuesto, más desafiante ya que puede requerir evaluación contextual que puede necesitar personal de moderación humana”. (Favazza, la portavoz de TikTok, dijo que usan automatización para ayudar a señalar posibles evidencias de comportamiento depredador).

El poderoso algoritmo de TikTok también facilita que aquellos con un interés sexual en niños encuentren aún más de este tipo de imágenes. Mientras Forbes informaba esta historia, TikTok comenzó a recomendar indicaciones adicionales, como “niños generados por IA” y “chica de fantasía IA”. Y el feed “Para Ti” de TikTok, donde los usuarios aterrizan cuando abren la aplicación y que ofrece videos virales que TikTok cree que les gustarán, asegura que lleguen a aún más de los mil millones de usuarios de TikTok.

McNulty, del NCMEC, dijo que uno de los mayores riesgos de que los niños generados por IA tengan estos momentos virales en las redes sociales, incluso si las imágenes no son criminales, es que las personas pueden desensibilizarse a lo peligrosas que pueden ser.

“Como sociedad,” dijo, “¿nos vamos a acostumbrar a este tipo de contenido y decir que está bien?”