Se ha puesto a disposición de los moderadores de contenido de TikTok imágenes de niños que son explotados sexualmente como guía de referencia, dicen excontratistas.
Nasser esperaba enfrentarse a algún material inquietante durante su formación para convertirse en moderador de contenido de TikTok. Pero se sorprendió cuando a él y a otros en su clase se les mostraron imágenes de niños sexualmente explícitas y sin censura.
Nasser, que trabajaba para Teleperformance, que modera contenido para el gigante de las redes sociales, había sido asignado a un proyecto especial: enseñar a la IA de TikTok a detectar lo peor de lo peor publicado en la aplicación. Apenas unos días después de la incorporación, a él y a sus colegas se les mostraron imágenes gráficas y videos de niños involucrados en actos sexuales, todo el material que se había eliminado de TikTok.
“Tengo una hija, y no creo que sea correcto, solo un montón de extraños viendo esto”, dijo a Forbes Nasser, quien dejó Teleperformance en 2020. “No creo que deban usar algo así para entrenar”. (Su apellido y algunos otros en esta historia se han omitido por razones de privacidad).
Whitney Turner, quien trabajó para el programa TikTok de Teleperformance en El Paso (Estados Unidos) durante más de un año y se fue en 2021, también recordó que le mostraron imágenes de explotación sexual de niños como parte de su capacitación.
Siga las historias de tecnología en nuestra sección especializada
A Whitney se le dio acceso a una hoja de cálculo compartida que ella y otros exempleados le dijeron a Forbes que está llena de material que se determinó que viola las pautas de la comunidad de TikTok, incluidos cientos de imágenes de niños desnudos o abusados. Los ex moderadores dijeron que el documento, llamado “DRR”, abreviatura de lectura diaria requerida, fue ampliamente accesible para los empleados de Teleperformance y TikTok tan recientemente como este verano.
Si bien algunos moderadores que trabajaban en funciones no relacionadas no podían ver este material, las fuentes le dijeron a Forbes que cientos de personas en ambas compañías tenían acceso gratuito al documento. El DRR y otros materiales de capacitación se almacenaron en Lark, un software interno para el lugar de trabajo desarrollado por la empresa matriz de TikTok con sede en China, ByteDance.
Whitney estaba tan horrorizada por el manejo casual del material que lo informó al FBI y, posteriormente, se reunió con un agente en junio. El FBI no respondió a múltiples solicitudes de comentarios sobre si investigará el asunto.
Estos padres no saben que tenemos esta foto, este video, este trauma, este crimen salvado. Si los padres supieran eso, estoy bastante seguro de que quemarían TikTok.
Whitney Turner, ex moderadora de TikTok
“Estaba moderando y pensando: Este es el hijo de alguien. Esta es la hija de alguien. Y estos padres no saben que tenemos esta foto, este video, este trauma, este crimen guardado”, dijo Whitney a Forbes. “Si los padres supieran eso, estoy bastante seguao de que quemarían TikTok”.
El presidente global de confianza y seguridad de Teleperformance, Akash Pugalia, le dijo a Forbes que la compañía no usa videos con contenido explícito de abuso infantil en la capacitación, y dijo que no almacena dicho material en sus “herramientas de calibración”, pero no aclararía cuáles son esas herramientas o lo que hacen. Se negó a responder una lista detallada de otras preguntas sobre cuántas personas tienen acceso a material de abuso sexual infantil a través de DRR y cómo Teleperformance salvaguarda estas imágenes.
TikTok no está solo en su lucha por eliminar el material de abuso sexual infantil. Las plataformas de redes sociales más poderosas del planeta han utilizado durante mucho tiempo el aprendizaje automático y revisores humanos externos para capturar y eliminar dicho contenido antes de que se comparta ampliamente, y muchas empresas trabajan con el Centro Nacional para Niños Desaparecidos y Explotados de los Estados Unidos (NCMEC, por sus siglas en inglés) para alertar aplicación de la ley de tales imágenes problemáticas en sus aplicaciones.
Siga las historias de tecnología en nuestra sección especializada
Sin embargo, lo que es único es la forma en que TikTok y sus consultores externos manejan este material: un enfoque que, según los expertos, es torpe y arrogante en el mejor de los casos, y dañino y retraumatizante en el peor. Dicen que mostrar imágenes sexuales de niños en entrenamiento de moderación de contenido, censurados o no, solo los vuelve a victimizar. Y almacenar las imágenes en un documento ampliamente accesible es imprudente e innecesario.
El portavoz de TikTok, Jamie Favazza, dijo que los “materiales de capacitación de la empresa tienen controles de acceso estrictos y no incluyen ejemplos visuales de Material de Abuso Sexual Infantil”, pero admitió que trabaja con empresas de terceros que pueden tener sus propios procesos. TikTok se negó a responder preguntas sobre cuántos empleados tienen acceso al DRR y dónde está alojado el documento. La empresa matriz de TikTok, ByteDance, proveedora de la plataforma Lark, no respondió a las repetidas solicitudes de comentarios.
“Libre y suelta no va a funcionar aquí”
Los mensajes de abuso y explotación infantil son ilegales y existen reglas estrictas para manejarlos cuando se descubren. El material debe retirarse inmediatamente y reportarse a CyberTipline del NCMEC, donde el personal luego analiza los archivos y trabaja para rastrear de dónde provienen, de modo que puedan alertar a la agencia de aplicación de la ley correspondiente. Una vez que una empresa ha informado este material al NCMEC, por ley se le otorga inmunidad para retenerlo durante 90 días para ayudar a las autoridades. Pero la ley federal requiere explícitamente que las empresas “reduzcan al mínimo la cantidad de empleados a los que se les proporciona acceso” a ese contenido, “mantengan los materiales en un lugar seguro” y “se aseguren de que cualquier representación visual se destruya permanentemente, a pedido de una agencia gubernamental”
Los principales expertos legales y de seguridad en línea dijeron que hacer que el contenido abusivo y explotador con menores esté ampliamente disponible para los trabajadores de Teleperformance y TikTok con protecciones laxas va en contra de ese mandato y podría cruzar la línea de un problema de seguridad o privacidad a un crimen.
“Tienes que tener parámetros increíblemente estrictos sobre cómo se mantiene, cómo se ve, cómo se comparte; simplemente no es algo que puedas guardar en una computadora o en un archivo de capacitación”, dijo el asesor general de NCMEC, Yiota Souras. Cuando se le preguntó qué podría hacer que tal manejo de material de abuso sexual infantil sea un delito, Souras dijo que dependería de cómo la compañía lo preserve y proteja; quién tiene acceso a ella; y cómo se distribuye, descarga o replica (en un documento, por ejemplo).
“¿Qué tan bloqueado está?” dijo Souras. “Libre y suelto no va a funcionar aquí”.
Favazza de TikTok dijo: “Nuestro objetivo es minimizar la exposición de los moderadores de acuerdo con las mejores prácticas de la industria”. Cuando se le preguntó si TikTok había proporcionado a Teleperformance pautas para manejar material de abuso infantil, Teleperformance no respondió. Pugalia, el líder de confianza y seguridad de la compañía, solo dijo que Teleperformance cumple con las leyes aplicables donde quiera que opere.
Usar ejemplos de la vida real y exponer esos ejemplos a generaciones de nuevos empleados, eso me parece irresponsable.
David Vladeck, exdirector de la Oficina de Protección al Consumidor de la FTC
David Vladeck, director de la facultad del Centro de Privacidad y Tecnología de Georgetown Law, agregó que si bien es importante que las empresas capaciten a sus empleados y contratistas para que reconozcan las publicaciones que están fuera de los límites, no deberían usar contenido extraído de la plataforma para hacer eso.
“No es difícil idear herramientas de enseñanza que ayuden al personal a delinear entre lo que está bien y lo que no”, dijo Vladeck, exdirector de la Oficina de Protección al Consumidor de la Comisión Federal de Comercio. “Pero usar ejemplos de la vida real y exponer esos ejemplos a generaciones de nuevos empleados, eso me parece irresponsable”.
“Guardianes de internet”
Teleperformance es un titán mundial de servicio al cliente que existe desde la década de 1970. La compañía experimentó un crecimiento récord el año pasado, recaudando más de US$8.000 millones en ingresos. Cuenta con unos 1,000 clientes que abarcan casi todos los sectores, desde atención médica hasta hotelería, comercio minorista y telecomunicaciones, y solo recientemente agregó las redes sociales a su cartera.
Teleperformance lanzó su brazo “Confianza y seguridad” en 2019, y su programa de moderación con sede en El Paso, Texas, con TikTok, estaba en vivo a fines de ese año, según los ex moderadores que se incorporaron en ese momento. (Ninguna de las compañías dijo cuándo comenzó el contrato). La asociación es una pluma en la gorra de un negocio de décadas ansioso por demostrar que se mantiene al día. El informe anual más reciente de la compañía promocionó su asociación con “la plataforma de video de más rápido crecimiento en el mundo” y dijo que muchos de sus empleados ahora se hacen llamar “Guardianes de Internet”.
Teleperformance le dijo a Forbes que tiene un proceso de reclutamiento integral para moderadores de contenido y que está comprometido con su bienestar. Pero las conversaciones con ex empleados revelan hasta qué punto los moderadores estaban poco capacitados y sobrecargados de trabajo.
A medida que TikTok creció rápidamente y aumentó el volumen de contenido en la plataforma, la empresa comenzó a asignar más y más tareas de moderación a Teleperformance, según Richard, exmoderador y supervisor en El Paso que dejó la empresa en julio después de casi tres años allí. Describió un departamento de capacitación caótico plagado de problemas de comunicación y alta rotación que a menudo dejaba a empleados jóvenes o sin experiencia al frente del trabajo.
TikTok “apenas tiene control sobre el entrenamiento que se lleva a cabo ahora”, dijo Richard. Y Teleperformance está “en este punto en el que no pueden administrarlo de manera adecuada o correcta… Simplemente están abrumados”.
Angel, quien trabajó en Teleperformance en El Paso desde febrero de 2020 hasta diciembre de 2021, primero como moderador de contenido y luego como gerente, se hizo eco de esos sentimientos y señaló que el brazo de moderación de Teleperformance simplemente no podía manejar el crecimiento explosivo de TikTok.
“Estaban bastante dispersos, eso es seguro, al menos en el departamento de capacitación”, dijo. A medida que Teleperformance intensificó su trabajo con TikTok, los moderadores a menudo fueron capacitados y dirigidos por supervisores y otros superiores que no tenían las autorizaciones adecuadas, según Angel. Mientras los capacitadores se apresuraban a traer más moderadores, “fueron presionados por la gerencia para que siguieran adelante y ayudaran a la gente”, incluso con una preparación inadecuada, explicó.
Whitney agregó que cuando preguntó a sus jefes “por qué no podíamos simplemente ser transparentes con TikTok para hacerles saber que necesitábamos más tiempo y capacitación, me dijeron repetidamente que era porque el contrato estaba firmado [y] se esperaba que viviéramos para cumplir con el contrato, o simplemente nos reemplazarían con personas que pudieran hacerlo”.
“Lectura obligatoria diaria”
El llamado “DRR” es uno de varios archivos que los moderadores de TikTok han utilizado como recurso en el trabajo. (Ni TikTok ni Teleperformance confirmaron si todavía está en vivo hoy, pero tres ex moderadores que se fueron en mayo, junio y julio pasados dijeron que el DRR estaba en uso cuando se fueron).
Angel y otros ejemplos describieron el DRR como una hoja de cálculo llena de ejemplos de contenido infractor que se había eliminado de TikTok. Los moderadores dijeron que recibieron instrucciones de volver a consultarlo para obtener orientación sobre cómo “etiquetar” qué políticas violó ese material. La hoja de cálculo tenía varias pestañas para diferentes tipos de contenido: una relacionada con organizaciones terroristas, otra con desnudez, por ejemplo. El material de abuso sexual infantil también recibió su propia pestaña designada, dijo Angel.
Whitney estimó que las imágenes, videos y descripciones de abuso sexual infantil constituían aproximadamente una cuarta parte de la hoja de cálculo, que contenía miles de ejemplos de material violatorio. Ella creía que el DRR se remontaba a cuando TikTok presentó Teleperformance por primera vez. Marjorie Dillow, quien hasta mayo trabajó como moderadora para otro centro de Teleperformance en Boise (Idaho) se fue con una impresión similar. “Realmente no eliminan nada de ese DRR”, dijo.
Con toda esta información, TikTok le dijo a Forbes que no tenía suficientes detalles para confirmar la existencia de la DRR o responder una lista de preguntas al respecto. Teleperformance también se niega a responder una lista de consultas sobre el documento. Tampoco dijo que personas y empresas tienen acceso a él, dado que vive en el software Lark de ByteDance, y ByteDance ha tenido acceso a los datos de TikTok de EE. UU. en el pasado, o qué empresa controla el acceso al material. Tampoco dijeron qué tan atrás se encuentran los ejemplos de material de abuso sexual infantil en la DRR, y qué proceso podría haber para purgarlo 90 días después de informarlo, como lo exige la aplicación de la ley de los Estados Unidos.
Si bien aún no existe un conjunto común de abuso de mejores prácticas de la industria para manejar este material, el líder de Tech Coalition, un grupo que lucha contra el sexual infantil en línea que cuenta con TikTok como miembro, dijo que existe un marco.
“Hay ciertas leyes que son una especie de líneas claras, como que tienes que mantenerlo durante 90 días, tiene que ser embargado, una vez que te enteras, debes informarlo al NCMEC, generalmente es un delito grave poseer estas cosas. ”, dijo Sean Litton, director ejecutivo de la coalición. Pero “cada empresa ha establecido su propia forma de procesarlo”.
Debido a que la Corte Suprema y todos los demás han reconocido que los sujetos de este contenido son revictimizados cada vez que alguien lo mira, no debe ser discutido a la ligera.
Mary Graw Leary, exfiscal federal
La exfiscal federal Mary Graw Leary, experta en pornografía infantil y explotación que anteriormente ayudó a liderar el trabajo legal del NCMEC, dijo que el material de abuso sexual infantil debe tratarse como “contrabando”, como armas o drogas.
“Si te encuentras con drogas en el lugar de trabajo o en la escuela, y eres subdirector, no las pondrías en tu escritorio y las sacarías en la próxima reunión de profesores para decir: ‘Así es como se ve la cocaína’. como’”, dijo. “Del mismo modo, debido a que la Corte Suprema y todos los demás han reconocido que los sujetos de este contenido son revictimizados cada vez que alguien lo mira, no debe ser discutido de manera liviana”.
Cuando se le preguntó cuántas personas tienen acceso a la hoja de cálculo DRR, Angel estimó que cientos de personas solo en la oficina de El Paso y potencialmente cualquiera que trabaje con TikTok en otras ubicaciones de Teleperformance en Estados Unidos, como Boise; así como los propios empleados de TikTok. Angel también señaló que a pesar de que el sitio de El Paso es “un tipo de oficina sin papel” donde los moderadores atrapados con un teléfono “serían despedidos automáticamente”, el trabajo remoto durante la pandemia hizo que esas medidas de privacidad y seguridad fueran más difíciles de aplicar. El setenta por ciento de los 420.000 empleados de Teleperformance trabajaron desde casa en 2021, según el informe anual más reciente de la empresa.
Nasser dijo que los empleados remotos podrían acceder a esta hoja de cálculo confidencial desde casa. “Si alguien quisiera, podría levantar su teléfono y simplemente comenzar a grabar lo que sea que esté viendo”, dijo. “[Podían] enviárselo a sus amigos o a sus amigos o a quien quisieran. No creo que tengan forma de rastrear nada de esto en Teleperformance”.
La ex moderadora AnaSofia Lerma le dijo a Forbes que a pesar de que le mostraron un video sexual de un niño durante el entrenamiento, nunca se encontró con dicho material mientras trabajaba. Se preguntó por qué se le había pedido que lo viera en primer lugar.
“No creo que fuera necesario en absoluto”, dijo Lerma, quien trabajó en Teleperformance en 2020. “Si alguien más lo sube, simplemente debería eliminarlo y borrarlo de la existencia. … Me pregunté, ‘¿Por qué están guardando estos videos?’”
“Honestamente”, agregó, “tuve que tomarme unos minutos libres”.
Whitney, de la oficina de El Paso, dijo que aprovechó la oportunidad de ganar US$18.50 por hora en Teleperformance, una mejora de un salario anterior de US$16 por hora trabajando para una empresa que renueva Walmarts. Un reclutador le dijo a Whitney que sería como “una oficial de policía para TikTok”, y la perspectiva de proteger a las personas la entusiasmó.
Pero después de pasar poco más de un año en Teleperformance, “he estado luchando para funcionar correctamente”, dijo Whitney. Con frecuencia pierde el hilo de sus pensamientos, se llena de rabia al azar y tiene sentimientos de suicidio.
Nasser, un veterano con trastorno de estrés postraumático relacionado con el combate, también ha tenido problemas, ya que algunas de sus experiencias en Teleperformance han resultado ser más desafiantes que su tiempo con el ejército de los Estados Unidos. En cuanto a los videos gráficos de los niños que se vio obligado a ver para conseguir el trabajo, dijo: “Solo hablar de eso, mencionarlo solo, sería suficiente”.
“Sé lo que vimos, y fue bastante jodido”, le dijo a Forbes. “No deberíamos haber tenido que ver nada de eso”.