El CEO de Anthropic advierte que en Corea del Norte y China han intentado abusar de Claude para el cibercrimen

Dario Amodei, cofunador y CEO de Anthropic, advirtió este jueves que los modelos de inteligencia artificial enfrentan tanto riesgos de alineación a largo plazo como amenazas urgentes de seguridad, tan solo días después de que la compañía revelara nuevas pruebas de que su sistema insignia, Claude, ha sido utilizado de forma indebida en operaciones de ransomware, fraude y ciberataques respaldados por Estados.

“En cada tema hay… una dualidad: están las preocupaciones grandes y de principios sobre lo que tememos a medida que los algoritmos se hacen más poderosos. Y luego está la versión práctica, que es, cuando los desplegamos hoy, ¿cuáles son los problemas reales que enfrenta la gente?”, dijo Amodei a la audiencia en la conferencia Inbound de HubSpot en San Francisco.

Amodei señaló que la prioridad inmediata de Anthropic es garantizar que sus sistemas se mantengan seguros para el uso empresarial.

“A largo plazo, existen problemas como el de tener modelos muy poderosos que son más inteligentes que cualquier humano. ¿Cómo los mantenemos bajo control humano? Pero… la versión de corto plazo… es, al ver estos modelos, ¿cómo nos aseguramos de que hagan lo que la gente quiere que hagan?”, indicó.

El directivo mencionó riesgos de privacidad y de marca para las empresas, preguntándose: “Si les doy acceso a mis datos empresariales, ¿cómo me aseguro de que no los difundan públicamente ni den acceso a ellos? ¿Cómo me aseguro de que la gente no pueda usar, por ejemplo, inyecciones de prompt para comprometer la seguridad del modelo? ¿Cómo manejo la privacidad?”.

Amodei agregó que el mal uso no es algo hipotético. “De hecho, cerramos recientemente, hemos estado monitoreando y pudimos cerrar muy rápido, un intento de un actor estatal que trataba de usar sistemáticamente a Claude para… llevar a cabo ataques de ransomware. Gente en Corea del Norte intentaba usarlo en estafas laborales para evadir sanciones.”

El recién publicado Informe de Inteligencia de Amenazas de Anthropic ofrece detalles de cómo Claude ha sido explotado por ciberdelincuentes y actores estatales a pesar de las salvaguardas de la compañía. Un caso involucró el llamado “vibe hacking”, donde un criminal utilizó Claude Code, el asistente de programación de Anthropic, para automatizar reconocimiento, robo de credenciales y penetración en al menos 17 organizaciones de sectores como salud, gobierno y servicios de emergencia.

En lugar de encriptar sistemas, los atacantes exfiltraron datos sensibles y amenazaron con filtrarlos públicamente a menos que se pagaran rescates (en ocasiones superiores a US$500.000). Claude fue utilizado para generar notas de extorsión en HTML personalizadas y analizar datos robados para definir los montos de pago más efectivos.

Otra investigación reveló un esquema de fraude laboral remoto de Corea del Norte en el que operadores usaban Claude para simular competencias técnicas y conseguir empleos en empresas tecnológicas occidentales.

Según Anthropic, los trabajadores eran “completamente dependientes” de la IA para programar, aprobar entrevistas y comunicarse en inglés, lo que les permitió canalizar cientos de millones de dólares hacia los programas armamentistas del régimen.

Un caso separado identificó a un actor con sede en el Reino Unido que comercializaba kits de ransomware como servicio generados con IA en foros de la dark web por tan solo US$400, mientras que un grupo chino fue descubierto integrando a Claude en casi todas las fases de una campaña de nueve meses dirigida contra infraestructura crítica en Vietnam.

Amodei afirmó que Anthropic ha restringido el acceso a algunos productos experimentales a un grupo reducido de evaluadores mientras desarrolla defensas más sólidas.

“No estamos completamente a salvo de los ataques de inyección de prompts”, dijo. “Nuestra esperanza es avanzar en un camino que, con el tiempo, nos permita ofrecer… alguna versión de esto que sea segura para las empresas”.

Agregó que la compañía ha buscado ser más transparente que sus pares: “Nosotros rastreamos estos casos, los cerramos muy rápido y siempre somos muy transparentes al respecto. Me preocupa que ustedes oigan esto solo de nosotros porque lo estamos vigilando tanto… pero no creo que signifique que no esté ocurriendo en otros lugares. Creo que significa que somos los únicos que lo estamos mirando.”

Reflexionando sobre su trayectoria, Amodei recordó que creció en San Francisco durante el auge de las puntocom, pero que al inicio desestimó el fenómeno.

“Yo quería ser científico… me dediqué a eso. Pero… cada vez nos enfrentábamos a problemas cuya complejidad superaba la mente humana. Y así fue como me interesé en la IA”, señaló. “Ahora estoy en medio de este ecosistema tecnológico que me generaba poca atención incluso cuando crecí rodeado de él. De alguna manera, las cosas han cerrado el círculo”.