Anthropic afirma haber bloqueado un posible proyecto de armas biológicas

Anthropic prohibió las cuentas que posiblemente intentaron utilizar su modelo de IA Claude para crear armas biológicas, anunció la compañía el jueves, revelando los resultados de una investigación pocos días después de que expertos en IA dieran la voz de alarma sobre el potencial de los asistentes digitales cada vez más poderosos para provocar la extinción humana.

Datos clave

• Anthropic declaró en un informe publicado el jueves que bloqueó una solicitud de asistencia de Claude para la redacción de una solicitud de subvención para financiación científica que se habría destinado a la investigación sobre la alteración genética del virus chikungunya, transmitido por mosquitos.
• Según Anthropic, la subvención tenía como objetivo hacer que el virus, que tiene una tasa de mortalidad muy baja pero causa dolor articular y muscular a largo plazo, fuera más dañino, al tiempo que reconocía que una investigación similar podría utilizarse en el desarrollo de vacunas o terapias para el virus.
• Sin embargo, la investigación también podría utilizarse para hacer que el virus fuera más peligroso, y Anthropic se inclinaba a creer que el proyecto no era tan inofensivo como parecía, ya que, si bien la solicitud de subvención sugería la participación de investigadores civiles, la investigación estaba prevista para llevarse a cabo en un instituto de investigación militar.
• Anthropic no ha revelado los nombres ni las afiliaciones de las instituciones o investigadores posiblemente involucrados, y agregó que bloqueó todas las cuentas asociadas, desmanteló las redes de retransmisión que eludían sus bloqueos regionales y compartió sus hallazgos con laboratorios de IA y el gobierno federal.

Cita crucial

«De la existencia de estos materiales de investigación se deduce que el esfuerzo de investigación no se limitó a una propuesta de financiación», declaró Anthropic en su informe. «Estamos bloqueando las cuentas que detectamos asociadas con este grupo de actividades y seguimos incorporando los resultados de nuestra investigación a nuevas medidas para detectar y prevenir que los responsables hagan un uso indebido de los servicios de Anthropic».

Antecedentes

Un antiguo empleado de OpenAI y Anthropic, así como un exempleado de Anthropic, afirmaron esta semana que existe la posibilidad de que la IA provoque la extinción humana en la próxima década. Evan Hubinger, quien supervisa los esfuerzos en Anthropic para alinear las funciones de la IA con los objetivos y valores humanos, declaró que, en su opinión, existe más de un 10 % de probabilidades de que la IA acabe con la humanidad en los próximos 10 años si su desarrollo continúa a un ritmo acelerado.

Fondo de la clave

La estimación de Hubinger se realizó en respuesta a una publicación de Jacob Coxon, un investigador de Anthropic que recientemente renunció a la empresa tras una breve etapa allí, quien alegó que las empresas de IA no estaban actuando con responsabilidad al “avanzar a toda velocidad hacia la superinteligencia auto-mejorada y jugar con nuestras vidas”. Añadió que los investigadores que trabajan en IA creen que podría “acabar con todos nosotros para finales de la década” y que sus comentarios no eran una “estrategia de marketing”. Las publicaciones de Coxon y Hubinger provocaron que los legisladores exigieran la aprobación de una ” Ley de Interruptor de Muerte de la IA “, y el senador Bernie Sanders, independiente por Vermont, prometió presentar una legislación para prohibir la superinteligencia y detener el desarrollo de la IA. El presidente Donald Trump ha sido un ferviente defensor del desarrollo de la IA en Estados Unidos, alentando a las comunidades estadounidenses a acoger la construcción de centros de datos y respaldando la carrera armamentística de la IA contra China.

Este artículo fue publicado originalmente por Forbes US.

Le puede interesar también: Elon Musk pone en duda las alertas de exinvestigador de Anthropic sobre la IA