Investigador de Anthropic advierte que la IA podría acabar con la humanidad

Un investigador sénior que lidera los esfuerzos de alineación de Anthropic dijo el martes que muchos en la empresa creían que la IA podría acabar con la humanidad, después de que otro investigador renunciara a la empresa, acusándola de no actuar de manera responsable.

Datos clave

• Evan Hubinger, responsable de ciencia de la alineación en Anthropic, escribió en X que él y sus colegas “creen sinceramente que la IA podría acabar con todos los humanos”, y estimó que esa cifra superaría el 10 % en la próxima década.
• Hubinger afirmó que la empresa estaba “haciendo todo lo posible”, pero que aún no tiene un plan para resolver el problema de la “alineación para la superinteligencia” y que no está “claramente encaminada” a hacerlo.
• La publicación de Hubinger respondía a un hilo de otro investigador de Anthropic, Jacob Coxon, quien anunció su renuncia a la empresa por preocupaciones sobre la seguridad de la IA.
• Coxon, quien afirmó haber trabajado en investigaciones sobre preentrenamiento en OpenAI y Anthropic, advirtió que las empresas rivales no estaban actuando de manera responsable al “avanzar a toda velocidad hacia la superinteligencia auto-mejorada y jugar con nuestras vidas”.
• El investigador que se marchaba afirmó que quienes desarrollan IA creen que podría “acabar con todos nosotros para finales de la década”, y que esto no era una “estrategia de marketing”.

Cita crucial

En una publicación posterior a su advertencia, Hubinger citó el último informe de riesgos de Anthropic y dijo que la amenaza que representan los modelos actuales es baja: “Lo que me preocupa es la superinteligencia que surge del auto-mejoramiento recursivo, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos”.

¿Qué sabemos sobre la renuncia del investigador antropológico?

El Wall Street Journal fue el primero en informar sobre la salida de Coxon de Anthropic debido a la preocupación por el impulso para construir sistemas de IA de autoaprendizaje que podrían amenazar a la humanidad. Coxon declaró al Journal que cree que el mundo se encamina hacia “muchos de los escenarios más agresivos, donde para finales del próximo año las cosas podrían estar ya fuera de control”. En sus publicaciones de X , Coxon comparó trabajar en OpenAI y Anthropic, señalando que los empleados de la empresa creadora de ChatGPT no han “internalizado profundamente lo que está en juego para la civilización”. Afirmó que en Anthropic si “entendía bien” lo que estaba en juego, pero la empresa estaba “inmersa en una carrera por llegar primero”, ya que creen que “nadie más actuará de forma responsable, así que deben hacerlo ellos mismos, a pesar del riesgo”.

Contexto

La advertencia y la renuncia se producen en un momento en que destacados investigadores y ejecutivos de IA presionan para que se ralentice el desarrollo de la IA avanzada. En julio, varias figuras importantes de la IA, incluidos los cofundadores de Anthropic, Dario Amodei y Jared Kaplan, el científico jefe de OpenAI, Jakub Pachocki, el científico jefe de Meta AI, Shengjia Zhao, y otros, firmaron una declaración titulada “Acelerando el avance de la IA”. La declaración afirmaba que, para “aprovechar el potencial de la IA, la industria, el gobierno y la sociedad en general podrían necesitar la opción de ganar tiempo para abordar los riesgos emergentes, desarrollar medidas de seguridad y fortalecer la supervisión”, pero advertía que las empresas se enfrentan a una intensa presión competitiva para hacerlo unilateralmente. La declaración instaba al gobierno estadounidense a apoyar un “esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para acelerar deliberadamente el avance de la IA automatizada”. En una publicación de blog el domingo, Pachocki se hizo eco de estas advertencias, afirmando que cree que “ningún laboratorio ha resuelto la alineación y la monitorización en un grado suficiente como para seguir escalando responsablemente a máxima velocidad durante mucho más tiempo”.

Este artículo fue publicado originalmente por Forbes US.

Le puede interesar también: Michael Dell supera a Jeff Bezos y entra al top 3 de los más ricos del mundo