OpenAI lanza equipo para “riesgos catastróficos” de la IA, como amenazas biológicas y nucleares

OpenAI dijo el jueves que está creando un equipo llamado Preparedness para supervisar y evaluar el desarrollo de lo que denomina “modelos de inteligencia artificial de frontera” —que clasifica como modelos muy capaces con funciones potencialmente peligrosas— para vigilar “riesgos catastróficos” en categorías como la ciberseguridad y las amenazas nucleares.

DATOS CLAVE

• El equipo, que forma parte de OpenAI, se encargará de supervisar los modelos de IA de la empresa para mantenerlos en línea con los límites de seguridad con los que la empresa dice estar comprometida.

• Algunos de los ejemplos que enumera en una entrada de su blog es el riesgo de que los modelos de IA puedan persuadir a usuarios humanos a través del lenguaje y realizar tareas autónomas.

• La empresa también quiere estar atenta a lo que algunos expertos en IA han denominado amenazas de nivel de “extinción”, como pandemias y guerras nucleares.

• La preparación estará dirigida por Aleksander Madry, que es director del Centro de Aprendizaje Automático Desplegable del MIT, pero ahora está de excedencia para estar en OpenAI.

• Otra de las misiones del equipo es crear y mantener lo que denomina una “Política de desarrollo informada sobre riesgos”, que describirá cómo debe gestionar la empresa los riesgos que plantean los modelos de IA a medida que avanzan y se acercan a la “inteligencia general artificial”, es decir, a un conocimiento cercano al humano.

• OpenAI también está organizando un reto para que personas ajenas a la empresa envíen ideas sobre posibles formas de utilizar mal la IA y causar daños en el mundo real.

UN POCO DE CONTEXTO

En mayo, los dirigentes de OpenAI, entre ellos el CEO Sam Altman, el científico jefe Ilya Sutskever y la directora de tecnología Mira Murati, se unieron a otros expertos en IA para firmar una carta en la que daban prioridad a abordar los riesgos de los modelos avanzados de IA. La carta sigue a otra enviada en marzo por expertos en IA y ejecutivos tecnológicos, entre ellos Elon Musk, que se muestran escépticos ante el rápido desarrollo de la IA y piden una pausa de seis meses en el desarrollo de esta tecnología.

En una entrevista concedida a ABC News en marzo, Altman se mostró “especialmente preocupado” por la posibilidad de que los modelos avanzados de IA “se utilicen para la desinformación a gran escala”, pero reiteró su convicción de que el desarrollo de la tecnología es importante para la humanidad. Aunque ChatGPT arrasó en todo el mundo tras su lanzamiento el pasado noviembre aprobando exámenes y escribiendo redacciones, el chatbot y otros similares han sido responsables de difundir desinformación y mantener conversaciones extrañas.

Este artículo fue publicado originalmente en Forbes US

Le puede interesar: Estas herramientas tecnológicas ayudan a los trabajadores israelíes a coordinar voluntarios