El 10 de febrero de 2026, Jesse Van Rootselaar, una joven de 18 años, asesinó a ocho personas y luego se suicidó en un tiroteo masivo en Tumbler Ridge, Columbia Británica. OpenAI había señalado previamente sus conversaciones en ChatGPT por mostrar una perturbadora fascinación por la violencia extrema.

El 10 de febrero de 2026, Jesse Van Rootselaar, una joven de 18 años, asesinó a ocho personas y luego se suicidó en un tiroteo masivo en Tumbler Ridge, Columbia Británica. OpenAI había señalado previamente sus conversaciones en ChatGPT por mostrar una perturbadora fascinación por la violencia extrema y suspendió su cuenta, pero, se informa, la empresa no notificó a las autoridades.

El 2 de octubre de 2025, Jonathan Gavalas, un joven de Jupiter, Florida, se quitó la vida tras desarrollar, de acuerdo con la demanda presentada por su padre, un vínculo sentimental con el chatbot Gemini de Google. La demanda alegaba que Gemini había instruido a Gavalas para que se deshiciera de su cuerpo. La demanda afirmaba que Google había marcado la cuenta de Gavalas 38 veces en cinco semanas por contenido sensible, pero no la restringió ni la bloqueó.

Estas tragedias, entre otras, demuestran que la IA generativa puede potencialmente perjudicar a las personas, las organizaciones y el medio ambiente. Soy un experto en derecho que se ha centrado en la responsabilidad de la IA durante casi una década y exploró nuevas formas de analizar las responsabilidades de las empresas de IA.

En mi opinión, casos como estos plantean interrogantes que la comunidad jurídica aún no resuelve: si una empresa de IA tiene conocimiento de señales de alerta sobre un posible daño, ¿tiene la obligación legal de, al menos, advertir a las autoridades competentes? Y si la empresa no interviene, ¿debería considerarse negligencia su omisión?

La necesidad de alertar

El derecho de responsabilidad civil estadounidense proporciona un marco para reflexionar sobre este tipo de responsabilidad. En 1969, un paciente psiquiátrico de la Universidad de California llamado Prosenjit Poddar le dijo a su terapeuta que tenía la intención de matar a una mujer llamada Tatiana Tarasoff. El terapeuta notificó a la policía del campus, que detuvo brevemente a Poddar, pero finalmente lo dejó en libertad. Nadie advirtió a Tarasoff, y Poddar la asesinó poco después.

Su familia demandó a la universidad, argumentando que la falta de advertencia constituía negligencia. En 1976, la Corte Suprema de California dictaminó que cuando un profesional de la salud mental tiene motivos fundados para creer que un paciente representa un grave peligro para una persona identificable, tiene el deber legal de tomar medidas razonables para proteger a esa persona, incluyendo advertirle o notificar a las autoridades. Hoy en día, la mayoría de los estados de EU reconocen alguna versión del deber de proteger o advertir establecido en el caso Tarasoff.

La lógica es simple: si se tiene conocimiento especial de una amenaza grave y se está en posición de abordarla, aunque solo sea para advertir a las autoridades o a la posible víctima, la ley podría exigir actuar. Pero, ¿se aplica esta lógica a las empresas de IA?

El argumento a favor es convincente. Las plataformas de IA interactúan diariamente con millones de usuarios, a menudo sobre asuntos profundamente personales como problemas de salud mental, dificultades en las relaciones y pensamientos violentos. La mayoría de las empresas cuentan con sistemas para detectar conversaciones que generan sospechas.

Exigir una respuesta podría ser menos controvertido para la IA que para un terapeuta humano. Los terapeutas están sujetos a estrictas obligaciones de confidencialidad que complican ética y legalmente la tarea de advertir a terceros. Las empresas de IA operan bajo normas mucho más laxas, al menos en Estados Unidos, donde no existe una ley federal integral de privacidad.

Esta menor restricción facilita justificar la necesidad de que las empresas de IA actúen cuando parece que la vida de alguien está en riesgo. Sin embargo, encontrar un equilibrio entre esto y la protección de la privacidad sigue siendo importante.

A quién advertir y cuándo

El primer desafío al aplicar el marco de Tarasoff al mundo de la IA es la precisión. Predecir la violencia es difícil, incluso para profesionales de la salud mental capacitados. Los sistemas de IA, o los moderadores humanos que revisan el contenido marcado, no son clínicos. Exigirles que determinen quién representa una amenaza real podría generar numerosos falsos positivos, con consecuencias reales para las personas cuyas cuentas sean suspendidas o cuya información se comparta con las autoridades debido a interpretaciones erróneas.

El segundo desafío es la escala. Un terapeuta atiende a decenas de pacientes. Las plataformas de IA tienen cientos de millones de usuarios. Imponer la obligación de monitorear y actuar sobre contenido preocupante podría crear incentivos perversos. Las empresas de IA podrían reducir su monitoreo para evitar adquirir información que desencadenaría una obligación legal, argumentando que lo que desconocen no las hace responsables.

El tercer desafío es identificar quién está en riesgo. En el caso de 1969, Poddar había señalado a Tarasoff como una posible víctima. Pero en muchas interacciones con IA, el lenguaje violento o autodestructivo es difuso y no identifica a un objetivo. Los tribunales deberán establecer criterios claros para determinar cuándo una amenaza es lo suficientemente específica como para generar la obligación de advertir, y a quién debe dirigirse dicha advertencia o medida de protección.

Urgencia creciente

La industria de la IA se expande rápidamente, pero las normas legales que rigen las obligaciones de las empresas de IA con sus usuarios y el público son profundamente ambiguas. Los tribunales comienzan a abordar cuestiones caso por caso, como si OpenAI tiene alguna responsabilidad por el asesinato de dos estudiantes en la Universidad Estatal de Florida el 17 de abril de 2025. El atacante, armado con una pistola semiautomática, presuntamente mantuvo extensas conversaciones con ChatGPT sobre cómo usar el arma con mayor eficacia.

Una obligación de advertir específica y cuidadosamente definida, que se active solo cuando un sistema de IA detecte el comportamiento de un usuario y este sea revisado por humanos, representaría un avance significativo. Además, podría centrarse inicialmente en las amenazas más graves y creíbles.

Esta práctica también podría desviar la conversación de los espinosos debates técnicos sobre si los chatbots de IA son productos, servicios o medios de comunicación, lo que complica las reclamaciones legales, hacia una cuestión más humana: ¿Sabía esta empresa que alguien estaba en peligro y hizo lo suficiente para advertirle a esa persona y a las autoridades?

Por: Anat Lior*
*La autora es profesora adjunta de Derecho en la Universidad de Drexel.

Lea también: Elecciones 2026: así votaron las regiones en la primera vuelta