Muchos estudiantes han admitido usar software como ChatGPT para ayudar en las tareas, lo que ha llevado a muchos distritos escolares de Estados Unidos a prohibir el chatbot.

Un nuevo estudio encontró que un detector de inteligencia artificial desarrollado por la Universidad de Kansas puede detectar contenido generado por IA en trabajos académicos con una tasa de precisión del 99%, siendo uno de los pocos detectores en el mercado específicamente diseñados para la escritura académica.

Datos clave:

  • Según un informe publicado el miércoles en la revista Cell Reports Physical Science, los investigadores crearon una herramienta que puede demostrar la detección de IA en trabajos académicos con una precisión del 99%.
  • El equipo de investigadores seleccionó 64 perspectivas (un tipo de artículo) y las utilizó para generar 128 artículos utilizando ChatGPT, los cuales luego se utilizaron para entrenar al detector de IA.
  • El modelo tuvo una tasa de precisión del 100% para identificar artículos creados por humanos en comparación con aquellos generados por IA, y una tasa de precisión del 92% para identificar párrafos específicos dentro del texto.

Tangente:

Según una encuesta realizada por Study.com, el 89% de los estudiantes universitarios ha admitido usar ChatGPT para ayudar en las tareas, mientras que el 34% de los educadores cree que el software debería ser prohibido, aunque el 66% apoya que los estudiantes tengan acceso.

Antecedentes clave:

El chatbot de OpenAI, ChatGPT, fue lanzado al público en noviembre de 2022 y, en menos de una semana, superó la marca del millón de usuarios, utilizándolo para crear código y redactar ensayos, entre otras cosas. La inteligencia de la IA llevó a varias escuelas a prohibir de forma indefinida o temporal el uso del software, incluyendo las Escuelas Públicas de Nueva York, las Escuelas Públicas de Seattle y el Distrito Escolar Unificado de Los Ángeles.

Cita importante:

“En este momento, existen algunos problemas bastante evidentes con la escritura de IA”, dijo la autora principal Heather Desaire en un comunicado. “Uno de los problemas más grandes es que ensambla texto de muchas fuentes y no hay ningún tipo de verificación de precisión, es como el juego ‘Dos verdades y una mentira'”.

En contra:

Los detectores de IA no han demostrado ser 100% precisos. Una estudiante de la Universidad de California en Davis alega que fue acusada falsamente por su universidad de hacer trampa con IA. Después de subir un trabajo para una de sus clases, recibió un correo electrónico de su profesor afirmando que una parte fue marcada por el programa Turnitin como generada por IA. Su caso fue inmediatamente remitido a la Oficina de Apoyo Estudiantil y Asuntos Judiciales, encargada de la disciplina por mala conducta académica. La estudiante defendió su caso y finalmente ganó, utilizando marcas de tiempo para demostrar que ella escribió el trabajo. Esta no fue la única vez que los educadores etiquetaron erróneamente las tareas como generadas por IA. Un profesor de Texas A&M Commerce intentó suspender a más de la mitad de su clase de último año después de utilizar ChatGPT para comprobar si los estudiantes usaron el chatbot para escribir sus trabajos. Copió y pegó los trabajos en ChatGPT y preguntó si los había escrito, a lo que el chatbot respondió que sí. Esto hizo que la universidad retuviera sus diplomas, aunque el profesor ofreció la oportunidad de volver a hacer la tarea. Sin embargo, la universidad confirmó a Insider que ningún estudiante fue suspendido o se le impidió graduarse.

Tangente 2:

Ya existen muchos programas y servicios que prometen identificar contenido generado por IA.

  • TurnitIn lanzó una herramienta de detección de IA para trabajos académicos. Anteriormente, solo tenía la capacidad de verificar el plagio. La función se ha añadido a su informe de similitud y muestra un porcentaje general de la cantidad de trabajo generado por software de IA en el documento. La compañía afirma que su herramienta de detección de IA tiene una precisión del 98% al identificar trabajos escritos por IA. Su modelo de detección está entrenado para detectar contenido de los modelos de lenguaje GPT-3 y GPT-3.5, incluyendo ChatGPT. Sin embargo, afirma que debido a que las características de escritura de GPT-4 son similares a las versiones anteriores, puede detectar contenido de esta versión “en la mayoría de los casos”.
  • Copyleaks afirma tener una tasa de precisión de detección de IA del 99%. Su software puede detectar texto generado por IA en varios modelos, incluyendo GPT-4 y versiones anteriores, y contenido creado con Jasper AI. También afirma poder detectar contenido de IA en múltiples idiomas, incluyendo español, ruso, francés, neerlandés y alemán.
  • Winston AI se lanzó en febrero y afirma realizar esta tarea con un 99% de precisión. Solo admite la detección en inglés y francés, aunque la empresa planea expandirse pronto al español y al alemán. Puede detectar contenido creado utilizando ChatGPT, Bard, Bing Chat, GPT-4 y otras herramientas de generación de texto.
  • El Clasificador de OpenAI se lanzó en enero para distinguir entre textos escritos por IA y textos escritos por humanos. Aunque los mismos creadores de ChatGPT desarrollaron esta herramienta, no es muy precisa. Tiene una tasa de éxito de aproximadamente el 26% y etiqueta incorrectamente el trabajo humano como trabajo de IA el 9% de las veces. Sin embargo, OpenAI afirma que la precisión aumenta a medida que aumenta la longitud del texto. Es “poco confiable” en textos con 1,000 caracteres o menos, y OpenAI solo recomienda usar el software en documentos escritos en inglés. La empresa también advierte que no se debe utilizar el Clasificador como la única herramienta de toma de decisiones y sugiere utilizarlo para complementar otros métodos de detección.
  • AI Writing Check fue desarrollado por Quill y CommonLit para ayudar a los profesores a verificar trabajos creados por IA en las tareas. Los desarrolladores predicen que su precisión se encuentra entre el 80% y el 90%. Solo permite la detección de texto de hasta 400 palabras a la vez, y para textos más largos, los usuarios deben dividirlos en secciones. El software de detección fue creado por OpenAI y es capaz de identificar patrones sintácticos de lenguaje en el texto que no son completamente humanos.