Los investigadores descubrieron que el uso de chatbots de IA generativa mejora tanto la velocidad como la calidad de las tareas de redacción simples, pero no tuvieron en cuenta la verificación de hechos.
La semana pasada, un artículo de Gizmodo sobre Star Wars escrito por chatbots de IA generativa causó caos en la sala de redacción, por estar plagado de errores sobre el vasto universo. Fue un evento que puso de relieve uno de los desafíos de la IA generativa y planteó serias preguntas sobre los planes de algunas empresas de automatizar formas complejas de escritura.
Pero cuando se trata de otras formas de comunicación, como correos electrónicos o informes breves, un nuevo estudio del MIT publicado en la revista Science sugiere que la IA generativa puede ser de gran ayuda: el uso de chatbots para esas tareas aumenta la productividad en un 40% y mejora la calidad en un 18%.
Para el estudio, los autores Shakked Noy y Whitney Zhang, ambos candidatos a doctorado en el Instituto Tecnológico de Massachusetts, reclutaron a 453 personas con educación universitaria para realizar tareas de escritura generalizada. Estas incluían escribir un comunicado de prensa sobre un nuevo producto, un correo electrónico para toda la empresa sobre una nueva política, o un informe de consultoría sobre una nueva tendencia. Se les pidió a cada persona que hiciera dos tareas que un profesional haría en un campo determinado (por ejemplo, alguien podría hacer dos tareas relacionadas con relaciones públicas). Los participantes fueron reclutados a través del servicio Prolific, una plataforma que conecta a investigadores con sujetos, y dijeron haber realizado tareas similares anteriormente.
Entre cada tarea, se les indicó a la mitad de los participantes que se registraran en ChatGPT y se les dio permiso para usarlo en la segunda tarea. De ese grupo, el 80% utilizó la herramienta. Los trabajos de escritura fueron evaluados por otro grupo de profesionales en esos campos utilizando un sistema de puntuación numérica. Los participantes también fueron cronometrados en cada tarea y recibieron incentivos financieros: un pago base de US$10 y hasta US$14 en bonificaciones por calidad, aumentando el incentivo para rendir mejor.
“Cuando comenzamos a experimentar con ChatGPT, quedó claro que era un avance nuevo, como nada que hubiéramos visto antes”, dijo Noy a Forbes. “Y estaba bastante claro que iba a tener algún tipo de impacto en el mercado laboral”.
El hallazgo del estudio de que la productividad aumentó puede no ser sorprendente: los borradores iniciales suelen llevar mucho tiempo, y generar uno con solo hacer clic es una herramienta poderosa. Sin embargo, el hecho de que también haya aumentado la calidad puede ser inesperado. Noy afirmó que la razón del aumento en la calidad podría ser que ChatGPT es tan buen escritor que crea frases que a menudo son suficientes para tareas simples.
Dicho esto, los autores enfatizaron las limitaciones del estudio. Eligieron específicamente tareas en las que la verificación exhaustiva de hechos no era un problema debido a restricciones de presupuesto y tiempo para el proyecto. Como resultado, los autores no pudieron llegar a ninguna conclusión sobre la productividad en términos de cómo el tiempo dedicado a verificar los hechos podría compensar las ganancias obtenidas mediante el uso de la tecnología.
El estudio se realiza en un momento en el que las aplicaciones de IA generativa como ChatGPT, el chatbot Bard de Google y la herramienta de creación de imágenes DALL-E II de OpenAI han generado una intensa emoción y preocupación sobre cómo la IA puede cambiar el futuro del trabajo. McKinsey estima que el impulso de la IA generativa en la productividad podría agregar entre 2.6 y 4.4 billones de dólares en valor anualmente a la economía global. OpenAI estima que el 80% de los empleos pueden incorporar capacidades de IA generativa en sus flujos de trabajo. Cuando los guionistas de Hollywood se declararon en huelga en mayo, la IA generativa fue un punto central de las negociaciones contractuales.
Los participantes en el estudio también respondieron encuestas de seguimiento. Aquellos que utilizaron ChatGPT se mostraron emocionados y preocupados por la IA cuando se les preguntó dos semanas después del experimento. También dijeron que tenían el doble de probabilidades de utilizar el chatbot en sus trabajos reales. Sin embargo, cuando se les volvió a encuestar dos meses después del estudio, esa probabilidad disminuyó aproximadamente un 20%.
Aun así, los autores dijeron que es difícil predecir qué tendencias macro podrían surgir a medida que la tecnología se propague. “Va a ser importante. Exactamente lo que va a hacer y cómo afectará a la economía, creo que es demasiado pronto para decirlo”, dijo Noy. “Y estamos bastante inciertos al respecto”.