Usar ChatGPT como Asistente de Informes: ¿Qué Salió Mal?

¡Hola, lectores!

\ Cuando se trata de desarrollos en inteligencia artificial, las cosas avanzan rápido. Han pasado menos de dos años desde el lanzamiento público de herramientas de IA como ChatGPT, Midjourney, Stable Diffusion y LLaMA de Meta. Los reguladores, legisladores y empresas están comenzando a comprender las implicaciones del uso de herramientas de IA generativa.

\ Esto incluye a organizaciones de noticias y periodistas, que ya han comenzado a experimentar. Nieman Journalism Lab informó que 5 de los 45 finalistas no anunciados para los premios Pulitzer de este año utilizaron IA para "investigar, reportear o relatar sus presentaciones". En la conferencia anual NICAR de periodismo de datos de Investigative Reporters & Editors en Baltimore la semana pasada, 14 de las más de 200 sesiones estaban relacionadas con la IA, discutiendo cómo la tecnología puede ayudar a los periodistas con flujos de trabajo, resumir documentos densos y depurar su código.

\ Tuve una propia, una sesión titulada "Uso de herramientas de IA para periodismo de datos" en la que comencé revisando las muchas herramientas disponibles y destacando las muchas preocupaciones éticas sobre ellas.

\ Luego mostré los resultados de mi experimento que consumió mucho tiempo para usar ChatGPT 4 como asistente para reportear una historia. Alerta de spoiler: ¡No fue tan bien!

\ La historia de ejemplo que usé para este ejercicio fue el descarrilamiento de tren en East Palestine, OH en febrero de 2023, una historia importante que involucraba varios tipos de datos que podría pedirle a ChatGPT que ayudara a analizar. Para ser claro, esta no era una historia sobre la que había informado, pero quería intentar usar ChatGPT de la manera en que un periodista de datos podría hacerlo al cubrirla. Pasé MUCHO tiempo chateando con ChatGPT como parte de este ejercicio y, francamente, a veces fue agotador. Puedes leer una de mis sesiones de chat aquí. La confianza que ChatGPT irradia al proporcionar información mal documentada (como Wikipedia) o ubicaciones imprecisas puede ser engañoso. A veces pude lograr que el Agente de IA me diera lo que quería, pero tenía que ser muy específico y a menudo tenía que regañarlo.

\ Por ejemplo, cuando ChatGPT cumplió mi solicitud de "generar un mapa simple centrado en la ubicación del accidente", inmediatamente noté que el marcador en el mapa estaba lejos de cualquier vía de tren. Cuando le pregunté dónde obtuvo las coordenadas de precios para la ubicación del accidente, respondió que estas fueron "inferidas basándose en el conocimiento general de la ubicación del evento". Cuando lo presioné para una cita más específica, no pudo proporcionar una y seguía repitiendo que se basaba en "conocimiento general". Tuve que recordarle a la herramienta que le había dicho al comienzo del chat que "es crucial que cites tus fuentes y siempre uses las fuentes más autorizadas". Antes de que finalmente pudiera marcar la ubicación correcta, tuve que recordarle que podía obtener coordenadas de precios de ubicación de un documento autorizado que había cargado anteriormente en el chat, un PDF del informe de incidentes de la Administración Federal de Ferrocarriles.

\ Extraer información y resumir documentos largos a menudo se cita como una de las mayores fortalezas de herramientas como ChatGPT. Mis resultados fueron mixtos. Después de algunos intercambios, persuadí al Agente de IA para extraer los detalles y cantidades de los productos químicos peligrosos que se liberaron en el accidente y formatear la información en una tabla que enumera el nombre del químico, la cantidad liberada, para qué se usa típicamente y sus efectos en la salud humana. Pero tomó algunos intentos. Donde sí ahorró tiempo fue al explicar información especializada que de otro modo podría haber requerido una búsqueda en Google que consume tiempo para descifrar, como la desencriptación de números de vagones de ferrocarril.

\ A veces, la herramienta estaba demasiado ansiosa por complacer, así que le pedí que lo moderara un poco: "Puedes omitir la charla trivial y las cortesías". Los usuarios pueden instruir al bot para cambiar el tono o estilo de sus respuestas, pero decirle que es un abogado no lo hace más preciso.

\ En general, las sesiones fueron mucho trabajo tratando de averiguar de dónde el Agente de IA obtuvo su información, y redireccionarlo con instrucciones precisas. Tomó mucho tiempo.

\ La empresa que fabrica ChatGPT, OpenAI, no respondió a una solicitud de comentarios.

\ Basándome en mis interacciones, con mucho las capacidades más útiles de ChatGPT son su capacidad para generar y depurar código de programación. (En un momento durante el ejercicio de East Palestine, generó un código simple de Python para crear un mapa del descarrilamiento). Al responder a una solicitud para escribir código, típicamente explica su enfoque (aunque puede no ser el mejor), y muestra su trabajo, y puedes redirigirlo para seguir un enfoque diferente si crees que su plan no es lo que necesitas. La capacidad de agregar continuamente características a tu código mientras el Agente de IA retiene el contexto y el historial de lo que has estado discutiendo realmente puede ahorrarte una tonelada de tiempo, evitando búsquedas meticulosas de publicaciones sobre un problema similar en StackOverflow (una de las comunidades de codificación en línea más grandes).

\ El ejercicio NICAR me dejó con preocupaciones sobre el uso de herramientas de IA generativa para el trabajo preciso del periodismo de datos. El hecho de que una herramienta tan poderosa como ChatGPT no pueda producir un "recibo" de exactamente cómo sabe algo va en contra de todo lo que estamos entrenados para hacer como periodistas. También me preocupa que las salas de redacción pequeñas y con poco personal confíen demasiado en estas herramientas ya que la industria de noticias lucha con despidos y cierres. Y cuando hay falta de orientación del liderazgo de la sala de redacción con respecto al uso de estas herramientas, podría conducir a errores e inexactitudes.

\ Afortunadamente, muchas salas de redacción han comenzado a abordar algunas de estas preocupaciones redactando políticas de IA para ayudar a sus periodistas y sus lectores a comprender cómo planean usar la IA en su trabajo.

\ The Markup ha seguido el ejemplo de otras organizaciones de noticias, y la semana pasada actualizamos nuestra política de ética con una sección que detalla nuestras reglas para cualquier uso de IA en nuestro trabajo. En Resumen, dice:

• No publicaremos historias ni obras de arte creadas por IA (a menos que sea parte de una historia sobre IA)
• Siempre etiquetaremos o divulgaremos su uso
• Siempre verificaremos rigurosamente nuestro trabajo, y esto ciertamente se aplica a cualquier cosa generada por IA
• En el futuro evaluaremos la seguridad, privacidad y consideraciones éticas de cualquier nueva herramienta de IA

\ ¡Gracias por leer, y siempre verifica dos veces todo lo que te dice un chat bot!

\ Jon Keegan

Periodista de Datos Investigativo

The Markup

Créditos

• Jon Keegan, Periodista de Datos Investigativo

Diseño y Gráficos

• Gabriel Hongsdusit

Compromiso

• Maria Puertas

Edición

• Ryan Tate
• Michael Reilly

\ También publicado aquí

\ Foto de Valery Tenevoy en Unsplash

\