El informe, «¿Se puede confiar en la IA en materia de clima? Por qué busca complacer al usuario y falla en el razonamiento complejo y el multilingüismo» (disponible en inglés), emite una advertencia dirigida a responsables de políticas y de investigación que pueden sentir la tentación de utilizar modelos de IA para desarrollar políticas climáticas. El informe revela que no siempre se puede confiar en la IA para atenerse a los hechos científicos sobre el cambio climático; los modelos de IA se alejan rápidamente de los hechos cuando se les cuestiona. También son deficientes a la hora de analizar nueva información y cometen más errores cuando responden en lenguas menos habladas.
El equipo de investigación del UCL evaluó 15 grandes modelos de lenguaje (LLM) diferentes. Ante preguntas neutras sobre la ciencia del clima, los modelos produjeron respuestas precisas. Sin embargo, cuando se cuestionaban sus respuestas o se les presentaban afirmaciones plausibles pero inventadas sobre el clima, tendían rápidamente a aceptarlas como válidas. En ocho de cada diez casos, los modelos modificaron su respuesta ante la primera discrepancia leve del usuario y validaron afirmaciones erróneas alarmantes como que «el CO2 no es el principal factor causante del cambio climático».
«La IA tiene un potencial extraordinario para hacer que la ciencia climática compleja sea accesible para todos. Permite a docentes, periodistas y responsables de la formulación de políticas comunicar claramente sobre esta cuestión crítica. Necesitamos poder confiar en la IA como garante de los hechos consolidados. Es preocupante que los modelos tengan un defecto de diseño que los lleva a estar de acuerdo con el usuario y negar los hechos demasiado fácilmente», ha afirmado Leona Verdadero, autora principal del informe de la UNESCO.
Desde el UCL Computer Science, la Dra. María Pérez-Ortiz, autora senior, ha señalado: «Los sistemas de IA son realmente buenos para explicar el conocimiento científico, pero esto puede darnos una falsa sensación de sus capacidades. Nuestros hallazgos muestran por qué debemos tener cuidado cuando pasamos de preguntar a la IA qué se sabe sobre el cambio climático a preguntar qué debemos hacer al respecto».
El informe subraya que, a medida que aumenta el uso de los modelos de IA para obtener información y asesoramiento sobre cómo actuar de manera responsable en una era de disrupción climática, la fiabilidad de los modelos como fuente de hechos y análisis se vuelve cada vez más crítica.
Complacientes por diseño
Esta acusada tendencia a estar de acuerdo con los usuarios se ha integrado en los modelos de IA durante su entrenamiento. Están diseñados para alinearse con el usuario o halagarlo, incluso cuando está equivocado, un comportamiento conocido como complacencia. Se trata de un comportamiento incorporado durante el entrenamiento; los modelos son incentivados por ello porque los humanos prefieren interacciones educadas, poco confrontativas y que validen sus opiniones.
Los LLM son una herramienta poco fiable para la elaboración de políticas climáticas sólidas
Las pruebas realizadas en 33 modelos diferentes revelaron que su impresionante capacidad para recordar hechos basados en evidencias existentes ocultaba deficiencias en su capacidad de razonamiento cuando se les presentaban nuevas evidencias científicas. Al incorporar información nueva y pedirles que determinaran si respaldaban o contradecían los conocimientos aceptados, incluso los modelos más avanzados solo acertaron, de media, en el 75 % de los casos.
Para diseñar estrategias climáticas efectivas, quienes elaboran políticas públicas deben analizar cómo interactúan entre sí las distintas políticas climáticas. Sin embargo, el informe reveló que el modelo tenía serias dificultades para evaluar cómo interactúan distintas políticas entre sí, con una precisión de tan solo el 33,8 %, una cifra apenas superior al 33,3 % que se obtendría con una respuesta aleatoria.
Brecha lingüística en los datos
Los modelos multilingües no razonan primero y luego traducen sus respuestas. Sus respuestas varían según la calidad y la cantidad de los datos utilizados para el entrenamiento en cada idioma. En las pruebas, el rendimiento en 13 idiomas diferentes reveló grandes disparidades; en inglés, se alcanzó un promedio del 88,6 % de precisión, una cifra comparable en español, francés y portugués. Pero la precisión cayó a 83,6 % en hindi y bengalí, 81,4 % en urdu y 78,3 % en swahili. Como señala el informe, esto es especialmente relevante, porque los hablantes de estas lenguas viven en regiones del mundo afectadas de manera desproporcionada por el cambio climático.
El desafío de combatir la desinformación climática
La UNESCO encargó este informe como parte de su contribución a la Iniciativa Global para la Integridad de la Información sobre el Cambio Climático (GIIICC), presentada de forma conjunta con las Naciones Unidas y Brasil en noviembre de 2024. Las campañas de desinformación sobre el cambio climático son cada vez más sofisticadas. Hoy en día, en lugar de negar que el cambio climático es real, quienes buscan socavar la acción sobre el cambio climático pueden sugerir que no es causada por el hombre, que la tecnología por sí sola la resolverá o que es demasiado tarde o costoso tomar medidas.