Mentida i IA.

“En este momento, mi mayor temor sobre el engaño de la IA es que una IA súper inteligente autónoma utilice sus capacidades de engaño para formar una coalición de aliados humanos cada vez más numerosa y eventualmente use esta coalición para alcanzar el poder,en la búsqueda a largo plazo de un objetivo misterioso que no se conocería hasta después del hecho”, dice Peter S. Park, investigador postdoctoral en Seguridad Existencial de la IA del Massachusetts Institute of Technology (MIT) y uno de los autores principales del artículo.

Ese gran temor de Park es un supuesto, pero ya lo hemos visto en una IA programada para un juego. Meta anunció en 2022 que su modelo Cicero había ganado a rivales humanos al Diplomacia, un juego de estrategia que mezcla detalles del Risk, el póker y el programa de televisión Supervivientes, en palabras de la compañía. Como en la diplomacia real, uno de los recursos es mentir y disimular. Empleados de Meta advirtieron que cuando Cicero mentía, las jugadas le salían peor y lo programaron para ser más honesto. Pero no lo era en realidad.

Peter S. Park y sus coautores también pusieron a prueba la honestidad de Cicero. “Nos tocó a los autores del artículo corregir la falsa afirmación de Meta sobre la supuesta honestidad de Cicero que había sido publicada en Science”. El contexto político del juego Diplomacia es de mucho menor riesgo que los contextos reales con sus elecciones y conflictos militares. Pero hay que tener en cuenta tres hechos, dice Park: “Primero, Meta entrenó con éxito a su IA para sobresalir en la búsqueda de poder político, aunque en un juego. Segundo, Meta intentó, pero no logró, entrenar esa IA para que fuera honesta. Y tercero, nos tocó a científicos independientes externos para, mucho después del hecho, desmentir la falsedad de Meta de que su IA buscadora de poder supuestamente era honesta. La combinación de estos tres hechos es, en mi opinión, una causa suficiente para preocuparse”, según Park.

Jordi Pérez Colomé, Por qué es tan peligroso que la inteligencia artificial aprenda a mentir: ...?, El País 11/05/2024