La carta amb què un treballador d'Anthropic denuncia que la IA pot acabar amb la humanitat.

Jacob Coxon

Hoy he dejado mi trabajo en Anthropic. He pasado los últimos tres años haciendo investigación de preentrenamiento tanto para OpenAI como para Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Están compitiendo directamente por llegar a la superinteligencia automejorable y están jugando con nuestras vidas. [...]

No subestiméis el poder de esta tecnología. Pronto serán sistemas superhumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y obtener poder y recursos reales. Todos hemos sido testigos del avance en todas estas áreas y no se le está poniendo freno.

Las personas que la construyen creen sinceramente que la IA podría matarnos a todos antes de que termine la década. Esto no es una estrategia de márketing. Si acaso, muchos ejecutivos e investigadores senior matizan sus declaraciones en prensa para transmitir prudencia, pero he oído a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana encierra este nivel de peligro.Una reacción habitual es: “Si de verdad piensan eso, ¿por qué siguen construyéndola?”. En OpenAI, muchos no han terminado de entender lo que está en juego para la civilización. En Anthropic sí que entienden los riesgos, pero están atrapados en una carrera por llegar los primeros: creen que los otros no van a actuar de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del peligro.

Aceptar esta carrera y entrar en el “final de partida” es una apuesta arrogante que no debería lanzarse desde el Slack [plataforma de trabajo] de una empresa privada. Precipitarse con el alineamiento [que la IA se adhiera a unos valores y una ética humanos] solo debería hacerse si tenemos la absoluta seguridad de que no hay otra manera mejor de hacerlo.

Todavía tengo esperanza en que podamos coordinarnos. Incidentes como el ataque a Hugging Face han demostrado los peligros y han hecho que a los laboratorios estadounidenses les resulte más fácil aceptar la idea de limitar el desarrollo. Sin embargo, no creo que vayamos por buen camino para evitar una carrera a nivel mundial. Para lograrlo, probablemente necesitemos tomar medidas drásticas y costosas, como prohibir temporalmente la mejora de las capacidades de los modelos.

Si trabajas en un laboratorio de investigación, te animo a que reflexiones sobre cómo se van a desarrollar las cosas en los próximos años. ¿Quieres ser parte de un experimento de entrenamiento de IAs superinteligentes sin entender a fondo cómo funciona su mente? ¿Prefieres mirar hacia otro lado porque total, esto va ocurrir de todas formas? ¿O vas a posicionarte para que las cosas se hagan de otra forma?

Jacob Coxon, La IA podría matarnos a todos antes de que termine la década, ctxt 09/09/2026

Llegiu més en ¿Puede la IA perder el control y amenazar a la humanidad? Esto es lo que dicen algunos de los mayores expertos del mundo?