La importància de distingir entre "saber què" i "saber com" en tecnologia.

“Las máquinas harán lo que les pidamos que hagan y no lo que deberíamos pedirles que hagan.” —Norbert Wiener

En el otoño de 2005, el historiador de la tecnología George Dyson, hijo del renombrado físico Freeman Dyson, viajó a la extensa sede de Google en Silicon Valley — el “Googleplex”, como todos lo llamaban alegremente entonces. Había sido invitado a unirse a una celebración que marcaba el sexagésimo aniversario de la publicación del “Primer borrador de un informe sobre el EDVAC” de John von Neumann, en el que el matemático expuso las especificaciones de diseño originales para una computadora digital.

Von Neumann escribió el artículo con la esperanza de asegurar financiamiento para construir su máquina propuesta. El dinero comenzó a fluir. Las principales ramas del ejército estadounidense —Ejército, Marina, Fuerza Aérea— ofrecieron su apoyo, anticipando todo tipo de aplicaciones en el campo de batalla para una máquina de cálculo de alta velocidad. Sin embargo, el mayor patrocinador fue la recién establecida Comisión de Energía Atómica de los Estados Unidos, que estaba asumiendo el control de las instalaciones y maquinaria que se habían utilizado para producir la bomba atómica durante la Segunda Guerra Mundial. El pacto entre von Neumann y la AEC fue algo así como "un trato con el diablo", sugirió Dyson en un ensayo, La Catedral de Turing, escrito poco después de su visita a Google, ya que la computadora digital resultaría ser fundamental en la posterior creación de la bomba "súper", o de hidrógeno.

Al romper la distinción entre números que significan cosas [es decir, datos] y números que hacen cosas [es decir, instrucciones ejecutables], von Neumann desató el poder de la computadora de programa almacenado, y nuestro universo nunca volvería a ser el mismo. No fue una coincidencia que la reacción en cadena de direcciones e instrucciones dentro del núcleo de la computadora se asemejara a una reacción en cadena dentro del núcleo de una bomba atómica. La fuerza impulsora detrás del proyecto de von Neumann fue el impulso de ejecutar simulaciones de Monte Carlo a gran escala sobre cómo la implosión de una masa subcrítica de material fisible podría llevar a que el ensamblaje crítico resultante explotara.

“La explosión real de la computación digital,” comentó Dyson, “ha eclipsado la amenaza de la explosión de las bombas.”

Más tarde en su ensayo, Dyson describió su visita al Googleplex, una experiencia que lo había dejado inquieto. “El ambiente era juguetón”, escribió, “sin embargo, había una reverencia palpable en el aire.” Dyson, quien había estado fascinado durante mucho tiempo por el deseo de la humanidad de crear una inteligencia artificial, sintió que las ambiciones de Google iban mucho más allá de “organizar la información del mundo y hacerla universalmente accesible y útil”, como decía su famosa declaración de misión. La compañía había comenzado recientemente a escanear millones de libros en sus bancos de datos, y cuando Dyson preguntó a un ingeniero de Google sobre el esfuerzo, el ingeniero respondió: “No estamos escaneando todos esos libros para que los lean las personas. Los estamos escaneando para que los lea una IA.”

El motor de búsqueda era una fachada, un medio para ganar una enorme cantidad de dinero y acumular una enorme cantidad de datos. Lo que Google realmente estaba desarrollando era la creación de una inteligencia artificial. “Es 1945 de nuevo”, escribió Dyson.

Cuando [salí del Googleplex], me encontré recordando las palabras de Alan Turing, en su artículo seminal “Máquinas de Computación e Inteligencia”, un documento fundacional en la búsqueda de la verdadera IA. “Al intentar construir tales máquinas, no deberíamos estar usurpando irreverentemente Su poder de crear almas, así como no lo hacemos en la procreación de niños”, había aconsejado Turing. “Más bien, en ambos casos, somos instrumentos de Su voluntad proporcionando mansiones para las almas que Él crea.”

Google es la catedral de Turing, esperando su alma. Esperamos. En palabras de un amigo inusualmente perspicaz: “Cuando estuve allí, justo antes de la OPI, pensé que la comodidad era casi abrumadora. Perros Golden Retriever felices corriendo en cámara lenta a través de aspersores de agua en el césped. Gente saludando y sonriendo, juguetes por todas partes. Inmediatamente sospeché que un mal inimaginable estaba ocurriendo en algún lugar de los rincones oscuros. Si el diablo viniera a la tierra, ¿qué lugar sería mejor para esconderse?

El uso humano de los seres humanos de Norbert Wiener, escrito poco después de la derrota de los nazis, 1950 en medio de la expansión postbélica de la Unión Soviética, es un libro de su tiempo, impregnado de una profunda ansiedad sobre el auge del totalitarismo (sin mencionar la llegada de la bomba). 1984 de George Orwell se había publicado un año antes, y Los orígenes del totalitarismo de Hannah Arendt aparecería un año después. Lo que hace que la obra de Wiener sea distintiva, y de particular interés hoy en día, es su atención a la llegada de poderosas nuevas máquinas de cálculo y comunicación —los ordenadores digitales de von Neumann— y el papel que podrían llegar a desempeñar en la historia en desarrollo de la política, el poder y el cambio social.

Hacia el final del libro, después de discutir las ideas de Claude Shannon sobre la posibilidad de máquinas que juegan al ajedrez, Wiener especula que, a medida que los ordenadores avancen, se podría confiar en ellos para tomar una amplia variedad de decisiones, incluidas las gubernamentales. De hecho, sugiere que la velocidad y la racionalidad de los cálculos informáticos pueden eventualmente dar a las “máquinas à gouverner” una ventaja decisiva, si bien quizás solo ilusoria, en competencia con los lentos y falibles responsables humanos de tomar decisiones.

Debido a que tendría que operar bajo condiciones de incertidumbre, como lo hacen los responsables de políticas y los burócratas, una máquina gobernante necesitaría, enfatizó Wiener, ser una máquina de aprendizaje, capaz de tomar decisiones basadas en cálculos de probabilidades fluctuantes en lugar de simplemente seguir un conjunto de reglas fijas. Tal requisito hace que el desafío de desarrollar una máquina así “sea más complicado, pero no lo hace imposible.” En un artículo no publicado que había escrito unos meses antes, Wiener postuló que una computadora se volvería capaz de aprender una vez que pudiera comenzar a programarse a sí misma en respuesta a sus entradas: “La posibilidad de aprender puede estar incorporada al permitir que la grabación [es decir, codificación] se restablezca de una nueva manera por el rendimiento de la máquina y los impulsos externos que entran en ella, en lugar de que sea determinada por una configuración cerrada y rígida, que se imponga al aparato desde el principio.” Estaba previendo, aunque de manera vaga, el desarrollo de lo que ahora llamamos IA generativa.

Basándose en esa idea en El uso humano de los seres humanos, argumenta que, una vez en marcha, el aprendizaje automático podría avanzar hasta un punto en el que — “ya sea para bien o para mal” — se podría confiar en las computadoras para la administración del estado. Una computadora con inteligencia artificial se convertiría en una burocracia todo en uno, haciendo que los funcionarios públicos quedaran obsoletos. La sociedad estaría controlada por una “colosal máquina estatal” que haría que el Leviatán de Hobbes pareciera “una broma agradable.”

Lo que para Wiener en 1950 era una visión especulativa, y “aterradora”, hoy es un objetivo práctico para tecnócratas obsesionados con la IA como Elon Musk. Musk y su grupo no solo prevén un gobierno “primero en IA” dirigido por rutinas de inteligencia artificial, sino que, habiendo logrado apoderarse del poder político, ahora están trabajando activamente para establecerlo. En su actual fase de “motosierra”, la iniciativa DOGE de Musk está intentando deshacerse del mayor número posible de humanos en el gobierno mientras, al mismo tiempo, absorbe todos los datos controlados por el gobierno y los transfiere a grandes modelos de lenguaje. La intención es despejar un espacio para la incubación de una máquina gobernante real. Musk siempre está en busca de recipientes para sus semillas, y aquí ve una oportunidad para incorporar sus ambiciones e intenciones en los mismos cimientos de un nuevo tipo de estado. Es el preformacionismo escrito a gran escala.

Si se puede decir que la nueva máquina tiene un alma, es el alma que Turing temía: el pequeño y superficial alma de sus creadores.

Más que una burocracia de carne y hueso, Wiener entendió que una burocracia en una caja, emitiendo decisiones y edictos con una velocidad y certeza sobrehumanas, podría ser fácilmente utilizada con fines totalitarios. La caja podría parecer autónoma, sus resultados inmaculados, pero siempre serviría a sus amos. Siempre sería un instrumento de poder. “El hombre moderno, y especialmente el americano moderno, por mucho ‘saber hacer’ que tenga, tiene muy poco ‘saber qué’”, escribió Wiener. “Aceptará la destreza superior de las decisiones hechas por máquinas sin demasiada indagación sobre los motivos y principios detrás de estas.”

Nicholas Carr, Strong Men and Strong Machines, New Cartographies  10/03/2025