Delegar el poder a les màquines.

Totes les organitzacions humanes necessiten delegar l'autoritat als nivells subordinats d'una jerarquia. Els economistes entenen això com una relació principal-agent, i veuen la disfunció organitzativa (per exemple, la corrupció) com el resultat que els agents serveixen els seus propis interessos i no segueixen els mandats del principal. Si bé el responsable de la presa de decisions al capdamunt de la jerarquia té l'autoritat per comandar els nivells inferiors, aquest principal mai pot controlar completament les activitats de l'organització en conjunt. Això no és simplement el resultat que els principals no puguin supervisar el comportament dels agents amb prou detall, tot i que això és un problema en les grans organitzacions. Més aviat, els mateixos agents sovint tenen coneixements i habilitats que els principals no tenen. Si una organització ha de reaccionar ràpidament a un entorn canviant, ha de delegar una autoritat substancial als agents de baix nivell: treballadors de primera línia com policies o professors que estan en contacte directe amb les condicions sobre el terreny. Els millors exèrcits del món són els que deleguen una autoritat substancial als oficials subalterns, en lloc de buscar centralitzar l'autoritat.

Això crea un dilema per a totes les organitzacions: necessiten delegar l'autoritat, però en fer-ho corren el risc de perdre el control del comportament dels agents. No hi ha manera de maximitzar tant l'autonomia dels agents com el control central; és un compromís que s'ha de fer en el disseny de l'organització.

Així doncs, transposem aquest marc a la IA agentiva. Els agents d'IA són diferents de la IA generativa, ja que tenen l'autoritat per prendre decisions pel seu compte. Avui dia, aquestes decisions són petites, com ara si la IA ha de consultar el vostre calendari personal abans de comprometre's amb un esdeveniment o establir la credibilitat d'una font abans de respondre a la vostra sol·licitud d'informació. Però a mesura que passa el temps, és probable que es concedeixi cada cop més autoritat als agents d'IA, com és el cas de les organitzacions humanes. Els agents d'IA tindran més coneixement que els seus responsables humans i podran reaccionar molt més ràpidament al seu entorn.

Això ja està passant en l'àmbit militar. L'exèrcit dels EUA s'ha compromès a mantenir un humà informat abans que una màquina pugui utilitzar la força letal, però aquesta restricció s'està erosionant. Els drons que utilitzen Ucraïna i Rússia tenen capacitats d'IA per identificar objectius i destruir-los sense permís explícit. En molts casos, això s'ha de fer com a qüestió de defensa pròpia o perquè els controladors humans han perdut el contacte amb el dron.

En les organitzacions humanes, controlem els subordinats de diverses maneres. Creem normes ex ante que han de seguir i establim revisions ex post de les accions per fer responsables els agents. També utilitzem el poder de nomenament i destitució per assegurar-nos que els agents tinguin el criteri correcte per actuar en nom nostre. La manera més eficaç de controlar un agent humà és nomenar un subordinat en el criteri i la lleialtat del qual confieu.

Les normes ex ante i la revisió ex post també es poden utilitzar pel que fa als agents d'IA: es poden programar per fer un conjunt reduït de tasques amb discreció limitada, o es poden reprogramar o desactivar si cometen errors greus. Sobre el que tindrem molt menys control són les capacitats de presa de decisions de les pròpies IA i si podem confiar que facin el que volem. Ens estem acostant ràpidament a l'AGI, o intel·ligència artificial general, on es pot esperar que una IA sigui tan intel·ligent com un ésser humà, si no substancialment més. Aquestes capacitats no es programen deliberadament a les màquines actuals; més aviat, les màquines es programen a si mateixes i milloren el seu rendiment basant-se en un procés d'aprenentatge iteratiu.

La geopolítica contemporània també augmenta la pressió per al desenvolupament d'IA sense les garanties adequades. Els Estats Units i la Xina es troben avui en una cursa per construir les seves capacitats d'IA, i tots dos s'esforcen per aconseguir l'AGI. Les preocupacions sobre la seguretat només frenaran aquesta marxa tecnològica. Eric Schmidt, l'exdirector general de Google, ha especulat que a mesura que ens acostem a l'AGI, la velocitat de millora s'accelerarà, donant a les potències concurrents un incentiu per actuar el més ràpidament possible, o fins i tot per avançar-se al competidor i destruir les capacitats de l'altre abans que es puguin fer realitat.

Fins i tot en absència d'aquests escenaris desestabilitzadors, és evident que l'ús ordinari de la IA crearà incentius per augmentar els nivells de delegació. La delegació excessiva es produeix a la majoria d'organitzacions. Per exemple, un dels bancs britànics més antics, el Barings Bank, va delegar massa autoritat el 1995 a un jove operador anomenat Nick Leeson. Aquest últim va procedir a apostar contra l'empresa i va perdre, fent que Barings fes fallida. Això va portar la majoria d'institucions financeres a reforçar els seus controls i a esperar que no serien objecte d'una catàstrofe similar.

Seria possible recuperar-se d'un acte similar de delegació excessiva a un agent d'IA? No tenim manera de saber-ho per endavant, ja que no entendrem completament les capacitats de l'agent. Es pot imaginar fàcilment autoritzar màquines a prendre cert tipus de decisions en una fracció de segon, amb conseqüències que seran molt difícils de revertir.

Una IA amb capacitats autònomes pot prendre tot tipus de decisions perilloses, com ara no permetre que s'apaguin, exfiltrar-se a altres màquines o comunicar-se en secret amb altres IA en un idioma que cap ésser humà pot entendre. Ara podem afirmar que mai no permetrem que les màquines creuin aquestes línies vermelles, però els incentius per permetre que les IA ho facin seran molt poderosos. Suposem que entrem en conflicte amb la Xina i que els xinesos troben la manera de tancar les nostres IA més potents. Prohibiríem definitivament a les nostres màquines protegir-se d'aquest tipus d'atac, de maneres que ens impossibilitarien desprogramar-les posteriorment? Què passa si perdem la contrasenya mestra del commutador d'inactivitat? Fins i tot en absència de competència internacional, la competència entre les empreses occidentals existents pot produir resultats similars.

Per tant, hi ha motius per preocupar-se pels usos que es donaran a la IA en el futur. El problema té a veure amb els incentius que s'han integrat en el sistema global que estem creant, i que probablement ens faran anul·lar qualsevol salvaguarda que intentem imposar-nos. La delegació és el problema central de totes les organitzacions humanes i serà el problema central en el món futur de la IA agentiva.

Francis Fukuyama, Delegació i destrucció, Persuasion 13/06/2025