La irrellevància humana en l’època de l’algoritme.

Són les cinc del matí en un carrer d’una gran ciutat nord-americana. Un cotxe de la policia s‘atura al costat d’un cos aparentment sense vida. Una trucada anònima va advertir de l’existència del cadàver. De seguida, la zona s’omple de més vehicles. Una munió d’agents uniformats recullen qualsevol indici per trobar connexions amb altres casos. És el quart homicidi a la ciutat en cinc dies. “No són casos aïllats. Les coincidències no existeixen”, declara el cap de la investigació a la premsa.[1]

Si “no existeixen les coincidències” és perquè som animals que busquem explicacions. Tendim a pensar que tot té una causa identificable[2]. La nostra ment és una màquina associativa que busca causes. Des de l’origen de la nostra història evolutiva hem desenvolupat l’habilitat d’establir models i relacions de causalitat. Som descendents d’aquells que van tenir èxit a l’hora de detectar que una determinada planta podria ser verinosa. Això no vol dir que la màquina sigui del tot fiable[3]. De tant en tant, aquesta màquina també pot embogir trobant connexions on en realitat no hi ha cap. A aquest fenomen l’anomenem apofènia[4] (falses causes, conducta supersticiosa, pareidòlies, teories de la conspiració ...)

Al filòsof escocès David Hume[5] devem una acurada anàlisi del funcionament de la ment humana aplicant la metodologia newtoniana vigent en el segle XVIII. D’entre les diferents lleis que regulen el trànsit dels continguts mentals, destacà una que establia correlacions entre una idea (Demà) i una altra (sortirà el sol) que permetia a la ment formular prediccions força exactes.

Estrictament, l’esperit de la metodologia newtoniana: hypotheses non fingo limitava la seva investigació a una simple descripció del que passava i prohibia l’explicació del per què passava. Sostenir que la primera idea (causa) produeix la segona (efecte) traspassava els límits de l’experiència, significava entrar en l’àmbit de les “hipòtesis psicològiques”: l’alta freqüència en la que es mostra la correlació genera el costum que suscita la creença que entre les dues idees existeix un vincle secret, una connexió necessària. Amb l’ajut d’aquesta ficció ens les hem de veure amb un món probabilístic i contingent. Com cantava en Sisa: qualsevol nit pot sortir el sol. 

Taleb, Kahneman i d’altres investigadors actuals han descobert científicament el geni maligne dintre de les mateixes entranyes de la ment humana. L’anècdota del gall dindi de Russell els ha anat de perles per airejar les molèsties que el pensament causal està generant en el complex món en el que vivim: la mateixa mà que t’ha donat de menjar serà la que et retorçarà el coll el dia de Nadal. No els ha calgut demostrar l’existència d’un Déu benvolent i veraç per fer fora l’ombra de l’escepticisme; amb una comparativa minuciosa entre els resultats de les decisions i les prediccions humanes i els de les màquines n’hi ha hagut prou per justificar la substitució de les primeres per les segones.

Víctor Gómez Pin en un parell d’articles[6] es fa ressò de dos casos en què ens maquinals demostren la seva superioritat predictiva davant dels científics. Tanmateix, diu el filòsof, preveure no és explicar, és a dir, entendre la causa d’allò que es preveu. El desenvolupament d’aquesta capacitat no necessàriament depèn del coneixement de la seva raó: el sistema newtonià, com hem vist, preveia molt però explicava poc. Pel que sabem fins ara les màquines no ens expliquen el per què, només mostren el que fan, però això no treu que algun dia puguin afegir la capacitat explicativa a la seva capacitat predictiva. 

Per als dos autors de Big Data. La revolución de los datos masivos[7] la clau de l’èxit d‘aquests artefactes ha estat justament haver renunciat a les explicacions, a la causalitat. Si milions de registres mèdics electrònics revelen que els malats de càncer prenent una barreja d’aspirina i suc de taronja experimenten una millora, la causa exacta de la millora pot ser menys important que el fet que sobrevisquin, addueixen. Sovint amb saber que, n’hi ha prou. Les prediccions basades en correlacions són el cor de les dades massives, serveixen per informar més que per explicar: et diuen que el motor es reescalfa, no que la causa és la corretja del ventilador en mal estat. Abans de l’aparició de les noves tecnologies de recollida de dades, la ciència prioritzava la qualitat de les dades per aconseguir l’exactitud de les seves previsions. En l’actualitat, la quantitat emmagatzemada compensa la qualitat i l’exactitud. La IA no pretén ensenyar una màquina a pensar com un humà, més aviat al contrari, el que vol és deslliurar-se el més d’hora possible d’aquest llast tan feixuc de la intel·ligència orgànica. El que la IA fa, aplicar les matemàtiques a enormes quantitat de dades per poder inferir probabilitats, està molt lluny de la potència computacional humana. Amb les correlacions, insisteixen, s’esvaeix la certesa, però a vegades és més útil que 2 mes 2 sigui igual a 3,9, que 4.

Plantegem la situació següent: qui és capaç de decidir si una nena que ha estat maltractada ha de tornar o no amb la seva família[8]. Normalment la decisió en aquests casos havia estat confiada a professionals d’experimentada solvència. Ara, amb l’aparició dels algoritmes, la decisió pot dependre d’una màquina. Al cap i a la fi, un algoritme, a més de la seva rapidesa, pot prendre una decisió més justa i objectiva perquè actua sense la influència de biaixos ni sorolls, que és la que pot condicionar la decisió d’un ésser humà, tingui o no una experimentada solvència, afirma Kahneman[9].

Contra l’aparent neutralitat dels algoritmes, la matemàtica Cathy O’Neil ha escrit Armas de Destrucción Matemática[10]. Un ADM (arma de destrucció matemàtica) és un model matemàtic que es caracteritza per la seva manca de transparència. Els seus veredictes, fins i tot quan estan equivocats o són perjudicials, són indiscutibles inapel·lables i, a més, solen castigar la població més pobre i oprimida de la societat.

Un model, segons la matemàtica nord-americana, és una representació abstracta de processos reals: un partit de bàsquet, l’assistència del públic al cinema, la cadena de subministrament d’un supermercat ... Ja sigui en un cervell humà o en un programa informàtic, el model recull un seguit de dades i les utilitza per predir o decidir respostes en diferents situacions. Tot model, humà o maquinal, per la seva pròpia naturalesa és una simplificació de la realitat. Cap model pot incloure tota la complexitat del món, és el resultat d’una tria selectiva del seu creador. Reflecteix, per tant, valors i ideologies, inclosos els models sobre els que es creen els algorismes tot i la seva reputació d’imparcialitat.

Imaginem que un model matemàtic es construeix a partir de la correlació A = solvència creditícia i B = bon professional, o bon conductor, o bon alumne ... per aplicar-lo a una selecció de personal, una concessió d’una assegurança o l’admissió a una universitat. Quin serà el resultat? Si la solvència creditícia ha de ser la condició per accedir a un treball, aconseguir una bona assegurança o entrar a una bona universitat, l’algoritme no afavoreix als pobres, obligats a entrar en una espiral que es retroalimenta. Cada cop més aquestes persones estaran més lluny d’un bon treball, una assegurança justa i una universitat de qualitat. Si amb això no hi ha prou per entendre la seva funció discriminatòria, afegeix O’Neil, cal tenir en compte que els ADM estan dissenyats per avaluar grans quantitats de persones. Els rics, en canvi, queden exonerats d’aquestes proves perquè acostumen a rebre un tractament més personalitzat.

La societat està delegant cada cop més les decisions més importants a algoritmes dissenyats a partir de suposicions esbiaixades. Aquests algoritmes, afirma O’Neil, no són més que opinions expressades en llenguatge matemàtic. Com hem vist, els models no es construeixen únicament amb dades, sinó amb decisions sobre quines són les dades a les que hem de parar atenció. Aquestes decisions no obeeixen a qüestions exclusivament logístiques, sinó que fonamentalment són decisions morals. Un algoritme un cop creat roman congelat fins que algun enginyer decideix actualitzar-lo. Si a la dècada de 1960 un programa creat per accedir a les universitats nord-americanes fos vigent avui, la presència femenina a les aules actualment seria insignificant. La raó maquinal és indiferent a les víctimes que pugui generar. Si volem inventar el futur, conclou la matemàtica, cal imaginació moral i això no és una cosa que les màquines poden oferir... encara. 

Sully[11] és una pel·lícula que narra un fet real. El 15 de gener de 2009, un avió comercial amb 155 persones a bord ameritza sobre el riu Hudson a New York. El comandant, així que la seva nau impacta amb una bandada d’aus, pren aquesta decisió, en comptes de tornar a l’aeroport d’origen o buscar un altre proper on aterrar, per evitar el desastre. Després que l’opinió pública lloés l’acció com a heroica, la companyia aèria per a la qual treballava i la Junta Nacional de Seguretat del Transport Nord-americana el culpen de negligència. En aquesta ocasió, no s’examinava el resultat, passatge i tripulació sortiren il·lesos, sinó la decisió que va prendre perquè no s’ajustava al protocol que en un cas similar un pilot havia de seguir. Els representants de l’acusació adduïren que els resultats de innombrables simulacions de vol delataven la incompetència del comandant.

En una època de totalitarisme cibernètic[12], no hi ha cosa més perillosa que un ésser humà deliberant[13]. Davant d’una ment sospitosa de produir estralls vagi on vagi, se’ns ofereix com alternativa una intel·ligència que protocolitza, quantifica, monitoritza, algoritmitza qualsevol decisió. El concepte crepuscular últimament està associat amb un gènere fílmic que exemplifica la mateixa definició de crepuscular, el western, que de mica en mica va desapareixent de les pantalles i del nostre imaginari. Clint Eastwood, director de la pel·lícula, ha dirigit i protagonitzat com actor alguns d’aquests films. Considero que Sully pertany a aquest subgènere, tot i que una gran ciutat no sigui l’escenari amb el que acostumem a associar aquestes pel·lícules. Crepuscular perquè parla d’una figura humana en perill d’extinció. Crepuscular perquè parla implícitament també d’altres professionals amenaçats de desaparició per unes polítiques educatives que confien més en el botó “reinicia”[14] d’un ordinador que en l’experiència humana a les aules.

Manel Villar

Una versió més reduïda la trobareu en http://www.filoara.cat/revista/index.php/FA/article/view/304/393


[1] Extracte d’un episodi qualsevol, d’una sèrie qualsevol, d’un canal televisiu qualsevol.


[2] TALEB, Nassim Nicholas, El cisne negro. El impacto de lo altamente improbable, Barcelona, Círculo de Lectores 2013


[3] KAHNEMAN, Daniel, Pensar rápido, pensar despacio, Barcelona, Círculo de Lectores 2013


[4] BURNETT, Dean, El cerebro idiota, Barcelona, Editorial Planeta 2016


[5] HUME, David, Investigació sobre l’enteniment humà, Barcelona, Edicions 62 1998


[6] GÓMEZ PIN, Víctor, “El hombre cuenta”, El Cultural 29/03/2022// “La máquina heredera: trasposición de un suceso real”, El Boomeran(g) 30/03/2022


[7] CUKIER, Kenneth y Viktor Mayer-Schönberger, Big Data. La revolución de los datos masivos, Madrid, Turner Publicaciones 2013


[8] PEIRÓ, Karma y Ricardo Baeza-Yates, “¿Pueden los algoritmos ser más justos que las personas?”, lab.ccb.org 18/01/2022


[9] KAHNEMAN, Daniel, “Ruido: cómo superar el alto costo oculto de la toma decisiones incoherentes”, Harvard Bussiness Review, edición octubre 2016


[10] 0’NEIL, Cathy, Armas de destrucción matemática: Cómo el Big Data aumenta la desigualdad y amenaza la democracia, Madrid, Capitán Swing 2018


[11] EASTWOOD, Clint, Sully, película, Estados Unidos, Warner Bros 2016


[12] LANIER, Jaron, “La mitad de un manifiesto”, El nuevo humanismo. Y las fronteras de la ciencia, Barcelona, Editorial Kairós, edición 2007


[13] CAPARRÓS, Martín, “Esperando a las máquinas”, El País Semanal 04/11/2018


[14] MATEU, Aleix, Anabel Herrera i Marc Parramon, “Reiniciar les aules”, Sense ficció, TV3 16/02/2022