Justícia artificial
Aixa es una niña de cinco años que llega a Urgencias de un hospital acompañada de su abuela. La menor presenta claros síntomas de maltrato y contusiones por todo el cuerpo. La mujer explica a la doctora que fue golpeada por sus padres. Para deducir si existe riesgo de reincidencia y evitarle nuevas palizas a la niña, la doctora plantea preguntas sobre el escenario de los hechos: ha de decidir entre derivarla a los servicios sociales para que sea protegida judicialmente o devolverla a su hogar, donde podría repetirse el maltrato. Para ello, cuenta con la ayuda de una herramienta de inteligencia artificial (IA) que estimará la gravedad del caso y las medidas cautelares a partir de las respuestas obtenidas. Si la decisión final es que ha de ser separada de los padres, Aixa no regresará a casa esa noche, pasará por centros de menores y casas tuteladas, donde adultos desconocidos se harán cargo de sus necesidades básicas durante los próximos años y hasta que alcance la mayoría de edad.
Cuando en 2018 la escritora y matemática Cathy O’Neil visitó el CCCB para presentar su libro Armas de destrucción matemática, lanzó una pregunta al público: «¿Quién sería capaz de decidir si una menor que ha sido maltratada debe o no regresar a su hogar, con la buena intención de protegerla de futuros golpes?». La audiencia permaneció muda, sin saber qué responder. «En Estados Unidos, un algoritmo lo está decidiendo», añadió. En ese momento, seguro que entre el público muchos se preguntaban: Pero… ¿cómo puede saber un algoritmo si la menor va a recibir otra paliza antes de que ocurra? Y segundos más tarde, la propia O’Neil respondió: «No lo puede saber, pero está ocurriendo».
Hace tres años la pregunta podría haber parecido provocativa y lejana, pero actualmente este tipo de herramientas operan en la mayoría de los países sin que la población sea consciente de ello. Los profesionales que llevan casos sociales toman a diario decisiones complejas sobre asuntos muy diversos. Antes del boom de la IA, se basaban en la experiencia propia acumulada durante años.
Obviamente, se equivocaban en sus decisiones, lo que podía generar graves consecuencias para las personas afectadas. Por ello ahora se espera que los sistemas inteligentes de IA nos ayuden a mejorarlas. Pero ¿qué sucede si la herramienta de IA ofrece un resultado diferente al del especialista? ¿Cuál prevalecerá? Si el algoritmo decide que Aixa corre un riesgo alto y la doctora no lo considera tan grave como para separarla de su núcleo familiar, ¿se atreverá a enviar a la niña a casa?
Sabemos que la IA no es perfecta y que hasta el mejor sistema inteligente comete errores. Por tanto, cabe preguntarnos: ¿Qué grado de confianza se le concede a la máquina y qué confianza se tiene en la experiencia del profesional? Para dar una respuesta, tal vez debiera analizarse cuál de las dos decisiones –la humana o la de la máquina– tiene más sesgo y más ruido (es decir, mayor varianza en las decisiones). Esto dejando de lado la tendencia humana a aceptar las recomendaciones de un sistema que creemos inteligente.
Karma Peiró y Ricardo Baeza-Yates, ¿Pueden los algoritmos ser más justos que las personas?, lab.cccb.org 18/01/2022
Comentaris