¿Un algoritmo para decidir quién se vacuna? El desastre 'tech' de los sanitarios de Stanford

Estados Unidos comenzó a vacunar el pasado 14 de diciembre. Como ocurrió en España, el país norteamericano tuvo que dirimir quiénes iban a ser los primeros en inmunizarse, una deliberación no exenta de polémica. Sobre todo si la decisión la adoptaba un algoritmo injusto. Es lo que pasó en el Hospital Stanford Medicine, donde se excluyó de las primeras vacunas a los médicos residentes que se encuentran en contacto directo con pacientes covid para priorizar a otros profesionales sanitarios que estaban realizando tareas de atención telefónica y que, por tanto, tienen menos posibilidades de contagiarse. Para tranquilidad de muchos, este error no tardó en subsanarse, pero sí ha reabierto el debate sobre la necesidad de regular los algoritmos.

En la lista de las 5.000 primeras personas que iban a ser inmunizadas en el hospital de Stanford solo se incluyeron siete médicos residentes de los más de 1.300 con los que cuenta el centro sanitario. Estos profesionales recibieron un correo electrónico en el que se les explicaba que un algoritmo había determinado que tenían menos opciones de vacunación porque son jóvenes y no cuentan con una ubicación específica asignada en ninguna de las áreas del hospital. Nada más conocer este atropello comenzaron a sucederse las protestas tanto en los alrededores del centro sanitario como en las redes sociales.

TE PUEDE INTERESAR

¿Harto de culos en Instagram? El círculo vicioso de algoritmos del que no puedes huir

M. Mcloughlin

Ante el bullicio ocasionado, la portavoz del Stanford Medicine, Lisa Kim, tuvo que admitir "la responsabilidad total" por los errores en el plan de distribución de vacunas. "Nuestra intención era desarrollar un proceso ético y equitativo para la distribución de la vacuna. Pedimos disculpas a toda nuestra comunidad, incluidos nuestros residentes, becarios y otros proveedores de atención de primera línea, que se han desempeñado heroicamente durante nuestra respuesta a la pandemia", remarcaba en unas declaraciones recogidas por el diario 'ProPublica'. Además, anunció que iban a revisar el plan "de inmediato". Y así lo hicieron.

Para la consejera delegada de Eticas Research & Consulting, Gemma Galdón, se trata de un "fracaso total" en la aplicación de la tecnología. Esta experta en algoritmos injustos explica que discriminar por edad tiene sentido en la población general —así lo recomienda la Organización Mundial de la Salud (OMS)—, pero no en un entorno de trabajo como un hospital, donde los residentes también se encuentran en la primera línea de batalla contra el coronavirus. Otro grave error fue incluir una división por áreas de trabajo, ya que, como los residentes no están asignados formalmente a un departamento, el algoritmo ni siquiera los vio.

Se puede llegar a pensar que el desacierto se produjo por la premura a la hora de desarrollar el plan de vacunación ante la inminente necesidad de terminar cuanto antes con la pandemia. No obstante, Galdón rechaza esta idea y considera que "se tendría que haber pasado una fase de auditoría externa". De esta manera se habrían podido valorar los datos que se tuvieron en cuenta, un proceso "que se puede hacer en una tarde". Y más en un caso como este, en el que los errores son tan garrafales. "No estamos hablando de un algoritmo complejo, son dos variables básicas y las dos están mal", subraya. En su opinión, "está muy claro que no pasó ningún tipo de control".

Aun así, Estados Unidos va un paso por delante de España, donde la opacidad es tal que no se puede tener el debate sobre si el funcionamiento de la tecnología es adecuado. De hecho, en España no existe ninguna guía pública para determinar cómo construir el algoritmo, por lo que no sabemos por qué se eligió a Araceli como la primera persona en recibir la vacuna en el territorio nacional. En Stanford sí había estipuladas unas líneas de actuación, pero en vista de los acontecimientos queda claro que los responsables del hospital no las siguieron en un primer momento.

¿Cómo se pueden evitar los algoritmos injustos?

El caso del hospital de Stanford no es una excepción y, de hecho, en los últimos años han proliferado los escándalos por los llamados algoritmos injustos. Uno de los ejemplos más sonados se produjo también en Estados Unidos, donde los jueces determinaban la probabilidad de reincidencia de los presos asignando más posibilidades a los afroamericanos que a los blancos. También se ha producido discriminación en la concesión de seguros médicos, con sesgos discriminatorios a personas afroamericanas; y en la aprobación de créditos, con grandes distinciones entre hombres y mujeres.

En agosto, Reino Unido vivió un episodio similar al del Stanford Medicine, pero en el ámbito educativo. Los alumnos recibieron las notas finales que determinarían su acceso a la universidad y casi el 40% de ellos obtuvo una evaluación muy inferior a la estimación que habían realizado sus profesores. La respuesta a esta anomalía estaba en que, ante el cierre de las escuelas por la pandemia, el ente público Ofqual (responsable de las reglas generales de calificaciones) había desarrollado un algoritmo en el que se le daba más protagonismo al centro educativo que a la trayectoria individual del estudiante.

Para resolver este problema, es necesario "determinar cuál es tu definición de justicia algorítmica y luego traducirlo en una formulación matemática", tal y como explica Nuria Oliver, cofundadora y vicepresidenta de la Fundación Ellis Alicante, la única fundación sin ánimo de lucro dedicada a la investigación de inteligencia artificial (IA) centrada en las personas. Normalmente se habla de atributos protegidos (sexo, edad, estado civil, religión, grupo étnico…), cualidades frente a las que se debe cerciorar que el algoritmo no tiene un patrón de discriminación. "Lo que te quieres asegurar es que el algoritmo se comporte igual con dos individuos que tengan todo igual menos los atributos protegidos", apunta esta experta.

TE PUEDE INTERESAR

Los estudiantes humillan a Boris y acaban en las calles con su algoritmo de selectividad

Celia Maza. Londres

Bajo el punto de vista de Oliver, "la única manera de asegurar que estos patrones no suceden es a través de la regulación". En febrero de 2020, la Comisión Europea (CE) dio el primer paso en este sentido, publicando un documento en el que esbozaba las líneas que deben seguir los países comunitarios para no incurrir en algoritmos injustos. Siguiendo las recomendaciones europeas, España presentó a principios de diciembre la Estrategia Nacional de Inteligencia Artificial (ENIA) con una inversión pública de 600 millones de euros para el periodo 2021-2023. Y antes de este plan nacional, Cataluña y la Comunidad Valenciana ya habían difundido sus estrategias.

Uno de los ejes principales de la ENIA es el establecimiento de un marco ético y normativo que garantice la protección de los derechos individuales y colectivos, un objetivo dirigido a atajar los algoritmos injustos. Sin embargo, a pesar de que Oliver cree que esta estrategia es "una buena noticia", considera que "es importante concretar cuanto antes cómo se traducen esas líneas en inversiones y programas concretos". "Eso es lo que espero que veamos en breve, porque ya vamos un poco atrasados", concluye.