Preguntas sin respuesta sobre el sistema predictivo de la Seguridad Social

El uso de sofisticados algoritmos para gestionar recursos públicos es una práctica cada vez más frecuente en gobiernos de todo el mundo. La mayor parte de las veces son empresas privadas las que desarrollan estos sistemas bajo la promesa de aumentar la eficiencia y reducir el gasto público.

La opacidad es otra de las constantes habituales que rodean este tipo de herramientas. Muchas veces, las administraciones no rinden cuentas sobre los detalles técnicos de estos proyectos que tienen impacto en el día a día de la población. Un problema, si tenemos en cuenta que estos sistemas cometen errores. Igual que ocurre con las decisiones humanas, las decisiones algorítmicas no son perfectas.

TE PUEDE INTERESAR

La Seguridad Social usa una IA secreta para rastrear bajas laborales y cazar fraudes

Pablo Jiménez Arandia Manuel Ángel Méndez Infografía: Rocío Márquez

Los algoritmos de aprendizaje automático de la Seguridad Social generan una puntuación que puede resultar decisiva para los trabajadores que están de baja. A pesar de que la última palabra sobre el alta médica recae siempre sobre un profesional, estos modelos determinan qué expedientes se revisan en primer lugar, en detrimento de otros.

A través de una solicitud de información y de entrevistas con los médicos que interactúan con el sistema, Lighthouse Reports y El Confidencial han accedido a datos relevantes sobre los modelos predictivos implementados desde 2018 por el Instituto Nacional de la Seguridad Social (INSS). Pero sigue habiendo muchas preguntas todavía sin respuesta.

¿Qué controles han pasado estos algoritmos?

A día de hoy, no sabemos a ciencia cierta qué tipo de controles o auditorías se están realizando sobre los modelos predictivos para la gestión de las bajas laborales de la Seguridad Social. Desde el ministerio, se han limitado a aclarar que "cada año, en función de los resultados, se evalúa de nuevo el modelo", con el objetivo de obtener "un resultado más favorable y poder valorar la recuperación laboral de forma más certera". Sin embargo, en ningún caso aclaran qué métodos se están utilizando ni quién realiza dicha evaluación.

"Si solo se están realizando evaluaciones internas, es un problema, ya que una auditoría externa no es lo mismo que una interna. (...) Puede ser que sí vayan revisando la precisión cada año, pero no es lo mismo que si una organización externa analiza el algoritmo desde otra perspectiva", apunta Ana Valdivia, investigadora del King’s College de Londres y profesora de Inteligencia Artificial, Gobernanza y Políticas en el Oxford Internet Institute (OII).

"Si solo se están realizando evaluaciones internas, es un problema"

Existen muchas maneras de supervisar un algoritmo. Por ejemplo, se puede realizar una auditoría técnica que mida su precisión a la hora de hacer una predicción. O analizar qué tipo de datos y métodos se están usando para hacerlo funcionar. "Cuando se evalúan algoritmos de este tipo, se intenta comprender si la base sobre la que se construyó es acorde a la necesidad. Y que no se estén incluyendo factores que vayan contra la ley de protección de datos o discriminen a ciertos grupos o individuos", explica Manuel Portela, investigador de la UPF.

Pero, desde hace años, existe un consenso entre los expertos de que con esto no es suficiente. Para comprender verdaderamente cuáles son los efectos de estas herramientas automatizadas, hay que evaluar también sus impactos, directos o indirectos, sobre la población analizada, algo de lo que no hay constancia que esté haciendo el Ministerio de Inclusión, Seguridad Social y Migraciones.

¿Se está discriminando a algún grupo social?

Una de las mayores preocupaciones en torno a la inteligencia artificial (IA) es el riesgo de discriminación hacia ciertos colectivos o personas de un determinado perfil. Esta preocupación es todavía mayor al hablar de sistemas aplicados a sectores especialmente sensibles, como el acceso a una prestación pública o todo lo que tiene que ver con la salud. En EEUU, hubo casos muy sonados de discriminación algorítmica en el sistema judicial, como el algoritmo Compas.

En España, la falta de transparencia de la Seguridad Social hace que no sea posible conocer si estos algoritmos están discriminando a algún colectivo concreto. Y tampoco tenemos certeza de que desde el Gobierno se hayan tomado las medidas necesarias para evitar estos potenciales sesgos. "Los riesgos deben ser identificados. Porque si no se hace previamente, el impacto es mucho mayor, ya que el sistema se aplica a todo el mundo", señala Albert Sabater, director del Observatorio de Ética en Inteligencia Artificial de Cataluña (OEIAC).

"Es importante que la transparencia, la explicabilidad y la confrontación entre lo que piden los funcionarios —que es como debería ser el sistema— y lo que acaba siendo —que es lo que ofrecen los tecnólogos— no solo estén mediadas por la Administración, sino también por la ciudadanía y la sociedad civil. Y aquí incluyo a asociaciones, grupos de académicos, etc.", apunta este investigador.

Preguntado por las variables listadas por el ministerio, Manuel Portela señala cómo algunas de ellas podrían potencialmente discriminar a una persona. "Por ejemplo, el tipo de pago o la clasificación de actividades económicas nada debería tener que ver con recibir una prestación o no", apunta. Aunque añade que probablemente existan correlaciones entre las bajas estudiadas para crear los algoritmos que expliquen su presencia en el modelo. "Esto, si bien es un criterio utilitario, puede ser éticamente incorrecto". Algunas de estas variables pueden funcionar como proxies. Es decir, que a pesar de no ser discriminatorias por sí mismas, pueden inducir estos sesgos en el sistema y acabar estigmatizando ciertos perfiles.

Tras observar la evaluación de resultados realizada desde la Gerencia Informática de la Seguridad Social (GISS), la investigadora Ana Valdivia advierte de que medir la precisión de un algoritmo de forma genérica no es suficiente. "La precisión no mide cómo de bien funciona [un algoritmo], por ejemplo, en un código postal. Cuando miras una métrica, la tienes que ver en diferentes grupos demográficos, de género o en base a otra característica de las personas que tienes en tu base de datos. Y ver que la precisión es parecida, o al menos similar", apunta.

¿Qué datos se usaron para entrenar los modelos?

El tipo de datos usados para construir un algoritmo es clave para entender cómo se va a comportar. Y cuáles van a ser sus efectos sobre la población analizada. En este caso, no conocemos el detalle de muchas de las variables utilizadas, ni cuál es la importancia asignada a cada una de ellas en los modelos de la Seguridad Social.

A través de una solicitud de información pública, Lighthouse Reports y El Confidencial han accedido a una lista de las variables usadas por este sistema predictivo, acompañadas de una breve descripción. Entre ellas, están datos personales de cada trabajador como su sexo, edad, lugar de residencia e historial de bajas médicas. También, en algunos casos, el diagnóstico que ha hecho un facultativo sobre su enfermedad. Pero la información entregada no permite conocer con exactitud qué tipo de factores tienen en cuenta los algoritmos al hacer sus cálculos.

El caso de Compas, el modelo predictivo usado por los tribunales de EEUU, ejemplifica cómo una base de datos sesgada en un sistema de IA puede provocar decisiones injustas sobre un grupo social, sobre todo si no se tienen en cuenta estos sesgos al diseñar el algoritmo. Esto es muy peligroso en sistemas de aprendizaje automático: unos datos deficientes pueden provocar una perpetuación de los sesgos, al tratarse de algoritmos que buscan patrones en los datos introducidos.

"En IA, se utiliza la expresión garbage in, garbage out. Es decir, basura dentro, basura fuera. Si tú le metes al algoritmo basura, lo que te va a sacar es basura. Si tú le estás dando datos de mala calidad, o no se sabe qué tipo de datos le estás dando, eso es problemático", señala Valdivia.

"Si tú le metes al algoritmo basura, lo que te va a sacar es basura"

Desde el Ministerio de la Seguridad Social, tampoco han querido compartir detalles sobre qué datos se utilizaron para construir los modelos. Por ejemplo, no sabemos si se usó información de un periodo de tiempo concreto, una región específica o un tipo de patología. "¿Cuáles son las fuentes de datos?", se pregunta Albert Sabater. "En el ámbito de la salud y los servicios sociales, todos los datos tienen sesgos. Tratarlos requiere de un grado de sensibilización muy elevado", zanja. En España, hay precedentes sobre esta opacidad para conocer cómo funcionan algoritmos en el sector público. Desde 2019, en Civio litigan contra la Administración para acceder al código fuente de Bosco, el modelo que determina quién puede recibir el bono social y que mostraron que fallaba.

¿Cómo se actualiza el modelo?

De nuevo, el ministerio no ofrece mucho detalle al respecto. "El modelo aprende de los resultados obtenidos y mejora en su predicción", asegura un portavoz, sin ofrecer más información. Para la correcta implementación de estas tecnologías, es importante realizar evaluaciones constantes.

Tal y como relatan los médicos, desde la pandemia las listas de espera han aumentado y las enfermedades más frecuentes no son hoy las mismas que antes de 2020. De ahí la importancia de que los algoritmos se estén actualizando correctamente. "Con el tiempo, las variables cambian. Porque los mismos médicos van cambiando su criterio. O porque el contexto cambia. Con el impacto del covid, el tema de las bajas ha cambiado drásticamente", señala Portela.

TE PUEDE INTERESAR

"Estamos cerca del colapso": así introdujo el INSS algoritmos para puntuar empleados de baja

Pablo Jiménez Arandia Javier G. Jorrín Marta Ley Infografía: Rocío Márquez

A su juicio, no podemos utilizar algo que se hizo en ese momento, porque habrá perdido eficiencia y "habría que mejorarlo". "Cuando hablamos de políticas sociales, nos referimos a realidades sociales, y estas cambian muchísimo. La transparencia aquí es fundamental", añade Sabater.

¿Sería un sistema de alto riesgo, según la normativa europea?

La discusión pública sobre los riesgos de la IA ha llevado a Europa a mover ficha. La Comisión Europea presentó en 2021 una propuesta de regulación con la que pretende proteger los derechos de los ciudadanos comunitarios frente a estas tecnologías emergentes. Se espera que este borrador, en el que se lleva trabajando varios años, se apruebe definitivamente en los próximos meses.

La propuesta plantea una clasificación de los sistemas de IA a partir de sus riesgos potenciales para los derechos y la integridad de las personas. Entre los casos de alto riesgo, incluye:

“Los sistemas de IA destinados a ser utilizados por las autoridades públicas o en su nombre para evaluar la admisibilidad de las personas físicas para acceder a prestaciones y servicios de asistencia pública, así como para conceder, reducir, retirar o recuperar dichas prestaciones y servicios”. 

¿Podría el sistema predictivo de la Seguridad Social entrar en esta categoría? La opinión mayoritaria entre los expertos consultados es que sí. "Tal y como está la propuesta, tanto a nivel de definición como de categorización, sí entraría en la categoría de alto riesgo, porque tiene un impacto en la vida de las personas", apunta Sabater. "A pesar de que [el algoritmo de la Seguridad Social] termina siendo una herramienta de guía, sí podría ser clasificado de alto riesgo, por el contexto gubernamental y de servicio público. Aunque no es 100% claro", tercia Portela.

TE PUEDE INTERESAR

Tecnología contra los pobres: cómo Países Bajos señala a los barrios humildes

Gabriel Geiger Pablo Jiménez Arandia Infografía: Rocío Márquez

Para este tipo de sistemas, Bruselas exigirá unos niveles de control y transparencia muy estrictos. Por ejemplo, será necesario asegurar que existe un registro para garantizar la trazabilidad de los algoritmos. Esto es, que en todos los casos se pueda revisar cómo se ha llegado al resultado final. Además, también se pedirán estudios periódicos para evitar sesgos discriminatorios. Todo ello, sin olvidar a los usuarios finales del sistema, que deberán tener derecho a recibir información clara y adecuada sobre el funcionamiento del algoritmo y el uso de su información personal.

Esta serie ha sido producida en colaboración con la Red de Rendición de Cuentas sobre AI del Centro Pulitzer.