La IA ya decide si cobras una ayuda o cometes fraude. Pero ¿quién vigila que no se equivoque?

Una IA que ayuda a diagnosticar enfermedades o analiza radiografías para evitar que no se le escape nada a los médicos; otra que rastrea millones de transacciones en busca de fraude fiscal; algoritmos que ayudan a la policía a identificar "sujetos de interés", y sistemas que tiran de tecnología de reconocimiento facial para tareas de videovigilancia. Todos son sistemas que la Administración ha usado en algún momento o sigue usando, bien a nivel estatal, regional o local. Todos han sido licitados y se puede encontrar un documento público que describe a grandes rasgos el objetivo del proyecto. Sin embargo, solo un reducido grupo de funcionarios sabe de verdad cómo funcionan, a quién benefician o perjudican y por qué. Son cajas negras de las que nadie en la administración quiere hablar. Y peor aún: a medida que avanza el boom de la IA, estas cajas están surgiendo como setas.

La IA no solo se está colando hasta la cocina del sector privado, también está calando con fuerza en la Administración, desde sanidad a la agencia tributaria, pasando por defensa o empleo. Investigadores y especialistas en inteligencia artificial llevan años avisando de que la forma en la que el sector público está adoptando esta tecnología supone ahora mismo más riesgos que oportunidades. El motivo es que el reglamento europeo de IA, que debe proteger a los ciudadanos de usos inadecuados, apenas se está aplicando en nuestro país. Y no solo eso: es probable que el polémico AI Act acabe sufriendo modificaciones importantes debido a la presión que ejercen Donald Trump y las big tech para que Bruselas relaje o, directamente, elimine algunas de las cláusulas más restrictivas.

Estrella Gutiérrez, investigadora y profesora de la Universidad Complutense de Madrid, lleva 5 años intentando averiguar qué contratos está otorgando la Administración para usar IA a nivel estatal, regional y local. En total, ha rastreado alrededor de 60 licitaciones con fecha posterior a 2015, y lo que se ha encontrado, básicamente, es que España se está pasando el reglamento de IA europeo por el arco de triunfo.

"No hay suficiente transparencia sobre su funcionamiento técnico; no se cumplen las garantías mínimas que exige la Comisión Europea para que estos sistemas sean fiables; no hay una guía clara de quién es el responsable de los datos ni tampoco un registro de los mismos. Es decir, si este software se desvía de forma autónoma de su cometido, algo que pasa con frecuencia con la IA, no hay un registro que permita rastrear qué ha ocurrido y por qué. Y tampoco aclaran cómo se realiza la supervisión humana de toda esta tecnología", explica Gutiérrez en conversación telefónica con El Confidencial.

TE PUEDE INTERESAR

En la pelea de la IA, este es el hilo al que se aferra Europa para no caer en la irrelevancia de nuevo

M. Mcloughlin Vídeo: N. Bielsa Fotografía: F. Calderón

Esta investigadora publicará en los próximos meses el resultado de su trabajo, pero esta semana ha compartido en el encuentro Algoritmo público, código abierto, organizado por la Fundación Civio, hallazgos "surrealistas" de lo que está pasando. Un ejemplo: hay hospitales públicos que han contratado una IA que analiza radiografías con una tasa de error de hasta el 25%. "Imagínate que hablamos de radiografías para detectar cáncer de mama. Que haya un 25% de falsos positivos es una barbaridad", dice Gutiérrez. De los 60 pliegos que ha estudiado, y que suponen decenas de millones de euros en contratos públicos, solo uno exigía la publicación del código fuente de la IA a la empresa contratada, un paso clave para que cualquiera pueda inspeccionar la tecnología y saber si de verdad funciona o no.

¿Por qué está ocurriendo todo esto?

Técnicamente, la Administración española no está incumpliendo el reglamento europeo de la IA: la fecha tope a partir de la cual lo tendrá que cumplir sí o sí no llegará hasta agosto de 2030. Sin embargo, si ya se conocen desde hace años cuáles son los requisitos y las buenas prácticas que deberíamos seguir para cumplirlo de aquí a 2030, ¿por qué no empezar ya? ¿Por qué privar a los ciudadanos de información clave sobre el uso de unas herramientas que tienen un impacto directo en sus vidas?

"En teoría, debería ser la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) y la Agencia Española de Protección de Datos (AEPD) quienes se encarguen de velar por todo esto, pero, para que eso ocurra, primero tiene que desarrollarse en España el conocido como anteproyecto de ley para un uso ético de la IA. Y eso ya no sabemos cuándo se va a producir... ni si se va a producir", señala Gutiérrez.

Especialistas como Estrella aseguran que la situación actual deja a los ciudadanos en una situación de indefensión y desigualdad ante el creciente uso de la IA. Indefensión, por no saber qué tecnología se está usando y para qué; y desigualdad, porque cada CCAA va por libre, algo que se está comprobando sobre todo en Sanidad. "Hay diversidad de todo tipo, por CCAA, por hospitales, por campos, por todo. Esto es una guerra: cada uno compra el software que quiere, el que puede o el que necesita”, explicaba recientemente a Civio Antonio López Rueda, portavoz de la Sociedad Española de Radiología Médica (SERAM) y radiólogo del Hospital Universitario de Bellvitge.

Una investigación realizada por esta fundación muestra cómo la Comunidad de Madrid tiene ahora mismo en marcha un centenar de proyectos basados en IA, con cada hospital actuando por cuenta propia. Cataluña, por su parte, solo ha publicado información parcial, amparándose en el secreto empresarial y en la protección de la propiedad intelectual e industrial.

Caso Bosco: vuelco en el uso gubernamental de la IA

La opacidad con la que actúa la Administración respecto al uso de la IA ha quedado patente en una sentencia reciente del Tribunal Supremo que va a suponer un antes y un después en el despliegue de esta tecnología. Tras más de siete años de lucha, el Supremo dio la razón a la Fundación Civio el pasado septiembre en el conocido como caso Bosco, una aplicación algorítmica usada para decidir quién recibe el bono social eléctrico y quién no.

"El motivo por el que la Administración no quería entregar el código fuente del sistema Bosco era simple y llanamente por vergüenza torera".

La petición de Civio al Gobierno era directa: publicar el código fuente del sistema para auditarlo de forma independiente y subsanar cualquier error que se pudiera estar produciendo, como el de las mujeres jubiladas con pensión de viudedad, a las que la aplicación denegaba el bono social por un fallo de configuración. El Gobierno se negó en repetidas ocasiones alegando riesgo a la seguridad nacional y ser el dueño de la propiedad intelectual del software. Tras siete años de batalla judicial, El Supremo zanjó el asunto el pasado 11 de septiembre y exigió a la Administración publicar el código fuente de Bosco.

"Hay varias frases en la sentencia que nos parecen fundamentales, pero sobre todo esta: "los poderes públicos tienen la obligación de explicar de forma comprensible el funcionamiento de los algoritmos que se emplean en la toma de decisiones que afectan a los ciudadanos para permitirles conocer, fiscalizar y participar en la gestión pública". Es el mejor resumen de lo que está en juego", decía esta semana Eva Belmonte, directora de Civio.

El caso de Bosco no es el único en España. El Confidencial destapó en 2023 cómo la Seguridad Social usa una IA secreta para rastrear bajas laborales y cazar fraudes, un sistema sobre el que el Gobierno se niega a ofrecer información concreta. O cómo la Generalitat de Cataluña lleva años usando un algoritmo llamado Riscanvi que decide el futuro de los presos y sobre el que el Govern ha evitado durante años dar detalles sobre su funcionamiento. Fuera de nuestro país, casos similares han causado escándalos en Reino Unido, Holanda, Francia o Italia.

"El motivo por el que la Administración no quería entregar el código fuente del sistema Bosco era simple y llanamente por vergüenza torera. Sabían que lo que había ahí era lo que se conoce como código espagueti [código informático creado de forma tan caótica y desordenada que es imposible modificarlo sin afectar al funcionamiento del sistema]. Nosotros teníamos claro que eso era una escopeta de feria", explicaba esta semana Javier de la Cueva, el abogado que ha llevado el caso al Supremo y ha logrado torcer el brazo al Gobierno. "Lo importante es que este caso crea jurisprudencia. Los organismos públicos que no tengan en cuenta la sentencia y no faciliten el código fuente, podrían estar incurriendo en fraude de ley. Muchos países en Europa lo van a tomar como referencia", explica.

La investigación de Estrella Gutiérrez y la sentencia del Supremo llegan en un momento delicado en Europa. La semana pasada, el Financial Times aseguró que la Comisión Europea estaba planteándose relajar parte de la ley de IA por la presión del gobierno de Trump y las big tech. El revuelo fue tal que Thomas Regnier, portavoz de soberanía digital en la Comisión, tuvo que salir al paso este martes para asegurar que no se iba a tocar ni una sola coma de la ley... aunque "los tiempos de implementación sí se estaban discutiendo".

Es el eterno dilema de Europa con la IA: velocidad vs. seguridad. Si no queremos quedarnos atrás respecto a EEUU y China, toca correr, pero eso supone asumir riesgos como los que ya estamos comprobando en España con la 'IA espagueti' de la Administración. ¿Cuál es el precio que estamos dispuestos a pagar por no perder la carrera?