Tecnología contra los pobres: cómo Países Bajos señala a los barrios humildes

En la ciudad de Zaandam, al norte de Ámsterdam, se alza un enorme bloque de viviendas de aspecto anodino y 14 pisos de altura. En el edificio, bautizado como Brandaris por el estudio de arquitectos que lo levantó a finales de la década de 1990, residen muchas familias cuya subsistencia económica depende de las prestaciones sociales del Gobierno de Países Bajos. La de Yara es una de ellas.

En marzo de 2019, cuatro investigadores de la Seguridad Social neerlandesa entraron a registrar el apartamento de esta joven madre de tres hijos. Los funcionarios le advirtieron entonces, recuerda a través de correo electrónico Yara —quien ha pedido no revelar su nombre real—, de que si no cooperaba con ellos se arriesgaba a perder las prestaciones que en ese momento recibía. Tras la advertencia, revisaron su colada, comprobaron el contador de la luz y le hicieron preguntas íntimas sobre su vida sexual. Incluso pidieron registrar las habitaciones de sus hijos y se pusieron agresivos cuando ella se negó a dejarles mirar dentro de su cajón de la ropa interior. "Te sientes como si fueras responsable de un acto muy grave contra la sociedad en la que vives", rememora.

Aquel día, las personas que entraron en su casa no le explicaron a Yara el motivo de su visita. Aunque no lo sabía en aquel momento, esta joven madre estaba siendo investigada por un posible caso de fraude al Gobierno neerlandés. Las pesquisas concluyeron en nada: las ayudas que recibía estaban perfectamente justificadas.

TE PUEDE INTERESAR

La Seguridad Social usa una IA secreta para rastrear bajas laborales y cazar fraudes

Pablo Jiménez Arandia Manuel Ángel Méndez Infografía: Rocío Márquez

Documentos obtenidos en una investigación de Lighthouse Reports, la radio pública Holandesa NPO Radio y El Confidencial revelan cómo Yara y otros vecinos del Brandaris fueron puestos en el punto de mira por un sistema algorítmico del Ejecutivo neerlandés. Esta herramienta trata de predecir, a través del cruce masivo de datos personales, qué ciudadanos beneficiarios de una ayuda social pueden estar incurriendo en un fraude. Un tipo de sistema cada vez más común entre gobiernos de todo el mundo, incluido el español. Y muy parecido a SyRi, un algoritmo predictivo que la Justicia neerlandesa declaró ilegal en 2020 al incumplir las leyes de privacidad y ser contrario a la protección de los derechos humanos exigidos en la Unión Europea.

Esta serie ha sido producida en colaboración con la Red de Rendición de Cuentas sobre AI del Centro Pulitzer.

Vigilancia sobre barrios “problemáticos”

La información obtenida en esta investigación desvela cómo el Gobierno de Países Bajos usa a día de hoy algoritmos muy similares a SyRi a lo largo y ancho del país, en una iniciativa conocida internamente como "proyectos orientados a los barrios" —o wijkgerichte aanpak, en neerlandés— centrada en zonas urbanas problemáticas. Una lista a la que han accedido Lighthouse Reports y El Confidencial muestra cómo estos proyectos se dirigen en la práctica casi exclusivamente a los barrios de bajos ingresos del país centroeuropeo.

El sistema funciona del siguiente modo. Diferentes departamentos del Gobierno central (los gobiernos municipales, la autoridad tributaria neerlandesa, el Ministerio de Asuntos Sociales, el departamento de ayudas públicas, la agencia pública de empleo, la inspección sanitaria y la inspección laboral) pasan por su propio algoritmo a todos los hogares de cada barrio problemático. A continuación, cada departamento envía las direcciones clasificadas como "alto riesgo [de fraude]" a una base de datos central. Aquellos domicilios señalados más de una vez son sometidos a una investigación por parte de funcionarios públicos.

En el caso de Zaandam, las autoridades fueron aún más específicas y señalaron, en lugar de todo un barrio, un edificio concreto. Todos los vecinos del Brandaris fueron así sometidos a su propia evaluación algorítmica.

Los documentos oficiales a los que se ha accedido muestran también algunos de los factores de riesgo que estos algoritmos tienen en cuenta para señalar o no a un hogar beneficiario de una ayuda social. Por ejemplo, ser madre soltera y haber recibido una ayuda durante el embarazo es uno de ellos. También tener una pareja que vive en el extranjero. Otros datos analizados son la edad, el sexo, los consumos de agua y electricidad, el número de hijos y vehículos, la situación sentimental, las cuentas bancarias o las deudas que la persona pueda tener.

Los Países Bajos no son el único país europeo donde el Gobierno ha desplegado sistemas de inteligencia artificial de este tipo, caracterizados por su opacidad. Dinamarca, Francia o el Reino Unido han usado en los últimos años algoritmos de puntuación de riesgo similares en sus sistemas de protección social. En España, una investigación de Lighthouse Reports y El Confidencial desvela ahora cómo la Seguridad Social utiliza desde 2018 un modelo algorítmico para detectar posibles casos de fraude cuando un trabajador cobra la prestación por incapacidad temporal.

Escándalos recientes

Con todo, y a pesar de no ser un caso aislado en el continente, el uso de estas tecnologías en Países Bajos en los últimos años destaca dentro del contexto europeo. Por la insistencia de sus autoridades en la utilización de estas herramientas, pero también por los escándalos ocurridos en torno a ellas.

En 2020, varias organizaciones de derechos civiles llevaron a los tribunales al Gobierno neerlandés por el irresponsable uso del algoritmo predictivo SyRI, que buscaba indicios de fraude cruzando múltiples datos personales de los contribuyentes y que acabó siendo tumbado por los tribunales.

TE PUEDE INTERESAR

El escándalo de discriminación que amenaza al Gobierno de Países Bajos

EFE

Tijmen Wisman, presidente de Platform Bescherming Burgerrechten, una de las entidades que presentaron la demanda inicial por este caso, señala las similitudes entre SyRI y los algoritmos actualmente en uso por el Ejecutivo neerlandés. "Nuestra principal objeción a SyRI era que los ciudadanos desprevenidos quedaban expuestos a cantidades masivas de vigilancia opaca mediante el uso de sus datos personales". Esta investigación demuestra que, tras la sentencia sobre SyRI, estas prácticas han continuado. Los nuevos hallazgos, de hecho, han llevado a este mismo grupo de organizaciones a presentar una nueva demanda contra el Gobierno.

El mismo año que SyRI se declaraba ilegal, otro escándalo vinculado a la automatización de decisiones en la Administración sacudía a la sociedad neerlandesa. Una investigación iniciada por la abogada de origen español Eva González Pérez reveló cómo decenas de miles de familias, la mayoría inmigrantes, habían sido acusadas erróneamente de fraude en la recepción de una ayuda para el cuidado de los hijos. Muchos de estos hogares fueron previamente señalados por un algoritmo de aprendizaje automático que les asignó una puntuación de riesgo elevada.

"Los ciudadanos desprevenidos quedaban expuestos a cantidades masivas de vigilancia opaca mediante el uso de sus datos personales"

Más de 20.000 familias en todo el país se vieron obligadas a devolver a Hacienda grandes cantidades de dinero en un plazo muy corto de tiempo, provocando desahucios, problemas de salud y la ruina económica. En enero de 2021, el Gobierno neerlandés, encabezado por el conservador Mark Rutte, dimitió en respuesta al escándalo, al revelarse que el modelo algorítmico había utilizado ilegalmente la "nacionalidad" como factor de riesgo. Amnistía Internacional comparó el uso de este algoritmo con la "elaboración de perfiles étnicos digitales".

"Estas tecnologías intrusivas corren el riesgo de someter a una vigilancia excesiva a personas que ya se encuentran en situaciones vulnerables, castigando de hecho su pobreza", analiza Laura Lázaro Cabrera, responsable jurídica de la ONG británica Privacy International, sobre los peligros de discriminación que implican estas tecnologías.

Casos como los mencionados han hecho crecer la corriente de opinión que desde hace años pide una regulación concreta del uso de algoritmos e inteligencia artificial en Europa. Especialmente en ámbitos con un impacto directo en los derechos de los ciudadanos, como son las políticas sociales de los Estados.

¿Más regulación y transparencia?

En el seno de la Unión Europea, actualmente se discute una propuesta de regulación que la Comisión presentó en abril de 2021. Se espera que este borrador legislativo entre en vigor en los próximos meses, una vez finalicen los debates en curso en Bruselas y Estrasburgo. El texto hoy disponible clasifica los sistemas algorítmicos en función de su potencial riesgo para los derechos de la ciudadanía europea. Y etiqueta aquellos que afecten al acceso a servicios públicos esenciales como de "alto riesgo".

Este nivel —el segundo en la escala propuesta por la Comisión, por detrás del "riesgo inaceptable", cuyos sistemas quedarían prohibidos— exige a las administraciones unos requisitos de transparencia especialmente estrictos. El objetivo es evitar el despliegue de sistemas opacos que puedan derivar en discriminaciones y decisiones injustas.

Los esfuerzos regulatorios no se limitan a Europa. La propuesta de la Comisión exige que todos los Estados miembros cuenten con un organismo nacional independiente que vele por el cumplimiento de la nueva norma. España ya ha anunciado que este rol lo desempeñará una nueva agencia pública con titularidad jurídica propia, la Agencia Española de Supervisión de Inteligencia Artificial (Aesia), pionera en el continente. Países Bajos, por su parte, integrará esta labor dentro de su autoridad nacional de protección de datos y creará también un registro público obligatorio de algoritmos a nivel nacional.

El Gobierno español aspira de hecho a convertirse en avanzadilla de la nueva regulación europea y de un uso más responsable de estos sistemas, con la transparencia como pilar fundamental —nuestro país acogerá el primer banco de pruebas de la regulación comunitaria, como paso previo a su despliegue en todo el continente—. Una posición que contrasta con la opacidad mostrada hasta ahora en relación con algoritmos en funcionamiento desde hace años, como el sistema predictivo de la Seguridad Social que puntúa las bajas laborales.