Un 'algoritmo' de Justicia predice cierres y desahucios para evitar colapsos judiciales

Hace unas semanas, en los despachos de los ministerios de Justicia de varios países europeos, saltaron las alarmas. Algo no encajaba en los datos de cancelaciones de antecedentes penales remitidos por España. Se trata de un procedimiento rutinario por el que todas las personas condenadas con sentencia firme cuyas penas ya se han cumplido pueden solicitar desaparecer del registro.

Estar o no en esa base de datos marca la diferencia a la hora de conseguir un trabajo y rehacer tu vida. España venía anulando unos 2.000 antecedentes a la semana. Un día, de repente, las cancelaciones se dispararon a 140.000. "Nos llamaban nuestros colegas europeos preguntando si todo estaba bien", reconocen con sorna contenida desde el ministerio. En lugar de un funcionario aprobando expedientes uno a uno, Justicia había comenzado a usar un 'software' que ejecuta todo automáticamente. Era en realidad el primero de muchos experimentos.

El Ministerio de Justicia es uno de los organismos públicos que han empezado a meterse de lleno en el delicado terreno de los algoritmos y la inteligencia artificial para acelerar una anquilosada administración. Paradójicamente, va mucho más avanzado que otros ministerios encargados de impulsar la digitalización, pero hasta ahora apenas se conocían detalles sobre el alcance de estos proyectos. Justicia ha comprado dos superordenadores alojados en su sede de la calle Ocaña, en Madrid, con los que está desarrollando iniciativas más complejas, como el análisis de millones de datos para predecir cierres de empresas o desahucios e intentar evitar así colapsos judiciales.

TE PUEDE INTERESAR

El silencioso asalto de las 'big tech' a tus datos sanitarios: el verdadero petróleo era esto

Manuel Ángel Méndez

La cancelación automática de antecedentes penales es uno de los primeros proyectos que hasta ahora no habían visto la luz y han marcado el camino. "Hemos robotizado ese proceso, digamos que emulamos lo que haría un funcionario", explica a Teknautas Aitor Cubo, director general de Transformación Digital del Ministerio de Justicia. Cubo está detrás de varios programas de inteligencia artificial que, asegura, "no tocan datos personales ni toman decisiones judiciales automatizadas", pero sí ahorran costes y mejoran el servicio al ciudadano.

Realizar una cancelación de antecedentes penales es sencillo, pero consume horas y horas de los funcionarios. Tienen que entrar en el sistema, buscar incausados cuyas penas hayan vencido y estén pendientes de anular, filtrar por diversas variables (que tengan una o dos causas, que sean penas leves y cancelables de seis meses a 10 años...) y obtener un listado. Luego abren ficha a ficha para comprobar que todo está en orden antes de aprobar la cancelación final. Este proceso se ha automatizado ahora para realizarse en segundos usando un 'software' de la firma británica Blue Prism.

"La inteligencia aquí es limitada, el 'software' no aprende nada, que es cuando se puede decir que hay IA de verdad. Nosotros le damos las reglas, pero el impacto es enorme: 140.000 personas con expedientes limpios que antes tenían que esperar mucho más tiempo a ver regularizada su situación", señala Javier Hernández, subdirector general de Desarrollo e Implantación de Servicios de Justicia. "Hay otros proyectos donde hemos ido más allá, como aplicar IA para detectar relaciones complejas entre grandes volúmenes de información".

Este ha sido el siguiente paso. Técnicos de Justicia han unido miles de datos de diferentes administraciones con cifras judiciales propias, como la tasa de litigiosidad (número de nuevos procedimientos por cada 1.000 habitantes) o el número de llamadas al 016 por violencia de género. Todo esto se puede consultar y mezclar en un complejo panel de datos en tiempo real. El resultado son pistas de lo que está por llegar. "Hemos hecho un 'ranking' de aquellas zonas judiciales que se prevé puedan tener un pico grande de trabajo porque muchas empresas presentarán concurso de acreedores. Conocemos el paro registrado por regiones, los ERTE, el sector de actividad de cada compañía y muchas otras variables que nos permiten saber, más o menos, qué va a ocurrir y si un determinado juzgado va a necesitar más recursos", señala Hernández. "Es información que facilitamos a los gestores para que ellos tomen la decisión".

Lo mismo ocurre con los desahucios. Justicia está uniendo indicadores de riqueza por barrio, tasa de paro, empleo cualificado, estudios superiores, precios de alquileres y decenas de otras variables para intentar predecir en qué zonas se pueden producir alzamientos, avisar antes a servicios sociales y evitar que el asunto llegue a los tribunales y, por tanto, consuma los escasos recursos disponibles. "Muchas personas no saben que tienen derecho a vivienda social. Si esto lo podemos adelantar basándonos en datos y avisar a servicios sociales de manera proactiva, mucha gente vulnerable quedará protegida. Al liberar el inmueble, a la vez proteges la propiedad privada y evitas saturar el sistema judicial", dice Cubo.

El equipo de Cubo ha probado la misma técnica en el frente de la violencia de género. "Hemos buscado qué indicadores de violencia de género se correlacionan mejor o peor con nuestra tasa de litigiosidad. Por ejemplo, aquellas zonas con mayor riqueza, mayor tasa de estudios superiores en mujeres, menor tasa de vulnerabilidad y menores cargas familiares, según el 'software' de Justicia, son las que tienen mayor tasa de litigiosidad. ¿Quiere eso decir que las mujeres con mayor tasa de estudios sufren más violencia de género o que denuncian más? La inteligencia artificial no te da la interpretación, eso corre a cargo de los gestores. Este sistema solo encuentra, no tiene que aprender. Con muy poco esfuerzo, aportamos información de enorme valor".

"Si Justicia está usando TensorFlow, es una prueba de que no tiene control sobre el 'software'. Si Google lo cambia, se irá al traste"

Justicia está experimentando también con el siguiente peldaño: entrenar redes neuronales para que sean capaces de identificar documentos jurídicos, clasificarlos y aprender en el proceso. Con la ayuda de la empresa pública de ingeniería Ineco, cuentan con un equipo de media docena de personas que alimentan el sistema con cientos y cientos de tipos de documentos para que aprenda a reconocerlos y clasificarlos. Cuando un fiscal, un procurador o un ciudadano envían a la Administración un documento a través de internet, el 'software' lo identifica y clasifica al instante, en un proceso que hasta ahora podría llevar días. Si falla, un técnico le indicará el error, el programa aprenderá y lo hará correctamente la próxima vez.

El ministerio está tirando de redes neuronales desarrolladas por Google, Facebook o Microsoft para crear su propia infraestructura. Son sistemas como TensorFlow, una librería de computación numérica creada por Google, o PyTorch, otra librería de código abierto creada por Facebook que usan desde Tesla para el piloto automático de sus coches a Uber para sus algoritmos secretos. "El objetivo es que el sistema nos acabe respondiendo a preguntas en lenguaje natural, que un funcionario diga: 'Muéstrame todas las sentencias que hablen de cláusulas abusivas en contratos de alquiler en España, o dime todas las direcciones postales en las que se han producido desahucios, o localízame todos los expedientes de blanqueo de dinero donde aparece determinada cuenta corriente'. Y que los muestre en segundos", señala Hernández.

No todo el mundo es tan optimista. Expertos en inteligencia artificial consultados ponen en duda la idoneidad de usar estas redes neuronales dentro de un ministerio. "Entrenar programas requiere muchísima mano de obra e ingenieros especializados en algoritmos para modificarlos. No vale con tener un científico de datos y un estadístico y un puñado de administrativos. Si Justicia está usando TensorFlow, es una prueba de que no tiene control sobre el 'software', dejan que la máquina haga lo que quiera. Este sistema se suele usar cuando no tienes ingenieros que desarrollen código, simplemente alimentan información al programa y van haciendo prueba y error a ver qué sale", explica a Teknautas Lorena Jaume-Palasi, fundadora de The Ethical Tech Society y experta en auditoría de algoritmos. "Lo importante es que los gobiernos creen tecnología que dure 10, 15 o más años. Cuando Google decida cambiar TensorFlow, se irá todo al traste".

El sesgo de los algoritmos

La aplicación de la inteligencia artificial en entornos tan sensibles como Justicia o Sanidad ha destapado una fuerte polémica por las implicaciones éticas de dejar decisiones complejas en manos de algoritmos. En EEUU, un programa llamado Compas lleva desde hace años ayudando a jueces a decidir si condenar o no a supuestos criminales o a predecir la probabilidad de que un delincuente vuelva a reincidir. Diversas investigaciones han demostrado que este programa es alarmantemente defectuoso y presenta sesgos que perjudican a ciertos grupos de población.

"Los acusados negros tienen el doble de probabilidad de ser identificados como futuros criminales por este sistema en comparación con los blancos", concluía una investigación de ProPublica en 2016. La falta de transparencia sobre cuáles son las reglas que usa el 'software' para sugerir uno u otro resultado y la ausencia de un organismo que audite el código abren la puerta a un inquietante futuro. Al menos en lugares como EEUU, donde las leyes de privacidad son mucho más laxas que en Europa.

La Comisión Europea ha sido, nuevamente, muy exigente en este terreno. El pasado abril, presentó la primera regulación sobre inteligencia artificial en la que etiqueta de "alto riesgo" la aplicación de estos sistemas a la Administración y la Justicia. "Nosotros no estamos aplicando IA en estos entornos, todo lo que hacemos es catalogado de muy bajo riesgo o casi nulo. No usamos IA para la toma de decisiones automatizada ni para asistir decisiones judiciales de ningún tipo, primero porque está prohibido por la UE y segundo porque no está en nuestros planes. El máximo riesgo que puede haber es que facilitemos información incorrecta a nuestros gestores, pero eso lo mitigamos con toda la transparencia del mundo. Explicamos de dónde vienen los datos y cómo hemos llegado a determinadas conclusiones", señala Hernández tajante.

Especialistas como Jaume-Palasi creen que no es suficiente y que el riesgo es más importante de lo que parece. "Al final, con todo este análisis de información, lo que se hace es decidir qué se 'correla' y qué no, se decide qué es lo que ve Justicia y lo que no. Es tan importante aquello en lo que se pone el foco como lo que queda fuera. ¿Por qué se ha dejado fuera? ¿Por dónde pasan los datos si hay empresas externas? ¿Qué tipo de contratos se han firmado? ¿Se está consultando con abogados y fiscalías que protegen a grupos vulnerables? Todo eso debe ser explicado", señala Palasi, quien argumenta que es necesaria una instancia dentro de Justicia y cualquier ministerio que use inteligencia artificial para controlar y auditar estas cuestiones.

Desde Justicia, señalan que este control ya se ejerce en la actualidad. "Siempre que hacemos un estudio como el de violencia de género, por ejemplo, un equipo de gente, liderado por un científico de datos y un estadístico del sector académico, asegura que la información no tiene demasiado sesgo y que se ha obtenido de forma aséptica. El riesgo es mínimo", explica Hernández. "No hay nada que no sea sensible, todo depende del contexto. El 'software' que controla un semáforo puede parecer inocuo. Pero ¿y si te digo que se ha diseñado basado en la velocidad promedio al caminar de jóvenes de 30 años sin tener en cuenta a gente de 80? Se convierte en algo mucho más sensible", advierte Jaume-Palasi. "Lo mismo ocurre con estos sistemas judiciales. Necesitamos algo más que transparencia".