¿Puede la inteligencia artificial abrir la caja negra de la violencia de género en España?

Desde hace casi 20 años, la estrategia de España para proteger a las víctimas de la violencia de género pasa por el sistema VioGén. Cada vez que una mujer acude a comisaría para denunciar que está en peligro, los agentes la someten a un cuestionario que otorga a cada respuesta un indicador de riesgo: no apreciado, bajo, medio, alto o extremo. Tras las preguntas, el algoritmo asigna un valor de peligrosidad para que los agentes decidan qué nivel de protección otorgar a la víctima.

Durante mucho tiempo, España ha presumido de este algoritmo pionero en el mundo. Pero de un tiempo a esta parte, las críticas han comenzado a arreciar. En primer lugar, por tratarse de una caja negra inexpugnable: nadie sabe cómo el sistema asigna esta puntuación para decidir si una mujer está en riesgo grave —y por tanto, recibir medidas adicionales de vigilancia y protección para ella o su familia— o si está en una situación de amenaza leve. En los últimos años, muchos actores han tratado de entender o exigir el mecanismo de VioGén, el funcionamiento de su algoritmo, pero el ministerio del Interior siempre ha cerrado la cortina a los curiosos.

Quienes exigen transparencia a VioGén denuncian que el sistema es imperfecto: el número de mujeres asesinadas que estaban dentro del programa y a las que el algoritmo calificó de riesgo bajo suponen una mancha indeleble en su expediente. Un escrutinio a los engranajes del algoritmo desde la sociedad civil o la academia permitiría identificar sesgos o imprecisiones, reclaman desde organizaciones como la Fundación Éticas o AlgorithmWatch, ambas especializadas en auditoría de algoritmos.

Éticas ha sido la que más cerca ha estado de la caja negra de VioGén, sin llegar a rozarla. Desde 2018 lleva ofreciendo a Interior realizar una auditoría interna del sistema, algo que inicialmente fue "bien recibido" pero que nunca cristalizó. Esto las llevó a realizar, en 2021, una auditoría externa realizada mediante ingeniería inversa: dedujeron los procesos a partir de los resultados. Su conclusión fue demoledora: además de "no rendir cuentas ni ser transparente", VioGén "no era fiable". La razón es que el sistema se alimenta de unas respuestas ofrecidas por una mujer habitualmente en estado de shock y, a menudo, incapaz de comprender bien las preguntas o expresarse con claridad. "Esto significa que la calidad de los datos introducidos en el sistema algorítmico podría verse comprometida", razonaba el informe, "lo que genera posibles fuentes de sesgo y tergiversación dentro del sistema".

TE PUEDE INTERESAR

Detenido en Sevilla tras agredir a su expareja protegida por riesgo extremo en el VioGén

EFE

Sin embargo, Interior ha defendido que siempre que VioGén no es el intrincado sistema informático que sus críticas imaginan, sino "un mero algoritmo, como los que se vienen utilizando desde el siglo XIX o como el que soportaba el uso de tarjetas perforadas por IBM desde 1923, reiterando que no es, usa o conforma un sistema de aprendizaje automatizado en ninguno de los ámbitos de desarrollo del sistema", respondieron a una petición de transparencia realizada por Éticas.

Naiara Bellio, de AlgorithmWatch, también ha invertido mucho tiempo y esfuerzo en descubrir los mecanismos que rigen VioGén, obteniendo la misma respuesta insatisfactoria. "VioGén es una plataforma informática que utiliza parámetros automatizados", defiende Bellio, "se basa en que tiene una serie de datos, y tras introducirle un input ofrece un nivel de riesgo: eso ya es un tratamiento automatizado".

Hace unas semanas, el New York Times publicó una extensa investigación sobre VioGén, con el demoledor título Un algoritmo dijo a la policía que ella estaba a salvo. Luego su marido la mató. El trabajo, que incluía entrevistas a más de 50 víctimas o familiares, destacaba entre sus conclusiones que el cuerpo se ha vuelto absolutamente dependiente de la herramienta: aunque los profesionales pueden aumentar el nivel de riesgo, en un 95% de las veces aceptan lo que el algoritmo estima. El diario estadounidense citaba un informe del CGPJ, que revisó 98 homicidios cometidos entre 2010 y 2022 para hallar que 55 de ellos habían sido clasificados por VioGén con un riesgo bajo o no apreciado.

En este contexto han aparecido la inteligencia artificial y el machine learning, dos avances tecnológicos que prometen solucionar los problemas que se le achacan principalmente a VioGén: por un lado, su fiabilidad y por otro, su falta de transparencia.

La investigadora sevillana Esperanza García Vergara y sus compañeros publicaron el año pasado en la prestigiosa revista Scientific Reports las claves de una novedosa herramienta que utiliza la inteligencia artificial para encontrar en bases de datos legales como Vlex pistas o claves que ayuden a predecir un nuevo feminicidio. Como otros investigadores en este campo, García Vergara tiene sentimientos encontrados con la herramienta del Ministerio del Interior.

"El sistema VioGén ha ayudado en muchos casos, aunque todavía presenta errores", explica a El Confidencial. "Esto resalta la necesidad de profundizar en el análisis de estos casos para mejorar la detección de casos similares en un futuro". Aunque concede que el número de errores —instancias en las que un caso calificado de inapreciable o leve ha acabado en asesinato o agresión— es relativamente bajo, "hay que atenderlos, ya que estamos hablando de vidas de mujeres, y si esta mejora se consigue alcanzar a través de la IA, ¿por qué no aplicarlo?", dice la estadística, que aún suspira para que, algún día, "los datos del sistema VioGén sean compartidos con investigadores que, como nosotros, desean usar su conocimiento para mejorar la situación de la violencia de género".

"El sistema VioGén ha ayudado en muchos casos, aunque todavía presenta errores"

En la última vuelta de tuerca al sistema, anunciada en marzo de este año, el ministro de Interior Fernando Grande Marlaska tildó a VioGén de "referente a nivel internacional", algo que se ha repetido como un mantra, pero de lo que García Vergara discrepa. Antes de elaborar esta nueva herramienta con IA, estos investigadores en estadística y criminología de la Universidad Loyola hicieron una revisión sistemática de todos los instrumentos de valoración de riesgo que hay a nivel mundial: "No estoy muy de acuerdo con la afirmación de que es el mejor sistema del mundo".

"Hay varios en Estados Unidos que funcionan mejor, aunque no hay una diferencia muy significativa en cuanto al método que utilizan", dice la investigadora de Loyola. "Al final en ciencias sociales siempre se hace lo mismo, regresión y correlación, pero en algunos sitios a la hora de evaluar el riesgo de violencia aplican instrumentos de IA que los hace más efectivos".

Por ejemplo, cita estudios al otro lado del Atlántico que llevan cerca de 20 años usando herramientas de IA o big data para predecir la reincidencia de pacientes psiquiátricos. En este caso, iría un paso más allá, empleando toda una serie de datos aplicados a casos pasados y presentes de violencia de género para precedir el próximo ataque. Una especie de Minority Report, aquel relato de Philip K. Dick en la que la policía siempre se anticipaba al crimen, aplicado a los feminicidios.

Sin embargo, quienes están realmente a los mandos de VioGén arquean la ceja al escuchar todas estas promesas.

La mente detrás de VioGén

Juan José López Ossorio, es uno de los padres de VioGén. Hoy jefe del área que se encarga de la supervisión y actualización de la herramienta dentro de la Secretaría de Estado de Seguridad, este psicólogo ha dedicado cerca de dos décadas de su vida —además de realizar la tesis al respecto en la UAM, ha publicado más de una docena de artículos en revistas académicas y científicas— a mejorar la precisión de la herramienta que ayudó a alumbrar.

PREGUNTA. ¿Qué es VioGén y qué no es?

RESPUESTA. En muchas ocasiones he leído en prensa que se ha utilizado inteligencia artificial , y que debido a que se está utilizando inteligencia artificial, por ejemplo, se están produciendo determinados sesgos. Es una de las falsas premisas a las que nos hemos tenido que enfrentar en los últimos diez años

VioGén tiene muchas funcionalidades, no solamente la valoración de riesgo, aunque esta sea la piedra angular del sistema que se utiliza en España de cara a conocer las necesidades de protección de las víctimas y, por tanto, protegerlas.

P. Una crítica recurrente que se hace a la herramienta es que ya tiene más de 15 años y no se ha adaptado a estos nuevos tiempos de machine learning o inteligencia artificial. ¿Cómo ha evolucionado VioGén desde el comienzo?

R. VioGén nace en 2007. Se integra dentro de una primera VPR —Valoración Policial de Riesgo— y tiene varias actualizaciones menores hasta el año 2015. Entre 2014 y 2016 hicimos un estudio muy amplio sobre reincidencia, para poder tener una medida precisa asociada a la violencia de género en España, qué tipo de evidencias había, si había predictores o factores de riesgo... y, a partir de esos indicadores, elaborar un nuevo formulario de valoración policial, que pusimos en funcionamiento en 2016.

Fue importante porque adaptamos lo que se sabía hasta entonces a nivel internacional respecto a los mejores indicadores de rendimiento que deben tener este tipo de instrumentos, y los utilizamos a la hora de desarrollar formularios adaptados al uso policial, que suele ser un contexto donde la información es escasa y tiene que ser acumulada de manera muy rápida. Luego, por otra parte, tenían que ser indicadores empíricos de la población española, porque en ocasiones solían emplearse instrumentos extranjeros, especialmente canadienses o suecos, adaptados a España pero no desarrollados y validados en estudios de nuestro país.

"En algunos sitios a la hora de evaluar el riesgo de violencia utilizan IA, lo hace más efectivo"

P. ¿La idea era no solo medir el riesgo en el momento de la denuncia, sino el que existe más tarde?

R. Ese estudio prospectivo nos hizo poder evaluar la reincidencia real que tienes al cabo de seis meses o un año, lo que permite que los factores de riesgo identificados sean sumamente estables. Con la actualización, mejoramos mucho la capacidad para predecir la reincidencia. Vimos que ésta era de tres tipos: física, psicológica y sexual, y de tres grados: muy grave, grave y leve. No obstante, pese a estos esfuerzos sabíamos que teníamos que mejorar en una cosa para la que no estaba validado ni este instrumento ni el anterior: los homicidios.

Predecir un homicidio tiene muchos problemas, entre ellos la propia prevalencia, aproximadamente de 10 por cada 100.000 casos denunciados. Ni siquiera si consultas a un matemático se atreve a dar respuestas con una prevalencia tan baja. Lo que hicimos para mejorar en ese sentido fue una investigación de cinco años, exclusivamente de homicidios, para conseguir factores de riesgo específico y mejorar nuestra capacidad de clasificar algunos casos que presentasen este riesgo concreto.

En 2019, ya con los datos de homicidios, desarrollamos una escala dual, que es lo que está ahora mismo en vigor. Ahora tenemos un doble algoritmo, uno para reincidencia y el otro que te informa si un caso puede acabar potencialmente como un homicidio. Esta segunda herramienta es binaria, indica si es positivo o negativo, verde o rojo, pero al final de ambas obtienes un resultado único: ya no solo buscamos prevenir la reincidencia, sino detectar mejor la posibilidad de homicidio.

P. Aunque cada nueva víctima es dolorosa, se percibe una tendencia descendente en el número de feminicidios en los últimos 20 años, ¿cuánto de esa bajada puede atribuirse a esta actualización de VioGén?

R. Es un fenómeno multidimensional, por lo que es difícil. Sabemos que, en los últimos 20 años, ha habido una reducción de un 20%. También sabemos que a lo largo de los últimos cinco años, la naturaleza de los homicidios y especialmente los de género, probablemente hubiesen aumentado más. Los pronósticos que teníamos, con diferentes derivadas, no solo de España, apuntaban a un aumento. Estas estimaciones eran más marcadas en los países donde menos homicidios había, estábamos abocados a subir aún más, por un posible rebote tras el efecto suelo y el aumento de otras agresiones.

También tenemos una reducción de la reincidencia de más de 25 puntos respecto a opciones sin protección, y esto también puede presentar una relación clara con la reducción en homicidios que se han registrado.

Es un fenómeno multidimensional, por lo que es difícil. Sabemos que, en los últimos 20 años, ha habido una reducción de un 20%

P. En los últimos años ha habido un avance de muchas nuevas tecnologías, ¿por qué no se están aplicando ya a reducir los feminicidios?

R. Con la complejidad que tenemos, hasta ahora estamos utilizando regresiones con indicadores de riesgo, un método estable y que nos ha ayudado mucho en los últimos años. Para seguir mejorando, hay equipos que están aplicando estos mismos métodos a partir de otros indicadores. En cuanto a la inteligencia artificial, por el momento desconocemos muchas cosas, aunque la normativa europea nos está ayudando a estimar escenarios de futuro más seguros. Iría en la línea de lo se hace en policía predictiva, pero aún faltan dos años para que la normativa entre en vigor y luego hay otros plazos. Es importante para nosotros en ese sentido que la IA sea segura, confiable, ética y sobre todo, que haya mucha transparencia. Lo que hacemos actualmente cumple con todos los requisitos y cuando en el futuro utilicemos la IA también deberá tener la seguridad jurídica. Llegará, pero cuando esté en vigor toda la normativa europea.

El objetivo no es solo mejorar la precisión, sino cumplir con todo lo demás. No todo lo que se puede hacer se debe hacer.

P. O sea, es algo que va a ocurrir, pero sin correr.

R. Hemos visto que los elementos de policía predictiva que emplean elementos de procesamiento o aprendizaje automático mejoran los procedimientos analíticos, pero al mismo tiempo, tienen que combinarse con algo que para nosotros es muy importante: todos los instrumentos de violencia de género tienen que estar al servicio de los profesionales. Los agentes lo utilizan para conocer las necesidades de protección de una víctima en un momento concreto. Ellos pueden modificarlo, es lo que se conoce como un enfoque actuarial ajustado, pero la decisión la toman ellos.

Es la misma visión que tenemos a futuro: la IA o el machine learning pueden mejorar la capacidad predictiva que tenemos actualmente, especialmente cuando las salidas son complejas, cuando no es algo binario, sí o no. En valoración de riesgo, hay que darse cuenta de que esto tiene unas implicaciones legales importantes, porque ya no es solamente que ayude en la toma de decisiones sobre las víctimas, sino que también se envían informes al Sistema de justicia que diferentes profesionales, no solo el juez, pueden tener en cuenta para tomar medidas de precaución frente a los agresores. Todo esto hay que adoptarlo con muchas garantías.

El objetivo no es solo mejorar la precisión, sino cumplir con todo lo demás

P. Muchas veces VioGén ha hecho una valoración de riesgo baja que más tarde ha resultado en agresión u homicidio. Precisamente la presión de las nuevas tecnologías vienen de que con ellas quizá podrían reducirse ese tipo de errores. ¿Cómo lo ve usted?

R. Sobre la capacidad predictiva de los instrumentos, muchas veces se hacen asociaciones muy rápidas que son muy erróneas. Se dice "si el instrumento hubiese dado un riesgo más elevado, la víctima estaría aquí". Pues eso no es así, y me explico: el enfoque que se utiliza, de 1997, tiene que ver con la reducción de la violencia. A nosotros nos importa prevenir la violencia, una nueva agresión o el homicidio. Pero esto no solo depende del resultado de una valoración de riesgo en un momento dado, sino de todas las acciones en la gestión de ese riesgo. La valoración y la gestión es un binomio inseparable. De hecho, de media, desde la entrada en el sistema hasta el homicidio pasa un año o más. No es algo inmediato como a veces se traslada, y entre medias pasan muchísimas cosas: el riesgo va evolucionando a lo largo del tiempo, se ha podido inactivar, la víctima ha podido dejar al agresor, comenzar otra relación, etc. Pasan muchísimas cosas en la vida de las personas y en definitiva, en lo referido al agresor, se trata de la decisión de una persona en un momento dado y fruto de la interacción de muchos condicionantes, donde además tenemos un rango de cero a 15 años.

En los mecanismos de gestión de riesgo estamos trabajando, y en el futuro lo haremos también con IA, en los mecanismos de alerta temprana. Detectar los desencadenantes de acciones violentas muy específicas. Es algo de una complejidad extraordinaria donde puede entrar también el suicidio o el homicidio de menores, y creemos que la IA puede ayudarnos aquí.

P. Otra de las cuestiones que la IA pone sobre la mesa es su capacidad de fagocitar una gran cantidad de datos para apoyar la valoración, no solo las 35 preguntas del cuestionario. ¿Existen otros indicadores, más objetivos, que puedan ayudar a predecir un feminicidio?

R. Actualmente tenemos un formulario con 35 factores de riesgo. Para que la IA avance en ese sentido, debería utilizar más información aparte de eso. La cuestión es... ¿tiene que ser abierta, cerrada, qué tipo y desde dónde llega? Nosotros tenemos limitaciones, no podemos usar una información publicada en Facebook. Tenemos que usar indicadores de riesgo que los agentes policiales sean capaces de utilizar con la información disponible en cada momento, y así les resultaría difícil, por ejemplo, indicar que el agresor tenga un subtipo no estabilizado de trastorno delirante. Si tiene algo de impulsividad o agresividad, determinadas conductas pasadas, antecedentes u otro tipo de factores actuariales... esa es información con la que el policía sabe trabajar y que pertenece a su contexto. Pero más allá de eso es complicado...

Hay factores que son muy estables, indicadores que aunque haya poca información nos ayuda bastante. Y además, no hacemos una única evaluación de riesgo, hacemos muchas a lo largo del tiempo y eso nos ayuda mucho a la hora de intentar anticipar las agresiones e incluso algún homicidio.

Otra cosa que hemos visto es lo importante que resulta desarrollar procedimientos muy ecológicos para que sirvan en el contexto real con todas sus peculiaridades y complejidades. En muchas ocasiones los datos de laboratorio, cuando los pasas a lo real, se caen. Nos ha pasado con muchos modelos, que cuando tratas de implementarlos muchas veces se caen por completo. Para nosotros es más importante la robustez que tener una precisión teórica más elevada, sin restarle importancia a este extremo.