La española que vigila a Google y Facebook para que sus algoritmos no te engañen

Facebook cambia su algoritmo y la medida afecta tanto a sus usuarios como a las empresas que participan en su escaparate. La Unión Europea impone una multa de 2.400 millones de euros a Google por abusar de su posición dominante con Google Shopping, señalando que sus algoritmos relegan a las webs competidoras. Cada vez hay más programas dedicados a la vigilancia predictiva de delitos, y los críticos se preguntan por sus posibles sesgos cuando nos analizan.

Los algoritmos están cada vez más presentes en todos los ámbitos de nuestra vida. Por eso, hay quien está trabajando para que las máquinas que nos rodean sean más justas. Personas como la española Lorena Lorena Jaume-Palasí. "Con procesos de automatización, la discriminación y manipulación son riesgos que están a la vuelta de la esquina, y por esa sutilidad vemos necesario el control constante” explica la investigadora a Teknautas.

TE PUEDE INTERESAR

Los algoritmos de Google o la Policía manejan tu vida: ¿cómo retomar el control?

Antonio Villarreal

Especializada en el campo de filosofía del derecho (licenciada en Economía, Ciencias Políticas y Lingüística, ha estudiado el doctorado en la prestigiosa Universidad Ludwig Maximilian de Múnich en ese ámbito), lleva las riendas del secretariado del Foro para la Gobernanza de Internet (IGF) en Alemania y es la fundadora de AlgorithmWatch, una organización que evalúa la ética de los procesos algorítmicos.

Desde hace unos meses, también forma parte del grupo de sabios sobre inteligencia artificial y ‘big data’ constituido por la Secretaría de Estado para la Sociedad de la Información y la Agenda Digital. Nueve expertos con diferentes perfiles forman parte de este grupo que está elaborando un Libro Blanco sobre inteligencia artificial en el ámbito privado, la administración pública y la sociedad en general.

“Por un lado, estamos tratando de ver cuál es el ‘statu quo’ y explicar un par de definiciones, porque creemos que hay muchos mitos en la idea de inteligencia artificial”, describe esta investigadora, que considera que debemos dejar de antropomorfizar a las máquinas. “Por otro queremos generar recomendaciones en cada disciplina, el apartado económico, jurídico, ético…”

Gobernando a los algoritmos que nos gobiernan

La toma de decisiones algorítmica “nunca es neutral”, su creador “es responsable de sus resultados”, no es definida “por un único diseñador” y además ha de ser “inteligible para rendir cuentas ante el control democrático”. Esos son algunos de los principios que incluye el manifiesto de AlgorithmWatch, la organización sin ánimo de lucro que Jaume-Palasí cofundó en Berlín hace más de dos años. “Si uno quiere evaluar cuán buena o cuán mala es [la inteligencia artificial] o dónde hay discriminación o sesgo, solo se puede evaluar si miras todo el paquete”, señala. “Hay que mirar el algoritmo en sí, pero también los datos, el diseño de decisiones en los cuales se integra el proceso de automatización…”

Su trabajo en el campo de la privacidad de los datos y su posterior especialización en la ética de la inteligencia artificial, “en el que nadie veía relevancia” hasta hace poco, ha hecho que empresas e instituciones de diferentes países hayan recurrido a su asesoramiento.

De hecho, ha comparecido en el Ministerio de Justicia alemán para explicar cómo se puede impartir justicia en el campo de la automatización, ha participado en las consultas sobre regulación de los algoritmos del Ministerio del Interior del país teutón y hasta ha colaborado en diferentes actividades de la Comisión Europea relacionadas con la inteligencia artificial.

Desde AlgorithmWatch también organizan sus propias campañas para reclamar que los algoritmos que tienen un impacto social sean explicados, aun sin revelar la receta secreta, para poder ser evaluados por terceros.

En ese sentido, acaban de lanzar una campaña en la que están colaborando con científicos de datos o medios como Spiegel Online para analizar a SCHUFA, una importante compañía de información crediticia en Alemania que evalúa la solvencia de los ciudadanos: su puntuación es utilizada por terceras empresas para decidir, por ejemplo, si se les concede un préstamo, un contrato de conexión a internet o el alquiler de un piso.

Según reclaman desde la organización, no se puede conocer cómo funciona el algoritmo de SCHUFA ni tampoco sus posibles errores. “Estamos solicitando que la gente nos done su puntuación de crédito y un par de datos demográficos para ver si la fórmula que están utilizando tiene sesgo, para comprobar hasta qué punto la base de datos es correcta y también para proveer una explicación de la fórmula sin revelar la fórmula”, explica la directora ejecutiva de AlgorithmWatch.

La falta de supervisión para garantizar que el ‘software’ que predice delitos carece de sesgos o la ausencia de instrumentos legales y éticos claros para evaluar si la distribución de recursos en una ‘smart city’ sigue criterios de equidad son, para esta investigadora, algunos ejemplos de los retos a los que nos enfrentamos. “A nivel legal, la única forma de paliar estos casos es con un instrumentario que todavía no tenemos para que se compruebe la estadística, para ver hasta qué punto la estadística no refuerza estereotipos”, defiende Jaume-Palasí.

Teniendo en cuenta que el ciudadano de a pie difícilmente puede evaluar si un algoritmo está siendo justo con él, parece claro que han de ser las instituciones las que velen porque la automatización no discrimine a nadie. Ahora bien, ¿hay que crear un organismo específico que se encargue de regular los algoritmos? ¿Es necesario un ministerio de los robots?

“Es lo que el Gobierno alemán quiere oír de nosotros [...] pero no es lo que queremos, porque para evaluar un sistema en ese sentido tienes que poder contextualizarlo”, explica Jaume-Palasí. “Ya tenemos muchas instancias en el nivel público y privado que se encargan de regular determinados contextos. Por ejemplo, en el nivel público, si quieres patentar un medicamento hay una instancia que se dedica a patentarlo”. Hacer que los organismos reguladores de cada sector integren la evaluación de los algoritmos, en caso de que no lo hagan ya, sería una alternativa.

Vigilando a los gigantes tecnológicos

Controlar el lado oscuro de los gigantes tecnológicos es otra de las preocupaciones de muchos expertos, entre ellos los que trabajan en los organismos de la Unión Europea. Recientemente, incluso la oficina antimonopolio de Alemania acusó a Facebook de abusar de su poder dominante en el mercado alemán de las redes sociales al recopilar datos generados en páginas webs de terceros.

Esta experta en filosofía del derecho tiene sus propias ideas sobre cómo domar a los gigantes. “Estamos tratando a plataformas como Google o Facebook como si fuesen una entidad más que puede tener competidores. Pero ese tipo de entidades no tienen competidores porque no son entidades dentro de un mercado, son el mercado en sí”.

Si el buscador o la red social se han convertido en el lugar en el que el resto de empresas ofrece “queso, zapatillas, chaquetas y periódicos”, Jaume-Palasí cree que las reglas del monopolio no pueden aplicarse para regularlos. “Me parece que la forma en la que la Unión Europea está intentando crear una regulación está categorizando este tipo de actores en la falsa categoría, y con ese tipo de instrumentos no creo que vaya a funcionar”.

El hecho de que los gigantes no vendan datos, sino “acceso a datos”, le hace defender que hay que tomar otras vías para someterlas al debate democrático. Ahora bien, ¿cómo lograr ese control? Por el momento, no nos desvela su propuesta, pero nos asegura que la está debatiendo con el resto de autores del mencionado Libro Blanco sobre Inteligencia Artificial.

En realidad, esta investigadora lleva tiempo supervisando a los gigantes. Participó en el Consejo Asesor de derecho al olvido de Google, firmó una carta abierta junto a decenas de académicos para reclamar más transparencia al gigante al procesar solicitudes y ha rubricado otra declaración promovida por la Coalición Dinámica sobre Publicidad del IGF de Naciones Unidas, que ella misma ha fundado, en la que pide echar atrás la jurisprudencia al respecto.

El derecho al olvido hace de compañías como Google una instancia moral que debe decidir sobre la legitimidad de un requerimiento

“El derecho al olvido hace de compañías como Google una instancia moral que debe decidir sobre la legitimidad de un requerimiento. Ese no es el papel que debería desempeñar una empresa”, critica. “Por ello recomendé crear un proceso transparente que implique al público y a representantes de diferentes posiciones [...] El Gobierno alemán apoyó mis recomendaciones, pero Google se decidió por un proceso de implementación más hermético y menos costoso”.

Recientemente, AlgorithmWatch estudió por su cuenta los algoritmos del gigante de Mountain View. Más de 4.000 usuarios les donaron sus búsquedas sobre políticos y partidos en Google y Google News para evaluar si los resultados se estaban mostrando de forma personalizada a cada internauta durante la reciente campaña electoral en Alemania. ¿Su conclusión principal? Que la mayoría de resultados no eran distintos en función de quién buscaba, al contrario de lo que en principio se podía esperar.

Además de recibir consultas por parte de Google en alguna ocasión, Jaume-Palasí nos cuenta que también contactaron con ella desde los cuarteles generales de Facebook para pedirle asesoramiento sobre principios éticos. Pero, más allá de estudiar la ética de los algoritmos y asesorar a Gobiernos y multinacionales, a Jaume-Palasí también le preocupan los retos de los países con menos experiencia en los procesos de gobernanza de internet.

Fundó para ello la IGF Academy, un proyecto para ayudar a la digitalización en cuatro países africanos y cuatro asiáticos financiado, en parte, por el Ministerio de Cooperación Económica y Desarrollo alemán. A partir de ahí, el Gobierno de Bután también la ha pedido consejo para que les eche una mano a la hora de desarrollar su estrategia de digitalización.

En cuanto a su colaboración (no remunerada) con el Ejecutivo español, se espera que el Libro Blanco sobre inteligencia artificial y ‘big data’ esté listo para mediados de año. Un documento que contará con el análisis experto de esta investigadora de filosofía de derecho que lleva tiempo preocupándose porque las máquinas que nos rodean no sean ajenas a la ética.