La idea española para acabar con los prejuicios en las búsquedas de Google

La web de alquiler de alojamiento turístico entre particulares Airbnb colabora desde este mes con la Asociación Nacional por el Progreso de las Personas de Color estadounidense para fomentar el uso de la plataforma entre las minorías sociales. Es la última estrategia de la ‘startup’ para lavar su imagen de las acusaciones de racismo que sufre desde que el año pasado un estudio de la Universidad de Harvard demostrara la existencia de un sesgo étnico en la página: los usuarios de color que anuncian alojamientos reciben menos dinero que los caucásicos.

TE PUEDE INTERESAR

De cobrar 2.000 € al mes a la ruina: los fotógrafos a los que Google ha dejado tirados

Natalia Lázaro Prevost

No se trata de una desviación introducida voluntariamente por los desarrolladores de la empresa, sino de una consecuencia de los algoritmos de clasificación y ordenamiento de resultados. El problema se conoce como discriminación algorítmica. “Un sistema computacional, aun cuando esté diseñado con las mejores intenciones, puede generar un efecto sistemáticamente negativo sobre una persona o un grupo”, explica a Teknautas Carlos Castillo, director de la Unidad de Ciencia de Datos del Centro Tecnológico de Cataluña (Eurecat) y corresponsable del proyecto FA*IR, dedicado a desarrollar una herramienta de clasificación de búsqueda justa.

La iniciativa, en la que también participan la Universidad Pompeu Fabra, la Universidad Técnica de Berlín y la Fundación ISI (en Italia) ha recibido una beca de 50.000 euros del Data Transparency Lab (DTL), una institución que premia a los programas o plataformas más novedosos que contribuyen a mejorar la transparencia y la privacidad de los datos y los algoritmos. La financiación permitirá a Castillo y su equipo crear una interfaz de programación de aplicaciones (API) de código abierto y gratuita que cualquier plataforma podrá incorporar para mitigar los posibles sesgos asociados a sus algoritmos.

Listas poco proporcionadas

La polémica diferencia racial entre los usuarios de Airbnb se debe, según el investigador de Eurecat, a dos factores principales. Por un lado, al propio algoritmo que muestra unos u otros alojamientos en función de la ciudad y, por otro, a la existencia de personas racistas en la comunidad de la plataforma. Como consecuencia, el precio que se paga de alquiler por metro cuadrado en la misma ciudad es más bajo en el caso de los individuos de color. “Si quedan muy abajo en la lista, al final no se lo van a alquilar y tendrán que bajar el precio”, aclara Castillo.

Los efectos como este son una especie de “profecías autocumplidas”: las herramientas informáticas de jerarquización detectan un patrón en una muestra de la sociedad, lo asimilan como si fuese una realidad objetiva y la refuerzan. El fenómeno ocurre también en el caso del sistema utilizado por la justicia estadounidense para predecir la probabilidad de que un criminal reincida en el futuro, estudiado por el equipo del proyecto FA*IR. “Se ha demostrado que estos algoritmos tienden a producir un factor de peligrosidad más alto para las personas afroamericanas”, asegura Castillo.

Las distorsiones ocultas están presentes asimismo en las búsquedas de empleo en internet. Las mujeres que hagan pesquisas para encontrar ofertas de trabajo en Google obtendrán un mayor número de anuncios con peores condiciones económicas que los hombres. Del otro lado, las empresas que publican sus vacantes en plataformas como Infojobs o LinkedIn pueden considerar en su proceso de selección una lista de candidatos que no representa bien la diversidad en cuanto a alguna variable, como la edad, el sexo o la nacionalidad.

En este caso, los investigadores analizaron la composición por género de los resultados obtenidos para diferentes búsquedas en XING. Así, aunque el 70% de los aspirantes a un puesto fueran hombres y el 30% mujeres, la primera página que lista los diez primeros candidatos podría mostrar siete varones y tres féminas. Pero, “¿qué ocurre si el buscador retorna en las primeras 100 posiciones 70 hombres y 30 mujeres?”, plantea Castillo. En este supuesto, aunque la proporción se sigue correspondiendo con la realidad, el responsable de recursos humanos de la compañía difícilmente llegaría a ver el currículum de ninguna chica. “Rara vez vamos más allá de la primera o segunda página, tenemos un tiempo finito y asumimos que esos resultados ordenados por un programa están clasificados de mejor a peor de alguna manera”, indica Castillo. Así que nos fiamos.

Un algoritmo justiciero

El proyecto ya ha dado sus primeros frutos: un algoritmo que mitiga los sesgos de los sistemas de clasificación. Sus efectos pueden asimilarse a las medidas de acción positivas encaminadas a fomentar la presencia de ciertos colectivos o grupos que se consideran desfavorecidos y discriminados históricamente en algún sentido. Aquí se incluyen, por ejemplo, la obligación de que exista cierto porcentaje de empleados de un género o personas con alguna discapacidad en la plantilla de las empresas.

La herramienta creada por estos expertos permite que todas las páginas de resultados, independientemente de hasta donde se llegue, “contengan la misma proporción de los diferentes tipos de personas”, explica Castillo. Advierte que no se sabe a ciencia cierta en qué plataformas o sistemas existen estas distorsiones, pero utilizar la herramienta significaría tener cierta garantía de que la lista resultante aplica criterios justos. “No identifica el tipo de sesgo, pero lo mitiga cuando sucede”, asegura.

También se han preocupado de que este efecto corrector no suponga un perjuicio muy grande para aquellos que no pertenecen al grupo discriminado. La meta es conseguir un ordenamiento más justo “interfiriendo lo menos posible en la clasificación que se ha hecho de los candidatos”, señala el investigador de Eurecat.

Sin embargo, la fase que ya han completado es solo una prueba de concepto que el equipo aplicará al desarrollo de un ‘plugin’ para buscadores que pueda ser adoptado por cualquier organización o empresa. Como un paquete de ‘software’ que puedan descargar e implementar. “Es una manera de aplicar una acción positiva sin que haya que desarrollar nuevos algoritmos”, señala Castillo.

Otro de los objetivos es que la herramienta sea transparente para aquellas personas que no han resultado elegidas en el proceso de selección. Los excluidas sabrán por qué no cumplen con los requisitos y si se debe a una acción positiva enfocada a aumentar la prevalencia de un tipo concreto de perfil, como el de candidatos con un cierto grado de discapacidad, con motivo de cumplir con la legislación.

Porque si algo caracteriza actualmente a este tipo de buscadores es la opacidad: “No sabemos cómo están ordenando a las personas”, advierte Castillo. Por ejemplo, si una empresa busca un trabajador en Infojobs o en Google, no sabrá qué variables tienen en cuenta las plataformas a la hora de ordenar los resultados que le muestra, ni los posibles candidatos tendrían idea de por qué figuran más arriba o más abajo en la lista. Este es otro de los problemas que el investigador y sus colegas quieren atajar, la falta de transparencia en los criterios de ordenamiento de los ‘rankings’.

El caso de aplicaciones o de páginas de citas, que ordenan a los pretendientes a la hora de mostrárselos a un usuario, es “en un nivel abstracto” el mismo que el de búsqueda de empleo. El perfil, que hace las veces de currículum, incluye datos como la edad, la estatura y los gustos. “Dado que estos algoritmos son opacos, no sabemos cómo están decidiendo qué perfiles te están enseñando y en qué orden. No sabemos si están desfavoreciendo a la gente más alta, más baja, más gorda, nacional o extranjera…”, señala Castillo. A pesar de ser un ‘match’ para otra persona, si hay otros tantos que son igual de buenos o más adecuados, tu media naranja potencial no va a reparar en tu presencia.

La falta de claridad de estos sistemas ha suscitado un debate en torno a lo que ya se conoce en el campo de la discriminación algorítmica como “derecho a la explicación”. “Cuando un algoritmo toma tu currículum y lo clasifica u ordena, te está clasificando y ordenando a ti”, dice el experto. “Hay quien piensa que, en tal caso, habría que explicar por qué quedaste en una u otra posición o por qué se te negó algo”. La cuestión ya es motivo de discusión en el seno de la Unión Europea y podría convertirse en una exigencia para las herramientas informáticas y sus responsables a partir de 2018.

“Como persona, cuando un algoritmo toma una decisión sobre ti, deberías ser capaz de saber por qué lo hace”, aclara Castillo. Por ejemplo, si un candidato a obtener algún beneficio o a un trabajo fuera descalificado, pero no supiera los criterios ni fórmulas utilizadas por el sistema, no tendría posibilidad de reclamar ni de pedir explicaciones.

Incluso en el caso de que sea un humano el que tome la última determinación en base a un ‘ranking’ o a una cifra proporcionada por un algoritmo, “su criterio ya está influido por ese número”, dice el investigador. Y si se equivoca, la culpa podría recaer en ese responsable por no haber tenido en cuenta los datos, una información supuestamente objetiva.

La existencia de estas distorsiones se ha comprobado solo en algunos casos, en parte porque es imposible detectarlas a nivel individual: es necesario un amplio análisis de la situación. Pero a Google ya le ha caído una buena multa por favorecer sus productos en las páginas de resultados. Según Castillo, cada vez son más las empresas preocupadas porque sus listas sean lo más justas posibles. Aunque solo sea por evitar sanciones.