Invisible entre la multitud: la chaqueta que te oculta de los algoritmos de vigilancia

En julio de los manifestantes de Hong Kong empezaron a utilizar láseres para evadir los sistemas de reconocimiento facial del gobierno chino. Un año después, la policía de Miami reconoce que utilizaron "tecnología para identificar manifestantes violentos que atacaron a los policías" durante las protestas del movimiento 'Black Lives Matter' y, según su jefe de policía, Armando Aguilar, se han logrado "muchos arrestos en casos de este tipo y más están por venir en el futuro cercano". Sesenta dólares por esta chaqueta fluorescente pueden cambiar eso y desterrar los láseres y pasamontañas en las manifestaciones.

Un grupo de investigadores de la Universidad de Maryland ya comercializa estas chaquetas —aunque para fines benéficos—, que pretenden ser una "ilusión óptica" para los sistemas de detección de objetos y que permite a quien la lleve hacerse 'invisible' a los ojos de algunos algoritmos. La investigación, que aún se está desarrollando, ha diseñado estas telas que utilizan figuras y colores que impiden que el sistema sepa qué tipo de objeto eres.

Lorena Fernández, directora de Identidad Digital de la Universidad de Deusto, explica que estos sistemas de detección son "una rama de la Inteligencia Artificial denominada visión artificial ('computer vision') que trata de detectar objetos dentro de una imagen (bien sea fija o en movimiento) y otorgar luego descriptores a ese objeto" y que para ello se 'entrena' a los algoritmos con 'datasets' de millones de imágenes, mediante aprendizaje automatizado, "para que generen patrones y vayan reconociendo de manera automatizada nuevos objetos con base en esas reglas".

"Esta ropa explota una falla que se encontró en los algoritmos de visión artificial hace casi cinco años. Estos algoritmos utilizan un enfoque simple para identificar objetos: buscan patrones de píxeles en una nueva imagen que se asemejan a patrones que han visto antes. Es decir, solo usan la coincidencia de los patrones pero no entienden el contexto", explica. Así, estas chaquetas de invisibilidad evitan que el algoritmo te identifique siquiera como una persona.

Ejemplos contradictorios: ¿autobús o avestruz?

Estas ilusiones ópticas para algoritmos se denominan ejemplos contradictorios y en algunos experimentos, como este de 2018, en los que haciendo pequeños cambios sobre una imagen conseguían que los algoritmos confundieran un autobús escolar con un avestruz en una imagen. "Para comprender cómo funcionan estos ataques, lo mejor es que imaginemos un diagrama de dispersión", explica Fernández. "Cada punto del gráfico de dispersión representa un píxel de una imagen que está siendo procesada. El algoritmo normalmente intentaría trazar una línea a través de los datos que sea un agregado que mejor se ajuste a dónde se encuentra cada punto. Pero en nuestra simple analogía de un diagrama de dispersión, la forma de la línea trazada a través de los datos dicta lo que el algoritmo cree ver. Para atacar con éxito estos sistemas (obligándolos a clasificar erróneamente las imágenes), solo tenemos que cambiar una pequeña minoría de estos puntos, guiando al sistema para sacar una conclusión que realmente no existe".

¿Y cómo se ha decidido qué colores y formas poner en las camisetas? Fernández asegura que en el ejemplo de estas camisetas desarrolladas por el equipo de Facebook y Maryland, se procesaron 10.000 imágenes de personas a través de un algoritmo de detección. "Cuando encontraba una persona, se reemplazaba con cambios aleatorios de perspectiva, brillo y contraste. Luego se usó otro algoritmo para encontrar cuál de los cambios aleatorios era más efectivo para engañar al algoritmo".

Por tanto, son este tipo de algoritmos de reconocimiento de imágenes los que fallan porque carecen de contexto o comprensión de las imágenes que analizan. Una falla que ya se está empezando a salvar. De hecho, "esta investigación se está usando para cambiar la perspectiva de estos sistemas y reforzarlos para que no caigan en este tipo de trucos y que pueden tener un gran impacto si, por ejemplo, se usan para confundir en un futuro qué ven los coches autónomos".

Confundir coches autónomos

Estos algoritmos de identificación se utilizan para casi todo, desde que en 1999 Shazam comenzase a identificar música a través de los patrones de la melodía de las canciones. Google, por ejemplo lanzó en 2017 Lens, "un sistema que permite determinar objetos, textos y lugares mediante la cámara gracias al uso de inteligencia artificial. Basta con que apuntemos con nuestro móvil a algo, para que Google Lens nos diga de qué se trata y, por supuesto, nos dé información adicional", explica esta experta.

Otras plataformas como Pinterest, Instagram o Facebook también utilizan sistemas de detección de imágenes para diferentes objetivos. Según Fernández, uno de los ámbitos en los que los ejemplos contradictorios podrían tener un gran impacto es en "engañar" a los algoritmos que utilizan los coches autómatas, que tienen que identificar objetos y personas para conducir de forma correcta.

Un campo a parte sería el de detección de personas y el reconocimiento facial. "Existe un gran avance en reconocimiento facial, por ejemplo, donde la primera fase es detectar que se trata de una persona para luego ya "etiquetarla" (género, raza y otras características) o incluso identificar de qué persona en concreto se trata", explica Fernández. "Aquí es donde deberíamos detenernos sobre el impacto que tienen los sesgos en inteligencia artificial, ya que algunos sistemas comerciales que se usan por ejemplo, en el ámbito de la seguridad y la vigilancia, que fallan más con mujeres negras." Estos sistemas pueden perpetuar e incluso amplificar los patrones sociales de injusticia al codificar consciente o inconscientemente los prejuicios humanos, dice, por lo que "comprender la discriminación interseccional subyacente en la sociedad puede ayudar a desarrollar tecnologías más justas y responsables.

El posible uso indebido del reconocimiento facial ha dado lugar a varias acciones: Bélgica ha declarado ilegal el uso del reconocimiento facial; Francia y Suecia lo han prohibido expresamente en las escuelas. Las empresas también están retrocediendo: IBM ha abandonado por completo el negocio del reconocimiento facial y Amazon ha impedido que la policía utilice su tecnología de reconocimiento facial en respuesta a las protestas mundiales contra las injusticias raciales sistémicas en 2020".