Censura automática: así navegan las máquinas en busca de desnudos que ocultar

La tierna instantáneade un padre y su hijo enfermo en la ducha o la de una paciente recuperándose del cáncer mostrando su pecho para alertar de los síntomas de la enfermedad. Estas son algunas de las imágenes que han sufrido la censura de Facebook en los últimos tiempos. Aunque en ocasiones el puritanismo de las redes sociales acaba haciéndonos gracia, como la eliminación del retrato de la escultura danesa de La Sirenitao el bloqueo de una cuenta en Instagram por la foto de una tarta supuestamente poblada de pezones, lo cierto es que nunca está exento de polémica.

TE PUEDE INTERESAR

Las redes sociales y los desnudos: una relación problemática

Rocío P. Benavente

Ahora bien, las redes sociales no son las únicas dispuestas a evitar que se les cuelen retratos más o menos controvertidos. Existen empresas que prestan el servicio de censura a plataformas preocupadas por detectar individuos en el estado que llegaron al mundo. Ya que los trucos de los gigantes tecnológicos continúan siendo un misterio, nos hemos adentrado en el sector de los negocios que trabajan en la filtración de imágenes de desnudos ‘online’.

Algunas de estas compañías sigan confiando solo en los mortales para moderar las instantáneas de terceros. Es el caso de Web Purify, desde donde nos explican que un equipo de humanos se encarga de una revisión de las mismas para descubrir tanto drogas como signos de violencia, gestos ofensivos o desnudos. Sin embargo, hay otras empresas que han desarrollado sistemas automáticos específicamente diseñados para localizar cuerpos sin ropa.

Es el caso de Algorithmia, una compañía que el año pasado dio que hablartras la publicación de Isitnude, un ‘bot’ que proporciona sugerencias de censura y que les sirvió como demo. “El algoritmo de detección de desnudos es uno de los más populares en la plataforma, ya que es muy difícil controlar este tipo de imágenes a gran escala”, explica a Teknautas Diego Oppenheimer, fundador y CEO de la compañía. Es más, sus máquinas localizan las partes íntimas de los humanos en pocos segundos cada vez mejor.

¿Cómo ve un algoritmo cuerpos sin ropa?

En un primer momento, Algorithmia utilizó un estudio para la detección de desnudos que detectaba zonas de las imágenes en las que aparecía piel humana y estudiaba su tamaño para determinar si se pasaban de picantes. Después, mejoraron el sistema integrando algoritmos para reconocer la nariz y el rostro, lo que les permitía extraer el tono exacto de la piel y analizar estadísticamente en qué proporción estaba expuesto ese color en la fotografía. “Veíamos cuántos cuadrados habíamos dibujado y cuántos estaban cubiertos por la piel”, ejemplifica Oppenheimer.

Hace poco, han mejorado aún más el sistema gracias a las redes neuronales, algoritmos que simulan el proceso que lleva a cabo nuestro cerebro aprendiendo por sí mismas las características que necesitan estudiar. “Lo que hicimos es combinar el primer algoritmo y el segundo en un tercer algoritmo y, dependiendo de la situación, usa uno u otro”.

Según este emprendedor, han conseguido con ello una eficacia del 93 %. Aunque hemos comprobado que no repite algunas de las meteduras de pata de la red social por excelencia, el CEO de Algorithmia admite que el ‘software’ siempre tiene que mejorar. "Estos sistemas que tiene Google o que tiene Facebook se van a equivocar igual que el nuestro, la cuestión es no tomarlos como una verdad absoluta sino como una herramienta para hacer nuestro trabajo de una forma más eficaz".

"Ninguna tecnología de reconocimiento de imagen es perfecta, pero como tenemos un ‘feedback’ de vuelta disponible con nuestra tecnología, se hace más inteligente y más precisa a medida que más gente la usa", coincide Matt Zeiler, CEO de Clarifai.

Estudiando retratos etiquetados como desnudos, el algoritmo determina qué zonas del cuerpo problemáticas ha de buscar en los siguientes

Esta compañía, especializada en el reconocimiento de fotografías y vídeos, también ha utilizado redes neuronales en el modelo de identificación de desnudos que acaba de lanzar oficialmente. Es capaz de “‘ver’ una variedad de componentes en la imagen que podrían no ser seguros para trabajar, incluyendo pechos, pezones, nalgas y/o penes”, según nos explica Zeiler.

Estudiando retratos etiquetados como desnudos, el algoritmo determina qué zonas del cuerpo problemáticas ha de buscar en los siguientes que analice. Para que sea robusto, lo han entrenado con fotografías de diferente calidad, luminosidad o perspectiva.

De esta forma, las redes neuronales compuestas de múltiples capas extraen representaciones cada vez más complejas de la imagen. "La primera capa podría aprender a reconocer bordes y colores, la segunda esquinas y curvas, mientras que las capas más profundas de la red representen partes de objetos y objetos enteros", señala Zeiler.

Pese a ello, ¿evitan siempre que una foto de una modelo en bikini no sea etiquetada como no apta? Según el CEO de Clarifai, se trata de un "problema difícil" que su equipo trata de resolver. De todos modos, sus bases de datos incluyen imágenes seguras, contenido adulto (personas en bañador o ropa íntima) y pornografía explícita. El modelo tiene en cuenta la clasificación, de forma que el usuario obtiene una puntuación del nivel de peligrosidad.

Máquinas… con censores humanos detrás

Tanto el algoritmo de detección de desnudos de Algorithmia como el de Clarifai o el de Sightengine —otra empresa que ofrece un servicio de moderación de estas imágenes— disponen de una API (interfaz de programación de aplicaciones por sus siglas en inglés) que permite a los desarrolladores de webs o ‘apps’ integrar su algoritmo.

Los propios clientes son los que deciden si quieren una censura automática más o menos férrea. "Lo que puede hacer [el usuario] es mover los niveles de confianza. Pongamos que estamos utilizando una página web para niños, entonces la tolerancia a pasar un desnudo es muy bajo: si el algoritmo está un 20% seguro de que esto es un desnudo, ya voy a censurar todo”, señala Oppenheimer.

"Como respuesta, desde nuestra API obtienes una puntuación de 0.0. (seguro) a 1 (pornografía explícita) así que tú como desarrollador o empresa puedes elegir qué consideras NSFW [Not Safe for Work, No Seguro para Trabajar] para tu audiencia”, añade Zeiler.

Aun con esa posibilidad, ¿confían ciegamente las compañías que deciden usar estos servicios en el criterio de una máquina sin vergüenza ninguna? "La mayoría de los propietarios del sitio quieren realizar una comprobación para saber si una imagen contiene contenido para adultos", señala David Lissmyr, fundador de Sightengine. “Por lo general, la intención no es que sean 100% eficaces solos, sino que reduzcan la cantidad de trabajo que tengan que hacer los humanos, a la escala que se necesita”, puntualiza Oppeinhemer.

De hecho, este filtrado interesa ya a muchas empresas. Aunque desde Algorithmia no nos han querido dar nombres, aseguran que entre una veintena y una treintena de compañías buscan desnudos con ayuda de su API. Según su web, ha recibido ya 4,7 millones de llamadas. “Uno de los servicios de imágenes más grandes de Europa lo utiliza para mirar sus imágenes y decidir cuáles de las que están subidas por los usuarios son desnudos y cuáles no, algunas aplicaciones de iPhone y Android y algunos servicios de empresas que manejan foros”, sostiene el CEO de Algorithimia.

Entre los clientes de los diferentes algoritmos de reconocimiento de imagen y vídeo que ofrecen Clarifaifiguran Unilever, Vimeo, BuzzFeed o Trivago, pero tampoco nos han detallado los clientes que han mostrado ya su interés por la detección de desnudos en particular. Eso sí, explican que su modelo puede venir especialmente bien a las páginas de subastas o a los almacenes virtuales de instantáneas, señalan que una ‘app’ de citas utiliza su sistema "para decir no a las fotografías de penes y prevenir el acoso sexual en su plataforma" e incluso algunas páginas de adultos lo usan para destacar esas imágenes en lugar de para eliminarlas.

"Es imposible hoy en día que un algoritmo entienda cómo nos va ofender, cuáles son nuestras reglas morales", sentencia Diego Oppenheimer, CEO de Algorithmia. "El algoritmo es solo una herramienta, cómo se usa la herramienta va a depender mucho de la persona que la está usando". Por el momento, las máquinas no entran en debates éticos sobre si el contenido de un archivo jpg es más o menos controvertido.