El algoritmo de Instagram ofrece una mezcla tóxica de vídeos a los adultos que siguen a niños

El servicio de vídeo Reels de Instagram está diseñado para mostrar a los usuarios secuencias de vídeos cortos sobre temas que el sistema decide que les interesarán, como deportes, moda o humor.

La aplicación social, propiedad de Meta Platforms, hace lo mismo con los usuarios que su algoritmo considera que pueden tener un interés lascivo en los niños, según demostraron las pruebas realizadas por The Wall Street Journal.

El Journal trató de determinar qué recomendaría el algoritmo Reels de Instagram a las cuentas de prueba configuradas para seguir únicamente a jóvenes gimnastas, animadoras y otros influencers adolescentes y preadolescentes activos en la plataforma.

El sistema de Instagram sirvió a esas cuentas de prueba dosis sorprendentes de contenido salaz, incluidas imágenes subidas de tono de niños, así como vídeos abiertamente sexuales de adultos, y anuncios de algunas de las marcas más importantes de Estados Unidos.

TE PUEDE INTERESAR

¿Harto de culos en Instagram? El círculo vicioso de algoritmos del que no puedes huir

M. Mcloughlin

El Journal creó las cuentas de prueba tras observar que entre los miles de seguidores de las cuentas de esos jóvenes suele haber un gran número de hombres adultos, y que muchas de las cuentas que seguían a esos niños también habían demostrado interés por contenidos sexuales relacionados tanto con niños como con adultos. El Journal también comprobó cuáles eran las recomendaciones del algoritmo después de que sus cuentas siguieran también a algunos de esos usuarios, lo que les devolvió contenido aún más perturbador intercalado con anuncios.

En una secuencia de vídeos recomendados por Instagram, aparecía un anuncio de la aplicación de citas Bumble entre un vídeo de alguien acariciando la cara de un muñeco de látex de tamaño real y un vídeo de una joven con la cara digitalmente oscurecida levantándose la camiseta para dejar al descubierto el abdomen. En otro,un anuncio de Pizza Hut iba seguido de un vídeo de un hombre tumbado en una cama con el brazo alrededor de lo que, según el pie de foto, era una niña de 10 años.

TE PUEDE INTERESAR

He probado lo nuevo de los creadores de Instagram y ahora odio TikTok más que nunca

Manuel Ángel Méndez

El Centro Canadiense para la Protección de Menores realizó pruebas similares por su cuenta, con resultados parecidos.

Meta afirma que las pruebas del Journal han producido una experiencia fabricada que no representa lo que ven miles de millones de usuarios. La empresa se negó a comentar por qué los algoritmos recopilan secuencias de vídeos separadas que muestran niños, sexo y anuncios, pero un portavoz afirmó que en octubre se introdujeron nuevas herramientas de seguridad de marca que dan a los anunciantes un mayor control sobre dónde aparecen sus anuncios, y que Instagram elimina o reduce la visibilidad de cuatro millones de vídeos sospechosos de violar sus normas cada mes.

El Journal informó en junio de que los algoritmos gestionados por Meta, propietaria tanto de Facebook como de Instagram, conectan grandes comunidades de usuarios interesados en contenidos pedófilos. El portavoz de Meta declaró que un grupo de trabajo creado tras el artículo del Journal ha ampliado sus sistemas automatizados de detección de usuarios con comportamientos sospechosos, eliminando decenas de miles de cuentas de este tipo cada mes. La empresa también participa en una nueva coalición del sector para compartir señales de posible explotación infantil.

TE PUEDE INTERESAR

¿Cómo se condena a un algoritmo por la muerte de alguien? El caso de Molly Russell

Enrique Zamorano

Entre las empresas cuyos anuncios aparecieron junto a contenidos inapropiados en las pruebas del Journal figuran Disney, Walmart, la empresa de citas en línea Match Group; Hims, que vende medicamentos para la disfunción eréctil, y el propio Wall Street Journal. La mayoría de los minoristas de marca exigen que su publicidad no aparezca junto a contenidos sexuales o explícitos.

"Nuestros sistemas son eficaces para reducir los contenidos nocivos, y hemos invertido miles de millones en soluciones de seguridad, protección y adecuación a la marca", declaró Samantha Stetson, vicepresidenta de Meta que se ocupa de las relaciones con el sector publicitario. Añadió que la prevalencia de contenido inapropiado en Instagram es baja, y que la empresa invierte mucho en reducirlo.

Después de que el Journal se pusiera en contacto con empresas cuyos anuncios aparecían en las pruebas junto a vídeos inapropiados, varias afirmaron que Meta les había dicho que estaba investigando la cuestión y que pagaría auditorías de seguridad de marca a una empresa externa.

"No queremos pagar a Meta para que comercialice con depredadores"

Tras lo que describió como una respuesta insatisfactoria de Meta a sus quejas, Match empezó a cancelar la publicidad en Meta de algunas de sus aplicaciones, como Tinder, en octubre. Desde entonces, ha interrumpido toda la publicidad de Reels y ha dejado de promocionar sus principales marcas en cualquiera de las plataformas de Meta. "No queremos pagar a Meta para que comercialice nuestras marcas con depredadores ni colocar nuestros anuncios cerca de estos contenidos", ha declarado Justine Sacco, portavoz de Match.

Robbie McKay, portavoz de Bumble, afirma que "nunca se anunciaría intencionadamente junto a contenido inapropiado", y que la compañía está suspendiendo sus anuncios en las plataformas de Meta.

Charlie Cain, vicepresidente de gestión de marcas de Disney, explicó que la compañía ha establecido límites estrictos sobre qué contenido de las redes sociales es aceptable para la publicidad y ha presionado a Meta y otras plataformas para mejorar las características de seguridad de la marca. Una portavoz de la empresa declaró que, desde que el Journal presentó sus conclusiones a Disney, la empresa había estado trabajando para abordar la cuestión con los "niveles más altos de Meta".

Walmart declinó hacer comentarios, y Pizza Hut no respondió a las peticiones de comentarios.

Hims afirmó que presionaría a Meta para que impidiera este tipo de anuncios y que consideraba alentadora la promesa de Meta de solucionar el problema.

El Journal se mostró alarmado por el hecho de que su anuncio apareciera junto a un vídeo de un aparente acto sexual entre adultos y dijo que exigiría a Meta que tomara medidas al respecto.

TE PUEDE INTERESAR

Mi reino por un algoritmo: el creador de un modelo para catástrofes climáticas se hará de oro

The Wall Street Journal. Jon Sindreu

Meta creó Reels para competir con TikTok, la plataforma de intercambio de vídeos propiedad de ByteDance, con sede en Pekín. Ambos productos proporcionan a los usuarios una sucesión ininterrumpida de vídeos publicados por otros, y ganan dinero insertando anuncios entre ellos. Los algoritmos de ambas empresas muestran a los usuarios los vídeos que, según sus cálculos, tienen más probabilidades de engancharles, basándose en su comportamiento anterior.

Los reporteros del Journal crearon las cuentas de prueba de Instagram como adultos en dispositivos recién comprados y siguieron a las gimnastas, animadoras y otras jóvenes influencers. Las pruebas demostraron que, al seguir únicamente a las jóvenes, Instagram empezaba a mostrar vídeos de cuentas que promocionaban contenidos sexuales para adultos junto con anuncios de grandes marcas de consumo, como uno de Walmart que aparecía después de un vídeo de una mujer que mostraba su entrepierna.

Cuando las cuentas de prueba siguieron después a algunos usuarios que seguían las cuentas de esas mismas jóvenes, arrojaron recomendaciones aún más perturbadoras. La plataforma ofrecía una mezcla de pornografía para adultos y material de sexualización infantil, como un vídeo de una niña vestida acariciándose el torso y otro de un niño haciendo gestos que imitan el acto sexual.

TE PUEDE INTERESAR

Vacaciones pese al algoritmo: el drama que viven los creadores de internet cada verano

Guillermo Martínez

Según algunos expertos en sistemas algorítmicos de recomendación, las pruebas del Journal muestran que, aunque la gimnasia podría parecer un tema inocuo, el sistema de seguimiento del comportamiento de Meta ha discernido que algunos usuarios de Instagram que siguen a niñas preadolescentes querrán ver vídeos que sexualizan a los niños, y luego dirige ese contenido hacia ellos.

"El contenido de nicho proporciona una señal mucho más fuerte que el contenido de interés general", opina Jonathan Stray, científico principal del Centro de Inteligencia Artificial Compatible con Humanos de la Universidad de California en Berkeley.

Empleados actuales y antiguos de Meta dijeron en entrevistas que la tendencia de los algoritmos de Instagram a juntar contenidos de sexualización infantil de toda su plataforma era conocida internamente como un problema. Una vez que Instagram clasifica a un usuario como interesado en un tema concreto, sus sistemas de recomendación están entrenados para ofrecerle más contenidos relacionados.

Para evitar que el sistema envíe contenido nocivo a los usuarios interesados en él, se requieren cambios significativos en los algoritmos de recomendación que también impulsan la participación de los usuarios normales. Los documentos de la empresa revisados por el Journal muestran que el personal de seguridad de la empresa tiene prohibido en general hacer cambios en la plataforma que puedan reducir de forma significativa los usuarios activos diarios.

Las cuentas de prueba mostraban que se añadían regularmente anuncios a las secuencias problemáticas de Reels. Los anuncios que animaban a los usuarios a visitar Disneylandia durante las vacaciones aparecían junto a un vídeo de una adulta que actuaba como si estuviera teniendo relaciones sexuales con su padre, y otro de una joven en lencería con sangre falsa goteándole de la boca. Un anuncio de Hims aparecía poco después de un vídeo que mostraba a una mujer aparentemente angustiada en una situación sexual junto con un enlace a lo que se describía como "el vídeo completo".

Incluso antes del lanzamiento de Reels en 2020, los empleados de Meta comprendieron que el producto planteaba problemas de seguridad, según antiguos empleados.

Las plataformas de intercambio de vídeos atraen a las empresas de medios sociales

Parte del problema es que los sistemas automatizados de aplicación de la ley tienen más dificultades para analizar el contenido de vídeo que el texto o las imágenes fijas. Otra dificultad se deriva del funcionamiento de Reels: en lugar de mostrar contenidos compartidos por los amigos de los usuarios, como suelen hacer otras partes de Instagram y Facebook, Reels promociona vídeos de fuentes que no siguen.

En un análisis realizado poco antes de la introducción de Reels, el personal de seguridad de Meta señaló el riesgo de que el producto encadenara vídeos de niños y contenidos inapropiados, según dos antiguos empleados. Vaishnavi J, ex responsable de política juvenil de Meta, describió así la recomendación del análisis de seguridad: "O reforzamos nuestras capacidades de detección de contenidos, o no recomendamos ningún contenido de menores", es decir, nada de vídeos de niños.

En aquel momento, TikTok crecía rápidamente, atrayendo la atención de los usuarios jóvenes de Instagram y de los anunciantes que se dirigían a ellos. Meta no adoptó entonces ninguna de las recomendaciones del análisis de seguridad, según J.

Stetson, enlace de Meta con los compradores de publicidad digital, refutó que Meta hubiera descuidado las cuestiones de seguridad infantil antes del lanzamiento del producto. "Probamos Reels durante casi un año antes de lanzarlo ampliamente, con un sólido conjunto de controles y medidas de seguridad", afirmó.

Las plataformas de intercambio de vídeos atraen a las empresas de medios sociales porque los vídeos tienden a mantener la atención del usuario durante más tiempo que el texto o las fotos fijas, lo que los hace atractivos para los anunciantes.

Meta, que al principio tuvo problemas para maximizar el potencial de ingresos de su producto Reels, ha mejorado la forma en que sus algoritmos recomiendan contenidos y personalizan las secuencias de vídeo para los usuarios.

TE PUEDE INTERESAR

Ya puedes descargar 'reels' de Instagram: así se hace

R. Badillo

Las plataformas de redes sociales y las agencias de publicidad digital suelen calificar de errores desafortunados la colocación inadecuada de anuncios. Pero las cuentas de prueba realizadas por el Journal y el Centro Canadiense para la Protección de la Infancia sugieren que las plataformas de Meta parecían dirigir parte del marketing digital a usuarios interesados en el sexo.

Entre los anuncios que aparecían regularmente en las cuentas de prueba del Journal figuraban los de aplicaciones de citas y plataformas de retransmisión en directo con imágenes de adultos desnudos, salones de masaje que ofrecían "finales felices" y chatbots de inteligencia artificial creados para el cibersexo. Se supone que las normas de Meta prohíben este tipo de anuncios.

El Journal informó a Meta en agosto de los resultados de sus pruebas. En los meses transcurridos desde entonces, las pruebas realizadas tanto por el Journal como por el Centro Canadiense para la Protección de la Infancia demuestran que la plataforma siguió mostrando una serie de vídeos en los que aparecían niños pequeños, contenidos para adultos y aparentes promociones de material sexual infantil alojado en otros lugares.

A mediados de noviembre, el centro dijo que Instagram sigue recomendando constantemente lo que la organización sin ánimo de lucro describió como "adultos y niños haciendo poses sexuales".

Después de que el Journal comenzara a ponerse en contacto con los anunciantes acerca del contexto en el que estaban apareciendo sus anuncios, y de que estas empresas empezaran a hacer preguntas, Meta les dijo que estaba investigando el asunto y que pagaría por servicios de auditoría de seguridad de marca para determinar con qué frecuencia los anuncios de una empresa aparecen junto a contenidos que considera inaceptables.

Meta no ha ofrecido un calendario para resolver el problema ni ha explicado cómo restringirá en el futuro la promoción de contenidos inapropiados en los que aparezcan niños.

TE PUEDE INTERESAR

'Pausa' | Las cajas negras de la IA y los vigilantes de los algoritmos secretos

Marta García Aller

Las cuentas de prueba del Journal descubrieron que el problema afectaba incluso a marcas relacionadas con Meta. Anuncios del servicio de chat cifrado WhatsApp de la empresa y de las gafas Ray-Ban Stories de Meta aparecían junto a pornografía para adultos. Un anuncio de Lean In Girls, la organización sin ánimo de lucro para el empoderamiento de las mujeres jóvenes dirigida por la ex directora de operaciones de Meta Sheryl Sandberg, aparecía justo antes de una promoción de una creadora de contenido sexual para adultos que suele aparecer vestida de colegiala. Sandberg declinó hacer comentarios.

A través de sus propias pruebas, el Centro Canadiense para la Protección de la Infancia concluyó que Instagram ofrecía regularmente vídeos y fotos de niños vestidos que también aparecen en la base de datos digital del Centro Nacional para Niños Desaparecidos y Explotados de imágenes y vídeos confirmados como material sexual de abuso infantil. El grupo afirmó que los abusadores de menores suelen utilizar las imágenes de las niñas para anunciar contenidos ilegales a la venta en foros de la web oscura.

Según Lianna McDonald, directora ejecutiva del centro canadiense, la naturaleza del contenido, que sexualiza a los niños sin mostrar generalmente desnudos, refleja la forma en que las redes sociales han cambiado el abuso sexual infantil en línea. El grupo ha expresado su preocupación por la capacidad de los algoritmos de Meta para reclutar a nuevos miembros de comunidades en línea dedicadas al abuso sexual infantil, donde proliferan los enlaces a contenidos ilícitos en foros más privados.

"Una y otra vez, hemos visto que los algoritmos de recomendación llevan a los usuarios a descubrir y luego a entrar en espiral en estas comunidades de explotación infantil en línea", advierte McDonald, y calificó de preocupante que los anuncios de las grandes empresas estuvieran subvencionando ese proceso.

-Con la contribución de Robbie Whelan.

*Contenido con licencia de The Wall Street Journal.