Esta es primera película que sincroniza el doblaje con la boca del actor gracias a la IA

La película de ciencia ficción sueca UFO Sweden (retitulada para el mercado estadounidense como Watch the Skies) será la primera de la historia estrenada en cines en la que el doblaje irá sincronizado perfectamente con el movimiento de la boca de los actores. Lo han conseguido gracias a una tecnología basada en inteligencia artificial que analiza la actuación de un actor y crea una representación adaptada y ultrarealista de los movimientos que se producen al hablar. Lo que sus creadores llaman: doblaje visual

Los espectadores que el próximo mes de mayo vayan a ver el estreno de Watch the Skies en los cines de EEUU notarán que los personajes tienen un ligero acento sueco, pero no percibirán nada extraño en la imagen. Al contrario de lo que ha venido sucediendo en las películas dobladas hasta ahora, las bocas irán perfectamente sincronizadas con el sonido de las palabras gracias a TrueSync, una tecnología de la compañía con sede en Los Ángeles, Flawless.

TE PUEDE INTERESAR

El plan de Pekín para convertir el mar de China en el nuevo golfo Pérsico

Omar Kardoudi

“Somos los primeros en hacerlo y queremos ofrecer algo de la mayor calidad posible”, afirma Albin Pettersson, de Crazy Pictures, la productora detrás de la película. “En el cine, todo se muestra a máxima resolución, así que cada detalle tiene que ser perfecto. Creemos que el público la vivirá como una película en inglés sin notar la transformación técnica. El resultado es mucho mejor de lo que nos atrevíamos a esperar”.

Cómo funciona

Scott Mann, fundador de Flawless y cineasta, ya usó TrueSync para eliminar el lenguaje malsonante (quitó 35 fucks) de su película Fall. Con esto consiguió rebajar la puntuación del sistema de calificación de edades de la cinta —de recomendada para mayores de 17 a recomendada para mayores de 13— sin tener que rodar ni un solo plano extra.

Harto de que los doblajes extranjeros destrozaran sus películas, Mann, se puso en contacto con Christian Theobalt, director del grupo de investigación Graphics, Vision & Video en el Instituto Max-Planck, en Alemania. Theobalt había desarrollado una nueva tecnología, emparentada con deepfake, aunque mucho más compleja, que solucionaba su problema.

Esta IA utiliza redes neuronales para analizar patrones fonéticos y características del habla en diferentes idiomas. Basándose en este análisis, recrea la imagen, añadiendo movimientos labiales que coinciden de manera muy precisa con el audio doblado, creando una sincronización perfecta entre el diálogo y las imágenes.

Con consentimiento de los artistas

El director inglés comentó en su momento que la idea de crear TrueSync empezó con el horror que sintió al ver la versión doblada a otro idioma de su largometraje Heist, en la que actúa Robert De Niro. Aquel doblaje cambiaba los diálogos originales de la película por otros que se acercaban más al movimiento de la boca de los actores. Esto para él destrozaba la esencia de los diálogos y las interpretaciones que tanto trabajo le había costado componer.

En el caso de UFO Sweden son los mismos actores los que han grabado los diálogos en inglés usando su propia voz, permitiendo a los directores de la película completo control creativo. Además, la tecnología también utiliza un sistema de gestión de derechos para garantizar que esta modificación creada por la IA se realice únicamente con el consentimiento de los artistas.

“Ha sido una experiencia única y divertida volver a interpretar mi papel en otro idioma. Al principio era escéptica sobre si la técnica funcionaría, pero el resultado es realmente impresionante”, dice la actriz Inez Dahl Torhaug, que interpreta uno de los papeles principales.

¿El fin de los dobladores?

La aplicación de esta herramienta en la producción de cine puede ser revolucionaria. Ya no solo porque puede hacer que los doblajes sean más naturales y creíbles, sino porque también puede ayudar a ahorrar a rebajar costes. Es muy habitual en cualquier producción tener que juntar a equipo y actores para volver a rodar escenas que por motivos técnicos o artísticos no acaban de encajar en el montaje. Pero los reshoots son costosos para los productores y sacar dinero para llevarlos a cabo no siempre es posible, con lo que una herramienta como esta les ahorraría muchos quebraderos de cabeza.

Además, TrueSync puede emplearse con otras IAs que clonan la voz de los actores y las traducen a otros idiomas, haciendo que la película pueda distribuirse en multitud de idiomas y países sin perder la intención original de los creadores.

España es un país acostumbrado a ver cine y series dobladas que sería un gran mercado para este tipo de tecnología. Aunque parece que las nuevas generaciones se inclinan más a consumir contenido en versión original, un informe de Netflix de finales del año pasado asegura que el 90% de los españoles lo hace en español, ya sea doblado o subtitulado, mientras que solo el 10% opta por la versión original en productos de habla no hispana. Otra encuesta del Ministerio de Cultura y Deporte rebaja esa cifra y apunta a que solo el 5% de los españoles ven películas en idiomas distintos al castellano.