El increíble efecto especial que hace que los actores hablan cualquier lenguaje

Harto de que los doblajes extranjeros destrozaran sus películas, el director de cine británico Scott Mann, en colaboración con investigadores del Max Plank Insititute alemán, ha creado una inteligencia artificial capaz de hacer que el movimiento de la boca del actor y sus gestos se reproduzcan a con una precisión pasmosa cuando se le dobla en otro idioma.

En el vídeo de demostración de la tecnología, que podéis encontrar unas líneas más abajo, vemos a Jack Nicholson y Tom Cruise interpretando la escena clave de 'Algunos hombres buenos' en francés, a Robert De Niro hablando perfecto alemán y a Tom Hanks haciendo el papel de Forrest Gump en alemán, español y japonés. En todos los planos hay una perfecta sincronización entre la boca de los actores y el audio que se escucha.

TE PUEDE INTERESAR

La gafas de Apple podrán superar la capacidad del ojo humano en 2024

Jesús Díaz

Mann comenta en declaraciones a 'Wired' que todo empezó con el horror que sintió al ver la versión doblada a otro idioma de su largometraje 'Heist', con Robert De Niro. Aquel doblaje cambiaba los diálogos originales de la película por otros que se acercaban más al movimiento de la boca de los actores. Esto para él destrozaba la esencia de las escenas que tanto trabajo le había costado componer.

"Recuerdo que me sentí desolado", comenta Mann. "Si haces un pequeño cambio en una palabra o en una actuación, puede tener un gran cambio en un personaje en el ritmo de la historia, y a su vez en la película".

A raíz de esto, Mann empezó a interesarse por la tecnología 'deepfake': un algoritmo de inteligencia artificial que permite sustituir la cara y los gestos de una persona por la de otra de manera extraordinariamente realista. Esta herramienta ha sido muy controvertida en los últimos años por su uso poco ético. Se ha utilizado, por ejemplo, para insertar las caras de las famosas en vídeos pornográficos o para crear imágenes falsas con las que hacer 'bullying' a las alumnas de un instituto.

En su búsqueda, Mann descubrió una investigación dirigida por Christian Theobalt, director del grupo de investigación Graphics, Vision & Video en el Instituto Max-Planck, en Alemania. Theobalt ha creado una tecnología, emparentada con 'deepfake' aunque mucho más compleja, que permite modificar los movimientos y los gestos de los labios de los actores como si estuvieran hablando en otro idioma.

TE PUEDE INTERESAR

La navegación interestelar del Halcón Milenario se hace realidad

Omar Kardoudi

El algoritmo de los investigadores alemanes toma por un lado las expresiones faciales y los movimientos de un actor y por el otro los gestos de los labios de una persona que está recitando el texto en otro idioma. El resultado es un modelo en 3D animado que combina perfectamente la cara del actor con el movimiento de labios del doblador. Este modelo se inserta luego en la película en sustitución del rostro original del actor.

"[Esta tecnología] será invisible en muy poco tiempo", comenta Mann. "La gente verá algo y no se sabrá que se rodó originalmente en francés o lo que sea".

La aplicación práctica de esta herramienta en la producción de cine puede ser enorme. Ya no solo porque puede hacer doblajes más naturales y creíbles, sino porque también permitiría a los directores seguir modificando los diálogos una vez terminado el rodaje. Es muy habitual en cualquier producción tener que juntar a equipo y actores para volver a rodar escenas que por motivos técnicos o artísticos no acaban de encajar en el montaje. Directores como Woody Allen tienen acostumbrados a sus equipos a reservarse un par de semanas después de terminado el rodaje principal para este tipo de contingencias. Pero los ‘reshoots’ son costosos para los productores y sacar dinero para llevarlos a cabo no siempre es posible, con lo que una herramienta como esta les ahorraría muchos quebraderos de cabeza.

TE PUEDE INTERESAR

Invierten 1.000 millones de dólares en crear un universo paralelo

Jesús Díaz

Mann es consciente de que a los actores les puede chocar esta tecnología al principio. "Hay miedo y asombro: son las dos reacciones que recibo", admite. Virginia Gardner, una de las actrices de su película, también ha hablado para 'Wired': "Creo que es la mejor manera de poder, como actor, conservar tu interpretación en otro idioma", dice. "Si confías en tu director y confías en que este proceso solo va a mejorar una película, entonces realmente no le veo ningún inconveniente".

Mann ha tomado la tecnología de Theobalt y la está empezando a comercializar a través de su compañía Flawless. Según afirma el director ya se ha puesto en contacto con varios estudios para crear las versiones en otros idiomas de varias películas.

Aunque ya hemos visto tecnologías parecidas a esta, todavía no habían sido capaces de llegar a ser del todo creíbles. Es cuestión de tiempo, y no mucho, que sea imposible distinguir los vídeos manipulados de los reales. En muy pocos años no solo será posible transformar fácilmente los vídeos procesándolos con herramientas como esta, sino que seremos incluso capaces de hacerlo a tiempo real

Nvidia presentó el octubre pasado una nueva tecnología basada en inteligencia artificial que reduce el ancho de banda necesario para hacer una videollamada a un décimo de lo que se usa en la actualidad. Además, esta red neuronal es capaz de modificar vídeos mientras se está efectuando la llamada sin pérdida de calidad en la imagen ni problemas en la conexión. Esta herramienta permite corregir la posición de la cabeza para que siempre se muestre de frente a la cámara o incluso mostrarnos como un avatar que mueve la boca y gesticula igual que lo estamos haciendo nosotros.

Nvidia habla de un renacimiento de la videollamada, y seguramente tenga razón. No queda mucho para que nuestras videollamadas no se interrumpan, se vean siempre con una luz estupenda y además podamos hacerlas en el idioma que queramos gracias al avance en las herramientas de traducción en tiempo real. En pocos años los zooms y los skypes de ahora mismo nos parecerán experiencias del siglo pasado. El cine, por lo que estamos viendo, lleva el mismo camino.