Hollywood es famoso por el exceso de celebridades, pero Tinseltown controla estrictamente un capricho escandaloso: las malas palabras.
El director Scott Mann se encontró con estas limitaciones después de rodar el thriller. Caer. El gigante cinematográfico Lionsgate, mejor conocido por John mecha, Sierray Juegos del Hambre franquicias: quería estrenar la película en Estados Unidos. Pero el estudio tuvo grandes problemas. Treinta y seis de ellos, para ser precisos.
“Dijeron que tenía demasiadas mierdas”, le dice Mann a TNW en una videollamada desde Los Ángeles.
Todas esas bombas f estaban empujando Caer hacia una calificación R, lo que reduciría drásticamente la audiencia potencial. Para asegurar el PG-13 necesitaba ampliar el alcance, esas blasfemias tenían que desaparecer.
Es más fácil decirlo que hacerlo. Las nuevas tomas costarían una bomba y la magia de la postproducción no podría borrar las malas palabras. Afortunadamente, Mann tenía otro as bajo la manga. En silencio, el cineasta británico había estado construyendo una startup llamada Impecable – que desarrolla herramientas de edición de video con IA. Caer proporcionó una nueva prueba de campo: cambiar las bombas F por epítetos más amables.
Mann pidió al elenco que grabara una palabrería más limpia. Una vez que el audio estuvo listo, el sistema Flawless se puso a trabajar. El software primero convirtió los rostros de los actores. en modelos 3D. Redes neuronales Luego analizó y reconstruyó las actuaciones. Las expresiones faciales y los movimientos de los labios se sincronizaron con el nuevo diálogo.
El experimento resultó exitoso. Las 36 bombas F fueron reemplazadas sin dejar rastro. Bueno, casi todos. “Al final hice una cogida”, dice Mann. «Aparentemente, me permiten una cogida».
Satisfecho por su moderación, la junta de clasificación dio Caer el codiciado PG-13. La película se convirtió en un éxito inesperado, recaudando un reportado 21 millones de dólares frente a un presupuesto de sólo 3 millones de dólares. Actualmente se está rodando una secuela en Tailandia.
Animado por su éxito, Mann comenzó a comercializar el software. La última versión es DeepEditor, un AI herramienta que refina el diálogo y las actuaciones.
El sistema de estudio
DeepEditor puede recortar líneas, insertar pausas o volver a cronometrar la entrega. Incluso puede copiar y pegar interpretaciones de una toma a otra. Todas las salidas ofrecen resolución 4K de nivel Hollywood, profundidad de color de 16 bits y espacios de color ACES.
Las solicitudes de acceso temprano a la herramienta ya están abiertas. El lanzamiento completo del producto está previsto para el primer semestre de este año.
«El lugar donde la gente dispara ya está cambiando», dice Mann. «Y a medida que se extienda, creo que transformará completamente la forma en que hacemos películas».
Tampoco es la única herramienta que Mann quiere transformar las películas. Hace aproximadamente una década, comenzó a desarrollar otro sistema de inteligencia artificial para la realización cinematográfica. Al igual que DeepEditor, nació en un set de Hollywood.
la gran oportunidad
Después de progresar en la escuela de cine, la televisión británica y los cortometrajes, Mann consiguió su gran oportunidad en Hollywood en 2014. Lionsgate le había ofrecido la silla de director para el thriller policial. Robo. También estuvo a bordo un elenco de estrellas encabezado por Robert De Niro.
Mann disfrutó la experiencia. “Fue un completo privilegio. Estábamos muy unidos en la película y muy contentos con la versión en inglés. Pero luego vi una traducción extranjera de la película”.
Mann quedó “horrorizado” por el doblaje. Su guión había sido reescrito y los gestos de los actores habían mutado. Descubrió que el culpable se extendía por toda la industria.
El problema surgió del proceso de traducción establecido en Hollywood. Cuando se doblan películas, los guiones suelen reescribirse para adaptarse a los movimientos originales de la boca. Si las nuevas líneas aún no coinciden con los gestos antiguos, los actores de doblaje intentan Sincronice los dos girando su entrega en direcciones antinaturales. Los resultados van desde divertido a exasperante.
«Es realmente malo para los realizadores y los actores, porque no es la representación auténtica de su trabajo», dice Mann. «Y como experiencia, no estás inmerso si no es en sincronicidad».
Mann comenzó a investigar nuevas técnicas de doblaje. Exploró escaneos de cabeza, pero la interpretación carecía de realismo. El doblaje simplemente pasó de un valle inquietante a otro.
Al perder la fe en los efectos visuales establecidos, Mann comenzó a buscar más allá de la industria cinematográfica. Pronto tropezó con una alternativa prometedora: Retratos en vídeo profundos.
Hollywood se encuentra con GenAI
Presentado en 2018, Deep Video Portraits fue un gran avance para el naciente sector de la IA generativa. La técnica permite la reanimación fotorrealista de rostros utilizando solo un vídeo de entrada. Cada gesto facial y movimiento de los labios se puede sincronizar con el habla.
Los resultados realistas sorprendieron a los observadores, incluido Mann. «Me dejó alucinado», dice.
Mann se acercó al equipo de investigación. Acordaron colaborar en una nueva prueba técnica: hacer que el personaje de De Niro hable alemán.
La transformación, dice Mann, fue «como magia».
«Fue realmente comprender cómo un determinado actor podría decir una determinada línea… Conservas la actuación, pero puedes alterar la sincronicidad».
Mann creía que la técnica era ideal para Hollywood. Para convertir la idea en un negocio, buscó el consejo de Nick Lynes, un veterano de la industria tecnológica. Juntos, el dúo cofundó Flawless en 2018.
El primer producto de la startup fue TrueSync, una herramienta de doblaje que los estudios están aplicando a las películas de Hollywood. Entre ellos esta Veneno: El último baileun éxito de taquilla de Marvel lanzado el año pasado.
Flawless también mostró un carrete chisporroteante de avances traducidos por IA en el Festival de Cine de Cannes de este año. Aún así, no todos los clientes están dispuestos a presumir de los resultados.
Actos amenazantes
A medida que se acercaba el estreno de Fall, Lionsgate se puso ansioso. GenAI todavía era un término novedoso en aquel entonces, pero los sindicatos ya estaban preocupados por las amenazas a los artistas. El estudio temía que el doblaje visual de la película provocara una reacción violenta.
«Iban a cancelar el lanzamiento si esto no se aclaraba con el Screen Actors Guild y había muchísimos nervios», recuerda Mann. “Pero afortunadamente, habíamos planificado los flujos de trabajo de consentimiento y [rights protections] desde el principio”.
Flawless construyó el plan sobre varios pilares. Mucho datos Se obtendría de forma legítima, en lugar de eliminarse sin permiso, como hacen tantas empresas de GenAI. Cada salida tendría todos los derechos autorizados. La actuación se mantendría fiel a las actuaciones originales. Cualquier cambio significativo requeriría consentimiento adicional.
El puesta en marcha también restringió las operaciones del sistema. «A menudo llamamos a nuestros modelos 'modelos estrechos'», dice Mann. “Son grandes, pero se centran en un aspecto específico y están diseñados para un propósito específico. Son muy específicos y se basan en datos limpios que pueden usarse para ese propósito”.
Flawless presentó el plan al Sindicato de Actores (SAG). «Le dieron el visto bueno», dice Mann. En agosto de 2022, Fall se estrenó en cines en Estados Unidos. La película (y el doblaje) fueron un gran éxito.
Apenas unos meses después, GenAI irrumpió en la corriente principal. El detonante fue el lanzamiento en noviembre de ChatGPT. Una ola de generadores de imágenes, texto y audio seguido de cerca a su paso. De repente, las amenazas de la IA a los actores, artistas y derechos de autor se habían convertido en preocupaciones públicas.
Otra toma
En julio de 2023, el sindicato de actores SAG-AFTRA inició la huelga más larga de su historia. Una de las principales preocupaciones del gremio era la amenaza que representaba la IA.
Después de meses de intensas negociaciones, el sindicato llegó a un acuerdo con las principales empresas de Hollywood. bajo el acuerdocualquier alteración digital requeriría un consentimiento explícito, a menos que esté «sustancialmente tal como está escrita, interpretada y/o grabada».
Mann acogió con satisfacción los términos. No limitarían la sincronización de labios para el doblaje en idiomas extranjeros, pero impondrían estrictos requisitos de consentimiento para cualquier cambio significativo en el guión o las actuaciones.
Las nuevas reglas presentaron oportunidades comerciales para Flawless. Al apoyar las regulaciones sindicales, la startup espera ganar terreno rápidamente en Hollywood.
Un mes después de que comenzara la huelga SAG-AFTRA, Flawless presentó una nueva plataforma de gestión de derechos. El sistema, denominado Tesoro de Derechos Artísticos (ART), comparte ediciones generadas por IA con los artistas. Si el actor aprueba los cambios, puede dar su consentimiento dentro de la aplicación. Si no les gustan las nuevas versiones, pueden enviar sus propias versiones.
ART ahora se ha integrado en DeepEditor. Mann cree que la combinación de edición y protección mediante IA crea un producto único. «DeepEditor será la primera solución de IA empresarial legítima del mercado», afirma. «Todo lo demás está plagado de controversias y cuestiones de derechos».
¿Un futuro mejor para Hollywood?
Con el tiempo, Mann espera que GenAI genere infinitas oportunidades para los cineastas. Su visión es una reducción de los costos, menos trabajo pesado y menores barreras de entrada. Si todo va según lo previsto, Hollywood recuperará el apetito por la originalidad.
“La clave para que esta industria prospere es innovar y adoptar la innovación de manera responsable”, dice Mann.
Sin embargo, incluso él tiene lecciones que aprender sobre cómo trabajar de manera responsable. Durante la producción para el Caer En la secuela, Mann se ha topado con un problema familiar.
“Accidentalmente he vuelto a escribir demasiadas mierdas”, suspira. «Teníamos que tener una conversación: se nos permite una mierda, así que usémosla sabiamente».