El impresionante proyecto de mejora de la IA de Adobe hace que los vídeos borrosos parezcan HD

Los investigadores de Adobe han desarrollado un nuevo modelo de IA generativa llamado VídeoGigaGAN que puede mejorar videos borrosos hasta ocho veces su resolución original. Introducido en un artículo publicado el 18 de abrilAdobe afirma que VideoGigaGAN es superior a otros métodos de súper resolución de video (VSR), ya que puede proporcionar detalles más detallados sin introducir ninguna «rareza de IA» en el metraje.

En pocas palabras, las Redes Generativas Adversarias (GAN) son efectivas para escalar imágenes fijas a una resolución más alta, pero tienen dificultades para hacer lo mismo con videos sin introducir parpadeos y otros artefactos no deseados. Otros métodos de mejora de escala pueden evitar esto, pero los resultados no son tan nítidos ni detallados. VideoGigaGAN tiene como objetivo ofrecer lo mejor de ambos mundos: la mayor calidad de imagen/vídeo de los modelos GAN, con menos problemas de parpadeo o distorsión en los fotogramas de salida. La empresa ha proporcionado varios ejemplos aquí que muestran su trabajo en máxima resolución.

Algunos de los detalles más finos en los clips de demostración que Adobe proporcionó parecen ser completamente artificiales, como la textura de la piel y los pliegues en el siguiente ejemplo, pero los resultados parecen impresionantemente naturales. Sería difícil decir que se utilizó IA generativa para mejorar la resolución, lo que podría extender el «que es una fotoDebate para incluir vídeo.

Esto es sólo una vista previa de la investigación, por lo que no hay garantía de que Adobe ponga VideoGigaGAN a disposición de los consumidores a través del software Creative Cloud como Premiere Pro. La compañía presentó previamente un experimento de muestreo ascendente basado en difusión por separado, Resurgimiento del proyecto, durante su evento MAX en octubre de 2023, que mejora de manera similar la calidad de los GIF y secuencias de video de baja resolución. Y Adobe no está solo en este trabajo, ya que ambos microsoft y NVIDIA También han desarrollado su propia tecnología de mejora de VSR.