La semana pasada, La empresa matriz de Facebook, Meta compartió un nuevo modelo de IA que convierte las indicaciones de texto en videos cortos y sin sonido. Pero resulta que Google ha estado trabajando en el mismo problema y recientemente lanzó dos nuevos sistemas de texto a video con IA, uno de los cuales se enfoca en la calidad de la imagen mientras que el otro prioriza la creación de clips más largos.
Primero echemos un vistazo al modelo de alta calidad: Imagen Video. Como sugiere el nombre, este modelo se basa en técnicas perfeccionadas en el modelo anterior de Google. sistema de texto a imagen Imagen, pero incorpora un montón de nuevos componentes a la canalización para convertir cuadros estáticos en movimiento fluido.
Los videos generados por IA son increíbles, extraños e inquietantes.
Al igual que con el modelo Make-A-Video de Meta, los resultados finales son a la vez increíbles, extraños e inquietantes. Las muestras más convincentes son aquellos videos que replican animación, como brotes verdes que forman las palabras “Imagen” o la figurita de madera surfeando en el espacio. Esto se debe a que no necesariamente esperamos que ese material de archivo siga reglas estrictas de composición temporal y espacial. Pueden ser un poco más flexibles, lo que se adapta a las debilidades del modelo.
los el menos Los clips convincentes son aquellos que reproducen el movimiento de personas y animales reales, como la figura que palea nieve o el gato que salta en un sofá. Aquí, cuando tenemos una idea tan clara de cómo deben moverse los cuerpos y las extremidades, la deformación y el deterioro del metraje es más evidente. De todos modos, sin embargo, estos videos son extremadamente impresionantes, con cada clip generado utilizando nada más que el mensaje de texto en cada subtítulo a continuación.
Míralo tú mismo:
Los investigadores de Google señalan que el modelo Imagen Video produce 16 fotogramas de metraje de 3 fps con una resolución de 24×48. Este contenido de baja resolución luego se ejecuta a través de varios modelos de súper resolución de IA, que aumentan esta salida a 128 cuadros de metraje de 24 fps a una resolución de 1280×768. Eso es de mayor calidad que el modelo Make-A-Video de Meta, que está aumentado a 768×768.
Como discutimos con el debut del sistema de Meta, la próxima llegada de la IA de texto a video trae consigo todo tipo de desafíos; desde el sesgo racial y de género incrustado en estos sistemas (que se entrenan con material extraído de Internet) hasta su potencial de uso indebido (es decir, la creación de pornografía, propaganda e información errónea sin consentimiento).
Google dice que «quedan varios desafíos éticos y de seguridad importantes»
Los investigadores de Google eluden brevemente estos asuntos en su trabajo de investigación. “Los modelos generativos de video se pueden usar para impactar positivamente en la sociedad, por ejemplo, amplificando y aumentando la creatividad humana”, escriben. “Sin embargo, estos modelos generativos también pueden ser mal utilizados, por ejemplo, para generar contenido falso, odioso, explícito o dañino”. El equipo señala que experimentaron con filtros para capturar indicaciones NSFW y generar videos, pero no ofrecen comentarios sobre su éxito y concluyen, con lo que se lee como una subestimación no intencional, que «quedan varios desafíos importantes de seguridad y éticos». Bueno, bastante.
Esto no es sorprendente. Imagen Video es un proyecto de investigación, y Google está mitigando sus posibles daños a la sociedad simplemente no difundiéndolo al público. (La IA Make-A-Video de Meta está restringida de manera similar). Pero, al igual que con los sistemas de texto a imagen, estos modelos pronto serán replicados e imitados por investigadores externos antes de ser difundidos como modelos de código abierto. Cuando que suceda, habrá nuevos desafíos éticos y de seguridad para la web en general, sin duda.
Además de Imagen Video, un equipo separado de investigadores de Google también publicó detalles sobre otro modelo de texto a video, este llamado Phenaki. En comparación con Imagen Video, el enfoque de Phenaki es crear videos más largos que sigan las instrucciones de un mensaje detallado.
Entonces, con un aviso como este:
Mucho tráfico en la ciudad futurista. Una nave extraterrestre llega a la ciudad futurista. La cámara se mete dentro de la nave extraterrestre. La cámara avanza hasta mostrar a un astronauta en la habitación azul. El astronauta está escribiendo en el teclado. La cámara se aleja del astronauta. El astronauta deja el teclado y camina hacia la izquierda. El astronauta deja el teclado y se aleja. La cámara se mueve más allá del astronauta y mira la pantalla. La pantalla detrás del astronauta muestra peces nadando en el mar. Crash zoom en el pez azul. Seguimos al pez azul mientras nada en el océano oscuro. La cámara apunta hacia el cielo a través del agua. El océano y la costa de una ciudad futurista. Crash zoom hacia un rascacielos futurista. La cámara se acerca a una de las muchas ventanas. Estamos en una oficina con escritorios vacíos. Un león corre encima de los escritorios de la oficina. La cámara se acerca a la cara del león, dentro de la oficina. Aléjate del león que viste un traje oscuro en una oficina. El león que lleva mira a la cámara y sonríe. La cámara se aleja lentamente hacia el exterior del rascacielos. Timelapse del atardecer en la ciudad moderna.
Phenaki genera un video como este:
Obviamente, la coherencia y resolución del video es de menor calidad que la de Imagen Video, pero la serie sostenida de escenas y escenarios es impresionante. (Puedes ver más ejemplos en la página de inicio del proyecto aquí.)
en un papel Al describir el modelo, los investigadores dicen que su método puede generar videos de una duración «arbitraria», es decir, sin límite. Dicen que las versiones futuras del modelo «serán parte de un conjunto de herramientas cada vez más amplio para artistas y no artistas por igual, proporcionando nuevas y emocionantes formas de expresar la creatividad». Pero también tenga en cuenta que, “si bien la calidad de los videos generados por Phenaki aún no es indistinguible de los videos reales, llegar a esa barra para un conjunto específico de muestras está dentro del ámbito de la posibilidad, incluso hoy. Esto puede ser particularmente dañino si se va a usar Phenaki para generar videos de alguien sin su consentimiento y conocimiento”.