Es posible que OpenAI esté reduciendo sus esfuerzos en el mercado de generación de video con el cierre de su aplicación Sora, pero ByteDance confirmó el jueves que su nuevo modelo de audio y video, Dreamina Seedance 2.0, ahora se está implementando en su plataforma de edición, CapCut.
ByteDance dice que el modelo permite a los creadores redactar, editar y sincronizar contenido de video y audio mediante indicaciones, imágenes o videos de referencia.
La implementación gradual comenzará con los usuarios de CapCut en Brasil, Indonesia, Malasia, México, Filipinas, Tailandia y Vietnam, y se agregarán más mercados con el tiempo.
La noticia del lanzamiento en CapCut sigue a un informe reciente que decía que el lanzamiento global del modelo se suspendería, mientras trabajaba para abordar problemas de propiedad intelectual que generaron críticas de Hollywood por supuesta infracción de derechos de autor. Eso probablemente explica el número limitado de mercados donde el modelo está actualmente disponible dentro de CapCut.
En China, el modelo está disponible para los usuarios de la aplicación Jianying de ByteDance.
El modelo de generación de vídeo funciona sin imágenes de referencia, incluso si el creador sólo utiliza unas pocas palabras para describir la escena que tiene en mente, dice ByteDance en su anuncio. CapCut también es bueno para representar texturas, movimientos e iluminación realistas en una variedad de perspectivas y ángulos visuales, que, según la compañía, podrían usarse para editar, mejorar o corregir el metraje del propio creador.
Otro caso de uso sería permitir a los creadores probar ideas potenciales basadas en conceptos o bocetos iniciales antes de filmar el vídeo real.
Además, Dreamina Seedance 2.0 se puede utilizar para una amplia gama de contenidos, incluidas recetas de cocina, tutoriales de fitness, resúmenes de negocios o productos y vídeos con contenido centrado en movimiento o acción, donde los modelos de vídeo de IA históricamente han enfrentado desafíos, explica la compañía.
En el lanzamiento, el modelo admite clips de hasta 15 segundos de duración en seis relaciones de aspecto.
En CapCut, el modelo se implementará en diferentes áreas, incluidas funciones de edición como AI Video y herramientas de generación como Video Studio. También llegará a la plataforma de generación de IA de ByteDance, Dreamina, y a su plataforma de marketing, Pippit.
Dada su capacidad para crear contenido realista, ByteDance dice que ha agregado restricciones de seguridad, por lo que el modelo no tendrá la capacidad de hacer videos a partir de imágenes o videos que contengan caras reales. CapCut también bloqueará el uso de generación no autorizada de propiedad intelectual. (Sin embargo, si las restricciones funcionaran correctamente, el modelo ya estaría disponible en los Estados Unidos. Es probable que todavía se estén realizando más ajustes).
El contenido producido por Dreamina Seedance 2.0 también incluirá una marca de agua invisible, que ayudará a identificar el contenido creado con el modelo cuando se comparta fuera de la plataforma, agregó ByteDance. Esto podría ayudar en cosas como solicitudes de eliminación de los titulares de derechos en caso de que el modelo permitiera el paso de contenido con derechos de autor.
ByteDance dice que se asociará con expertos y comunidades creativas a medida que se implemente el modelo para iterar y mejorar las capacidades del modelo.