Esta IA genera música a partir de actuaciones de piano silenciosas


Los científicos han desarrollado una IA que puede generar música a partir de interpretaciones de piano silenciosas, simplemente observando los movimientos de las manos del jugador.

El sistema, llamado Audeo, analiza videos de arriba hacia abajo de alguien haciendo cosquillas en los marfiles para predecir qué teclas se presionan en cada cuadro. Luego produce una transcripción de la música, que un sintetizador traduce en sonido.

Los investigadores entrenaron y probaron la IA en imágenes de pianista Paul Barton tocando melodías de compositores famosos.

Luego evaluaron la precisión de las composiciones de Audeo al reproducirlas en aplicaciones de reconocimiento de música, como Shazam y SoundHound.

Las aplicaciones identificaron la melodía el 86% de las veces, solo un 7% menos de lo que reconocieron los videos originales.

[Leer:[Read:¿Cuánto cuesta comprar, poseer y ejecutar un EV? No es tanto como crees]

El autor principal del estudio Eli Shlizerman, profesor asistente de la Universidad de Washington, dijo estaba sorprendido por la calidad de la salida de la IA:

Anteriormente se creía que era imposible crear música que suene como si se pudiera tocar en una interpretación musical. Un algoritmo necesita descubrir las señales o «características» en los fotogramas de video que están relacionados con la generación de música, y necesita «imaginar» el sonido que ocurre entre los fotogramas de video. Requiere un sistema que sea preciso e imaginativo.

Puedes juzgar sus actuaciones por ti mismo en el siguiente video:

Los investigadores también han explorado el uso de Audeo para cambiar el estilo de música. Shlizerman dijo que el sistema podría mostrar cómo suena la música producida por un piano cuando se toca con una trompeta.

Espera que la investigación permita nuevas formas para que las personas interactúen con la música:

Por ejemplo, una aplicación futura es que Audeo se puede extender a un piano virtual con una cámara que graba solo las manos de una persona. Además, al colocar una cámara encima de un piano real, Audeo podría potencialmente ayudar en nuevas formas de enseñar a los estudiantes a tocar.

Puedes leer el documento de estudio completo Aquí.

Publicado el 5 de febrero de 2021-17: 37 UTC





Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con tus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, aceptas el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad