Innovación

Audeo, la IA pianista capaz de reproducir música de vídeos silenciados

ia piano

Una IA diseñada por un equipo de la Universidad de Washington y llamada Audeo es capaz de reproducir piezas de piano de vídeos silenciados con extraordinaria eficacia. Una nueva alianza que podría revolucionar la educación musical y ser el punto de partida para nuevas apps.

La Inteligencia Artificial sigue sumando proezas también en el campo artístico y de la interpretación musical. Si algunos autores recurren a algoritmos de machine learning para componer piezas experimentales o componen sus discos a medias con software inteligente, ahora una IA es capaz de reproducir de forma digital el sonido de un piano de vídeos silenciosos.

Cruzcampo resucita a Lola Flores con tecnología deepfake y la convierte en trending topic

La tecnología ha sido denominada como Audeo y diseñada por un equipo de la Universidad de Washington. Incorpora software de IA entrenado con 172.000 frames de video aéreo del pianista Paul Barton tocando música de compositores clásicos como Mozart y Bach. El sistema observa primero qué teclas se presionan en qué orden, determinando las notas individuales y su disposición.

Pero eso no es todo ni mucho menos, ya que Audeo incluso posee la capacidad de percibir lo fuerte que se toca cada tecla y cuánto tiempo se mantiene presionada, calculando a partir de estos datos la intensidad de cada nota y el tiempo que persiste debajo del sonido de las notas tocadas posteriormente. La IA también tiene en cuenta las características acústicas distintivas de cada piano.

Audeo pasa los datos a un sintetizador digital

Con toda la información recopilada y analizada de cada pieza musical en cuestión, Audeo transforma los datos en un formato capaz de ser comprendido por un sintetizador digital que reproduce el archivo de música de forma fidedigna con respecto a la música de piano original. No suena como un tono de llamada de 8 bits, sino parecido a la pieza a la que debe su origen.

Para realizar una prueba y comprobar su eficacia, Audeo fue encargada de reproducir música de piano basada en videos silenciados de Barton tocando piezas musicales distintas de aquellas en las que se había entrenado el sistema. Cuando las aplicaciones de reconocimiento de música como SoundHound analizaron esas reproducciones, pudieron reconocer la pieza musical con una precisión de alrededor del 86 por ciento. Por el contrario, cuando las aplicaciones analizaron el audio original del piano en los mismos videos, su precisión de reconocimiento subió al 93 por ciento. Los avances en el desarrollo de esta tecnología estarán encaminados a reducir la brecha.

Techno y panales: un apicultor crea música electrónica con las frecuencias de las abejas

La finalidad de este estudio es hallar “formas novedosas de interactuar con la música”, dice Eli Shlizerman, autor principal del estudio. “Por ejemplo, una aplicación futura es que Audeo puede extenderse a un piano virtual con una cámara que graba solo las manos de una persona. Además, al colocar una cámara encima de un piano real, Audeo podría ayudar en nuevas formas de enseñar a los estudiantes cómo jugar”. Se trata de una prueba más del poder transformador y de la potencia educativa de la IA.

Puede escuchar las obras interpretadas por Audeo en el siguiente enlace.

Fuente | New Atlas

Te recomendamos

Sobre el autor

Andrea Núñez-Torrón Stock

Licenciada en Periodismo y creadora de la revista Literaturbia. Entusiasta del cine, la tecnología, el arte y la literatura.