Facebook a fait une IA qui transforme de manière convaincante un style de musique en un autre

Les scientifiques de Facebook AI Research (FAIR) ont dévoilé hier un réseau de neurones capable de traduire la musique d'un style, d'un genre et d'un ensemble d'instruments à un autre. Bientôt, vous ne devrez pas souffler votre propre corne; vous pouvez juste siffler une IA et cela transformera votre chanson en une symphonie ou un coup de danse de vos rêves.

L'IA prend une entrée, comme un orchestre symphonique jouant du Bach, et le traduit en quelque chose d'autre, comme le même chanson jouée sur un piano dans le style de Beethoven, par exemple.

FAIR devient la première équipe de recherche en IA à créer une méthode d'apprentissage non supervisée pour recréer de la musique haute fidélité avec un réseau de neurones.

livre blanc :

Nos résultats présentent des capacités qui, autant que nous le sachions, sont inconnues. Demandé de convertir un instrument de musique à un autre, notre réseau est à la hauteur ou légèrement pire que les musiciens professionnels. Plusieurs fois, les gens ont du mal à dire quel est le fichier audio original et quelle est la sortie de la conversion qui imite un instrument complètement différent.

L'incroyable niveau de fidélité est obtenu en enseignant à un réseau de neurones comment auto-encoder l'audio. En ce qui concerne l'IA, c'est juste faire un tas de bruit comme un tas de bruit différent – mais ne l'appelez pas transfert de style. L'équipe dit:

Nous nous distancions du transfert de style et n'essayons pas d'employer de telles méthodes puisque nous croyons qu'une mélodie jouée par un piano n'est pas similaire sauf pour les différences de texture audio à la même mélodie chantée par un refrain. Le mappage doit être effectué à un niveau supérieur et les modifications ne sont pas de simples changements locaux.

L'approche de FAIR implique une méthode complexe de codage automatique qui permet au réseau de traiter l'audio à partir d'entrées sur lesquelles il n'a jamais été formé. Plutôt que d'essayer de faire correspondre la hauteur ou de mémoriser des notes, la méthode d'apprentissage non supervisée utilise une interprétation sémantique de haut niveau – on pourrait dire qu'elle joue à l'oreille.

Ceci est un autre exemple de l'histoire du IA quelques années. D'autres exemples d'IA musicale que nous avons vu créer du bruit, dont la plupart ressemble plus à un son abstrait qui pourrait raisonnablement être interprété comme de la musique, ne sont même pas proches. Celui-ci, nous dirions-nous, est le premier qui pourrait être confondu avec de vrais humains jouant de vrais instruments.