Cette IA utilise la vue pour isoler le son d'instruments spécifiques

Si vous avez déjà appris un instrument, il vous est probablement familier de tendre la main pour entendre ce que votre musicien préféré joue sous le vacarme des autres joueurs.

Heureusement pour tous les Hendrixes en herbe, Rachmaninoffs et Harold Les évêques (du feuilleton australien Voisins) là-bas, le MIT a une solution. Le Laboratoire d'informatique et d'intelligence artificielle (CSAIL) de l'université a créé un système d'IA capable d'analyser une performance musicale et d'isoler les sons d'instruments spécifiques

Check it in action ici:

Nommé PixelPlayer, il utilise ce que les chercheurs appellent un apprentissage en profondeur «auto-supervisé». En d'autres termes, cela ne nécessite aucune interaction humaine directe et, bizarrement, l'équipe impliquée ne sait pas vraiment ce que fait l'IA. Yay pour la singularité!

Ce qui différencie PixelPlayer des autres tentatives d'isoler le son de cette manière, c'est son utilisation de la vision. Il localise les pixels littéraux dans la vidéo qui produisent du son, d'où son nom. Cela lui permet de "voir" d'où vient le son, le laissant séparer les sons avec précision.

Le système a été formé sur plus de 60 heures de vidéo et peut actuellement identifier plus de 20 instruments communs. Les chercheurs pensent que si on leur donne la possibilité d'analyser plus de données, ce nombre peut augmenter. Cependant, ils ont soulevé des doutes quant à sa capacité à séparer des instruments sonores similaires, comme un violon ou un alto par exemple. "Nous avons été surpris de pouvoir localiser spatialement les instruments au niveau du pixel", a déclaré Hang Zhao, responsable auteur du papier et un doctorat à CSAIL. "Être capable de faire cela ouvre beaucoup de possibilités, comme pouvoir éditer l'audio d'instruments individuels en un seul clic sur la vidéo."

Avec la technologie à ses débuts, il a tout un potentiel. Qu'il s'agisse de modifier le mixage, les niveaux ou la qualité des anciens enregistrements vidéo, d'améliorer la façon dont les robots comprennent le son ou de simplement laisser les gens s'améliorer avec leur instrument, je suis impatient de voir où PixelPlayer va.