Deepfakes Jay-Z rappe le meme copypasta de Navy SEAL sur de la musique jazz en direct

Mon rédacteur en chef m'a mis au défi de sortir un tas de sujets aléatoires d'un chapeau et d'écrire une histoire technique convaincante à leur sujet. Voici ce que j'ai obtenu: Jay-Z, les réseaux de neurones, les US Navy SEALs et la musique jazz.

Heureusement pour moi, je suis tombé sur cette vidéo mettant en vedette un groupe de musiciens de jazz talentueux interprétant une version de Jay- générée par Deepfake AI- Z frappant le tristement célèbre mème copypasta de Navy SEAL . Natch.

Adam Neely, un YouTuber de musique populaire avec plus d'un million d'abonnés, a publié la vidéo dans le cadre d'un CuriosityStream documentaire. Il présente une quête très humaine pour interpréter un rap acapella généré par ordinateur.

Jay-Z est une cible fantastique pour une IA Deepfakes car, contrairement à la plupart des rappeurs, il a sorti beaucoup de morceaux officiels d'acapella de qualité studio. Cela permet aux développeurs d'IA de former un réseau de neurones sur sa voix et son style de rap sans se soucier de supprimer de la musique ou d'extraire des voix.

En théorie, cela devrait signifier que nous pouvons «transférer le style» du flux de Jay, mais ce n'est pas tout à fait comme ça que les choses fonctionnent. . Comme l'explique Neely dans la vidéo, il existe une «vallée étrange» pour la musique, tout comme pour l'imagerie visuelle. La façon dont cela fonctionne pour la musique est qu'à un moment donné, les voix générées par ordinateur commencent à devenir plutôt mignonnes. Pensez à «Still Alive» de GLaDOS:

Mais plus vous vous rapprochez de composer une «vraie» voix humaine, plus cela commence à devenir étrange. Ce n'est pas tout à fait visible lorsque vous regardez un Deepfake où le président Barrack Obama prononce un discours mais lorsque vous vous penchez vraiment sur la façon dont les choses sonnent – comme par exemple lorsque vous essayez de faire de la musique nouvelle – le des failles dans le système commencent à apparaître.

[ Lire: Cette effrayante IA Deepfake imite des dizaines de célébrités et de politiciens ]

Pour commencer, Neely a dû faire appel à des musiciens de jazz professionnels pour l'aider lui faire des têtes ou des queues des pistes vocales faux-Z. Dans la vidéo, il dit:

Cela n’avait aucun des aspects musicaux que nous trouverions normalement dans la musique hip-hop, à savoir un pouls régulier et tout type de rimes ou de schémas rythmiques. Mais il y a là quelque chose de musical ou de rythmique. Du moins c'est comme ça que je l'entends.

Une partie du problème est que le faux Jay-Z utilise un copypasta comme paroles au lieu de quelque chose d'écrit sur un rythme. Cela signifie qu'il ne suit aucun schéma de parole normal et qu'il est incroyablement difficile de le transposer en musique. En d'autres termes: il est peu probable que la génération actuelle de Deepfakes produise un nouvel album Tupac ou Biggie Smalls de sitôt. Ils peuvent copier la voix assez bien pour la parodie, mais la musicalité n’en est pas encore tout à fait là.

Neely n’allait pas être déraillé par le fait que les robots nuisent au rap. Lorsqu'il s'est tourné vers ses amis dans le secteur de la musique jazz, ils ont pu transformer les énoncés de Deepfake, qui ressemblent à un chant scat, en une chanson de jazz aussi convaincante avec un Jay-Z généré par l'IA que cela est probablement humainement possible.

Découvrez la vidéo complète ci-dessus pour plus de détails.

Publié le 4 août 2020 – 18:08 UTC