La technologie «True Sync» de Flawless AI est une révolution pour le doublage de films

Lorsque le dernier film du réalisateur britannique Scott Mann, Fall, était sur le point de recevoir une note « R » de la part de la MPAA pour le nombre de bombes « F » larguées au cours de sa durée d’une heure et 47 minutes, il a fait ce que toute personne raisonnable serait: il a utilisé intelligence artificielle modifier numériquement les performances de l’acteur afin de changer les jurons en termes plus agréables au goût. Un coup de putain génie, si vous nous demandez.

Pour ceux qui sont curieux : environ 35 mots « F » se situait entre une cote PG-13 et une cote R. Le dilemme de Mann, alors, est devenu d’essayer de comprendre comment préserver l’intégrité de son film sans refaire ou doubler. C’est, bien sûr, plus difficile qu’il n’y paraît.

Sur un film traditionnel, il vous suffirait de mordre la balle et de faire des reprises. C’est coûteux, mais c’est mieux que de faire perdre à votre public l’immersion parce qu’il vient d’entendre une réplique livrée différemment de ce qu’il a clairement vu l’acteur dire à l’écran. Il est beaucoup plus facile de lire les lèvres en 4K.

Salutations, humanoïdes

Abonnez-vous à notre newsletter maintenant pour un récapitulatif hebdomadaire de nos histoires préférées sur l’IA dans votre boîte de réception.

Mais Fall n’est pas un film traditionnel. C’est un film d’horreur sur deux femmes qui escaladent une tour radio de 2 000 pieds. Je ne spoilerai rien, mais c’était pratiquement tourné. Cela signifie qu’ils ont construit une tour géante et ont filmé leurs acteurs au sommet.

Lorsque vous pensez à la logistique impliquée, il devient évident que les reprises ne sont pas vraiment une option. Non seulement ils seraient encore plus coûteux que d’habitude, mais le langage vulgaire était, dans de nombreux cas, improvisé par les acteurs en raison de l’émotivité de la scène.

Cela signifie que Mann a probablement obtenu les performances qu’il recherchait, une réalisation que nous pouvons supposer qu’aucun réalisateur n’effacerait volontairement pour quelque chose d’aussi trivial qu’un langage grossier. Malheureusement, les films classés R sont généralement seulement brut environ la moitié ce que leurs homologues PG-13 doivent.

Heureusement pour Mann, il se trouve être dans une position unique parmi les réalisateurs hollywoodiens. Il est co-PDG et co-fondateur de IA sans failleune entreprise technologique spécialisée dans la modification numérique de vidéos pour faire correspondre la performance d’un acteur à une piste audio doublée.

Pour Fall, Mann et l’équipe de Flawless AI ont dû enregistrer les acteurs prononçant des phrases alternatives telles que « putain » pour remplacer le langage vulgaire du film. Ensuite, ils ont exécuté à la fois le nouvel audio et la vidéo via le réseau neuronal sur mesure de l’entreprise, ou ce qu’ils appellent la technologie « True Sync ». Cela permet à l’équipe, essentiellement, de falsifier les visages des acteurs en disant les nouvelles lignes.

En ce qui concerne les résultats, avec une cote « certifié frais » sur Rotten Tomatoes, il semblerait que personne n’ait remarqué l’IA au travail en regardant le drame se dérouler sur grand écran.

Le système est non seulement rentable par rapport aux reprises, mais, selon Mann, il est également relativement facile à insérer dans la production. Il a déclaré à TNW par e-mail qu’environ 80% du flux de travail est automatisé et qu’il a été conçu pour tout gérer par la poste – il ne nécessite aucun équipement ou direction spéciale pendant la production du film. Il dit même que le « vubbing », ou le doublage vidéo, peut économiser jusqu’à 50 % des coûts en matière de reprises.

Mais Flawless AI n’a pas été fondé uniquement pour aider les cinéastes à économiser de l’argent en post-production. En fait, l’objectif principal de l’entreprise est l’accessibilité. Selon Mann, « l’accessibilité est très importante pour nous parce que nous croyons en la capacité de partager des histoires telles qu’elles étaient censées être et de préserver les performances des acteurs et la façon dont les réalisateurs ont prévu que l’histoire soit racontée ».

La société a été fondée après que Mann ait regardé l’un de ses films précédents, Heist, avec Rober Deniro, dans un format doublé traditionnel. Il a trouvé que les méthodes de doublage du statu quo étaient « limitées et cassées ».

« J’ai vu à quel point le doublage étranger traditionnel a nui au film, car l’écriture, la performance et le sens ont été perdus », a déclaré Mann à TNW. « Cela m’a amené à lire un livre blanc de l’Institut Max Planck sur les réseaux de neurones et a finalement conduit à la création de Flawless. »

À l’avenir, Mann et l’équipe de Flawless AI espèrent que leur travail permettra aux conteurs d’atteindre le public du monde entier de manière plus intime. C’est une chose de savoir ce qu’un acteur dit parce que vous entendez un son doublé dans une langue que vous comprenez, c’est une expérience totalement différente de les voir livrer la ligne avec toutes les nuances et le caractère qui lui ont été donnés dans la performance originale.

Nous levons notre chapeau à Mann et à l’équipe Flawless AI pour avoir utilisé l’IA pour de bon. L’art est pour tout le monde.