À l’intérieur de la startup d’IA qui peaufine Hollywood – une bombe F à la fois

Hollywood est tristement célèbre pour ses excès de célébrités, mais Tinseltown contrôle strictement une indulgence scandaleuse : les jurons.

Le réalisateur Scott Mann a rencontré ces contraintes après le tournage du thriller Automne. Le géant du cinéma Lionsgate – surtout connu pour le John Wick, Scieet Jeux de la faim franchises – voulaient sortir le film aux États-Unis. Mais le studio a eu de gros problèmes. Trente-six d’entre eux, pour être précis.

« Ils ont dit qu’il y avait trop de conneries », a déclaré Mann à TNW lors d’un appel vidéo depuis Los Angeles.

Toutes ces bombes f poussaient Automne vers une note R, ce qui réduirait considérablement l’audience potentielle. Pour sécuriser le PG-13 devait étendre la portée, ces grossièretés devaient disparaître.

Plus facile à dire qu’à faire. Les reprises coûteraient une bombe et la magie de la post-production ne pourrait pas effacer les gros mots. Heureusement, Mann avait un autre tour dans son sac. Discrètement, le cinéaste britannique avait créé une startup appelée Impeccable – qui développe des outils de montage vidéo IA. Automne a fourni un nouveau test sur le terrain : échanger les bombes F contre des épithètes plus douces.

Mann a demandé aux acteurs d’enregistrer un verbiage plus propre. Une fois l’audio prêt, le système Flawless s’est mis au travail. Le logiciel a d’abord converti les visages des acteurs en modèles 3D. Réseaux de neurones puis analysé et reconstitué les performances. Les expressions faciales et les mouvements des lèvres ont été synchronisés avec le nouveau dialogue.

L’expérience s’est avérée réussie. Les 36 bombes F ont été remplacées sans laisser de trace. Enfin, presque tous. «J’ai fini par en faire un, dit Mann. « J’ai droit à une baise, apparemment. »

Satisfait de sa retenue, le comité de notation a donné Automne le très convoité PG-13. Le film est devenu un succès dormant, rapportant un rapport 21 millions de dollars sur un budget de seulement 3 millions de dollars. Une suite est actuellement en tournage en Thaïlande.

Fort de son succès, Mann commença à commercialiser le logiciel. La dernière itération est DeepEditor, un IA outil qui affine le dialogue et les performances.

Le système des studios

DeepEditor peut couper des lignes, insérer des pauses ou resynchroniser la livraison. Il peut même copier et coller des performances d’un plan à un autre. Toutes les sorties offrent une résolution 4K de qualité hollywoodienne, une profondeur de couleur de 16 bits et des espaces colorimétriques ACES.

Les applications d’accès anticipé à l’outil sont désormais ouvertes. Une sortie complète du produit est prévue pour le premier semestre de cette année.

«Cela modifie déjà l’endroit où les gens tirent», explique Mann. « Et à mesure que cela s’étend, je pense que cela va complètement transformer la façon dont nous faisons des films. »

Ce n’est pas non plus le seul outil que Mann souhaite transformer pour les films. Il y a une dizaine d’années, il a commencé à développer un autre système d’IA pour le cinéma. Comme DeepEditor, il a commencé sa vie sur un plateau hollywoodien.

La grande pause

Après avoir progressé dans une école de cinéma, à la télévision britannique et dans des courts métrages, Mann a fait sa grande pause à Hollywood en 2014. Lionsgate lui avait offert le poste de réalisateur pour le thriller policier. Cambriolage. Un casting de stars dirigé par Robert De Niro était également de la partie.

Mann a apprécié l’expérience. «C’était un véritable privilège. Nous étions très proches du film et très satisfaits de la version anglaise. Mais ensuite j’ai vu une traduction étrangère du film.

Mann a été « horrifié » par le doublage. Son scénario avait été réécrit et la gestuelle des acteurs avait muté. Le coupable, a-t-il découvert, est omniprésent dans l’industrie.

Le problème provenait du processus de traduction établi à Hollywood. Lorsque les films sont doublés, les scripts sont généralement réécrits pour s’adapter aux mouvements de bouche originaux. Si les nouvelles répliques ne correspondent toujours pas aux anciens gestes, les doubleurs tentent de synchroniser les deux en tordant leur livraison dans des directions non naturelles. Les résultats vont de amusant à exaspérant.

« C’est vraiment mauvais pour les cinéastes et les acteurs, car ce n’est pas une représentation authentique de leur travail », dit Mann. « Et en tant qu’expérience, vous n’êtes pas immergé si ce n’est pas en synchronicité. »

Mann a commencé à étudier de nouvelles techniques de doublage. Il a exploré les scanners de tête, mais le rendu manquait de réalisme. Le doublage se déplaçait simplement d’une étrange vallée à une autre.

Perdant confiance dans les effets visuels établis, Mann a commencé à chercher au-delà de l’industrie cinématographique. Il est rapidement tombé sur une alternative prometteuse : Portraits vidéo approfondis.

Hollywood rencontre GenAI

Dévoilé en 2018, Deep Video Portraits a constitué une avancée majeure pour le secteur naissant de l’IA générative. La technique permet une réanimation photo-réaliste des visages en utilisant simplement une vidéo d’entrée. Chaque geste du visage et mouvement des lèvres peut alors être synchronisé avec la parole.

Les résultats réalistes ont stupéfié les observateurs, y compris Mann. «Cela m’a époustouflé», dit-il.

Mann a contacté l’équipe de recherche. Ils ont convenu de collaborer sur un nouveau test technique : faire parler allemand au personnage de De Niro.

La transformation, dit Mann, était « comme par magie ».

« Il s’agissait vraiment de comprendre comment un certain acteur pouvait dire une certaine réplique… Vous conservez la performance, mais vous pouvez modifier la synchronicité. »

Mann pensait que cette technique était idéale pour Hollywood. Pour transformer l’idée en entreprise, il a demandé conseil à Nick Lynes, un vétéran de l’industrie technologique. Ensemble, le duo a cofondé Flawless en 2018.

Le premier produit de la startup était TrueSync, un outil de doublage que les studios appliquent aux films hollywoodiens. Parmi eux se trouve Venom : La dernière danseun blockbuster Marvel sorti l’année dernière.

Flawless a également présenté un bobine grésillante de bandes-annonces traduites par l’IA au Festival de Cannes de cette année. Pourtant, tous les clients ne sont pas prêts à se vanter des résultats.

Actes de menace

À l’approche de la première de Fall, Lionsgate est devenu anxieux. GenAI était encore un terme nouveau à l’époque, mais les syndicats s’inquiétaient déjà des menaces qui pesaient sur les artistes interprètes ou exécutants. Le studio craignait que le doublage visuel du film ne déclenche une réaction violente.

« Ils allaient retirer la sortie si cela n’était pas réglé avec la Screen Actors Guild et qu’il y avait une méga nervosité », se souvient Mann. « Mais heureusement, nous avions prévu les workflows de consentement et [rights protections] dès le début. »

Flawless a construit le plan sur plusieurs piliers. Tout le données proviendrait de sources légitimes – plutôt que récupérées sans autorisation comme le font tant d’entreprises GenAI. Chaque sortie serait entièrement libérée des droits. Le jeu des acteurs resterait fidèle aux performances originales. Tout changement important nécessiterait un consentement supplémentaire.

Le démarrer a également restreint les opérations du système. « Nous appelons souvent nos modèles « modèles étroits » », explique Mann. « Ils sont grands, mais ils sont concentrés sur un aspect spécifique et organisés à cet effet. Ils sont très ciblés et basés sur des données propres qui peuvent être utilisées à cette fin.

Flawless a présenté le plan à la Screen Actors Guild (SAG). «Ils ont donné leur feu vert», explique Mann. En août 2022, Fall est sorti en salles aux États-Unis. Le film – et le doublage – ont été de grands succès.

Quelques mois plus tard, GenAI a explosé dans le grand public. Le déclencheur a été le lancement en novembre de ChatGPT. Une vague de générateurs d’images, de textes et d’audio suivi de près dans son sillage. Soudainement, les menaces que l’IA faisait peser sur les acteurs, les artistes et les droits d’auteur sont devenues une préoccupation publique.

Une autre prise

En juillet 2023, le syndicat des acteurs SAG-AFTRA a entamé la plus longue grève de son histoire. L’une des principales préoccupations de la guilde était la menace posée par l’IA.

Après des mois d’intenses négociations, le syndicat est parvenu à un accord avec les plus grandes entreprises d’Hollywood. Sous le accordtoute modification numérique nécessiterait un consentement explicite, à moins qu’elle ne soit « essentiellement telle que scénarisée, exécutée et/ou enregistrée ».

Mann a accueilli favorablement les conditions. Ils ne limiteraient pas la synchronisation labiale pour le doublage en langue étrangère, mais imposeraient des exigences strictes en matière de consentement pour toute modification significative du scénario ou des performances.

Les nouvelles règles ont présenté des opportunités commerciales pour Flawless. En soutenant les réglementations syndicales, la startup espère gagner rapidement du terrain à Hollywood.

Un mois après le début de la grève SAG-AFTRA, Flawless a dévoilé une nouvelle plateforme de gestion des droits. Nommé Artistic Rights Treasury (ART), le système partage les modifications générées par l’IA avec les artistes. Si l’acteur approuve les modifications, il peut consentir dans l’application. S’ils n’aiment pas les nouvelles versions, ils peuvent soumettre leurs propres versions.

ART a maintenant été intégré à DeepEditor. Mann estime que la combinaison de l’édition et des sauvegardes de l’IA crée un produit unique. « DeepEditor sera la première solution d’IA d’entreprise légitime sur le marché », déclare-t-il. « Tout le reste est mêlé de controverses et de questions de droits. »

Un avenir meilleur pour Hollywood ?

Au fil du temps, Mann s’attend à ce que GenAI ouvre des opportunités infinies aux cinéastes. Il envisage une diminution des coûts, moins de corvées et des barrières à l’entrée plus faibles. Si tout se passe comme prévu, Hollywood retrouvera son appétit pour l’originalité.

« La clé de la prospérité de cette industrie est d’innover et d’adopter l’innovation de manière responsable », déclare Mann.

Pourtant, même lui a des leçons à apprendre sur le travail responsable. Pendant la production pour le Automne suite, Mann a rencontré un problème familier.

« J’ai accidentellement encore écrit beaucoup trop de f*cks », soupire-t-il. « Nous devions avoir une conversation : nous avons droit à un f*k alors utilisons-le à bon escient. »