Cette IA vous permet de déplacer un portrait comme Animoji

Une équipe de chercheurs a récemment mis au point une IA capable de transférer vos expressions faciales, mouvements oculaires et poses en temps réel sur un portrait, donnant l'impression que la personne dans l'image parle et bouge réellement. Il est dérangeant convaincant, et s'améliore presque constamment.

L'IA, appelée HeadOn a été développée par les mêmes personnes qui vous ont amené l'année dernière Face2Face . En fait, HeadOn est un peu une mise à jour de celui-là.

Le livre blanc du projet l'appelle la "première approche de reconstitution source-à-cible en temps réel pour des vidéos complètes de portraits humains permettant le transfert du torse et du mouvement de la tête »

Selon les chercheurs, il n'y a rien d'autre de semblable. Il combine plusieurs technologies – dont la plupart ont été mises au point ou perfectionnées par cette équipe de recherche.

Afin de résoudre le problème du regard, l'équipe a développé FaceVR :

Le travail original effectué sur Face2Face fournissait le cadre pour une grande partie des capacités de HeadOn, mais ce qui a changé est le transfert du torse et du mouvement de la tête pour accompagner la traduction de l'expression faciale de l'original. voyez-le en action, vous pouvez presque instantanément imaginer quelqu'un faire quelque chose d'affreux avec ça. Si les hackers peuvent faire des ravages dans la vie d'une personne avec un accès à son compte Twitter, imaginez ce qu'un voleur d'identité pourrait faire avec quelque chose qui lui donne la possibilité de s'afficher comme vous dans un appel vidéo. Mais n'importe quelle technologie peut être pervertie pour le mal, et tant que les développeurs rendent la sortie détectable d'une certaine manière, il sera au moins possible de se protéger contre l'abus de l'IA. Et, il convient de mentionner, les applications positives pour cette IA sont nombreuses. Comme les chercheurs l'ont dit:

Bien que les résultats actuels de reconstitution faciale soient impressionnants, ils sont encore fondamentalement limités dans le type de manipulations qu'ils permettent. Par exemple, ces approches ne sont capables de modifier que les expressions faciales, alors que la pose rigide de la tête, y compris son orientation, reste inchangée et ne suit pas la vidéo d'entrée. Ainsi, seuls des changements subtils, tels que l'ouverture de la bouche ou l'ajout de rides sur le front sont réalisés.

Si vous avez déjà discuté avec quelqu'un utilisant Animoji ou Bitmoji, vous avez probablement remarqué qu'il était anormal de voir quelque chose de familier. au moins pour ceux d'entre nous qui ont grandi en regardant des dessins animés – parler sans bouger la tête et le cou avec certaines expressions faciales. Quand quelqu'un fronce les sourcils, il baisse habituellement la tête et affale ses épaules, par exemple. Ces types de mouvements subtils font partie de notre langage corporel, sans eux une tête parlante semble étrange. HeadOn corrige ce problème discordant et produit un résultat beaucoup plus naturel en rassemblant plusieurs réseaux neuronaux avancés.

Ce n'est certainement pas encore parfait; aux résolutions HD, il y a suffisamment d'artefacts pour tous, sauf pour les spectateurs les moins exigeants, pour réaliser que l'image a été manipulée. Et, selon les chercheurs, l'IA ne sait pas très bien comment traiter les cheveux longs sans produire de sortie glitchy. Mais ce genre de problèmes mineurs n'est pas susceptible de retarder le développement futur.

D'après ce que nous avons vu, comme ce projet s'est construit au fil des années, AI comme HeadOn devrait atteindre un point où il pourrait tromper les humains. 99% du temps, plus tôt que tard.

Lire la suite:

Les actionnaires d'Alphabet Inc. rejettent les propositions de diversité soutenues par les employés