Des chercheurs ont découvert un moyen étonnamment simple de détecter deepfake appels vidéo : demandez au suspect de se tourner sur le côté.
L’astuce a été partagée cette semaine par Métaphysique.aiune startup basée à Londres derrière les deepfakes viraux de Tom Cruise.
La société a utilisé DeepFaceLive, une application populaire pour les deepfakes vidéo, pour transformer un bénévole en diverses célébrités.
La plupart des récréations étaient impressionnantes lorsqu’elles regardaient droit devant. Mais une fois que les visages ont tourné à 90 degrés, les images se sont déformées et le charme a été rompu.
L’équipe pense que les défauts apparaissent parce que le logiciel utilise moins de points de référence pour estimer des vues latérales de visages. Cela force le algorithme incapable de deviner à quoi cela ressemblerait.
« Les packages d’alignement 2D typiques considèrent qu’une vue de profil est masquée à 50 %, ce qui entrave la reconnaissance, ainsi que la formation précise et la synthèse de visage ultérieure », a déclaré Metaphysic.ai‘s Martin Anderson a expliqué dans un article de blog.
« Fréquemment, les repères de profil générés « sauteront » vers n’importe quel groupe de pixels possible pouvant représenter un » œil manquant « ou un autre détail facial masqué dans une vue de profil. »
Ces points faibles peuvent être renforcés, mais cela demande beaucoup de travail.
YouTuber DesiFakes a prouvé que c’était possible après avoir ajouté un deepfake Jerry Seinfeld à un personnage dans Pulp Fiction. Mais cela a nécessité un post-traitement approfondi. De plus, la vue de profil de Seinfeld ressemblait étroitement à l’acteur d’origine.
Pourtant, cela est difficile à reproduire pour le grand public, car nous sommes rarement filmés ou photographiés de profil – à moins que nous ne soyons arrêtés.
Cela peut laisser des modèles deepfake avec des données de formation insuffisantes pour générer des vues latérales réalistes.
La recherche de Metaphysic.ai émerge au milieu des préoccupations croissantes concernant les appels vidéo deepfake.
En juin, plusieurs maires européens ont été dupé par un appel vidéo de Vitali Klitschko.
Quelques jours plus tard, le FBI averti que les escrocs utilisaient des deepfakes dans des entretiens pour des emplois entièrement à distance qui offrent un accès à des informations précieuses.
L’astuce secondaire n’a peut-être pas sauvé toutes les victimes. Les futurs systèmes de points de repère 3D pourraient produire des vues de profil convaincantes, tandis que des modèles CGI photoréalistes pourraient remplacer des têtes entières.
Néanmoins, l’astuce de la vue latérale ajoute une nouvelle chance de détecter les faussaires – et une autre raison de ne pas se faire arrêter.
Source link