Microsoft a développé une IA qui crée des caricatures incroyables

Kaidi Cao, étudiant diplômé de Stanford, se joindra à ses collègues chercheurs en intelligence artificielle, Jing Liao, de la City University de Hong Kong, et Lu Yuan, de Microsoft au de SIGGRAPH Asia à Tokyo pour présenter leur incroyable caricature. réseau de neurones de dessin.

Ce n’est pas mal, étant donné que Cao n’était qu’un stagiaire du groupe Visual Computing du Microsoft Research Lab de Pékin lorsqu’il a travaillé sur le projet.

L'IA, en réalité une paire de réseaux accusatoires génératifs (GAN), s'appelle CariGAN. Le premier de ses réseaux de neurones CariGeoGAN, détermine la géométrie d'un visage sur une photographie et le mappe sur un modèle caricatural. CariStyGAN, l'autre moitié des CariGAN, effectue le "transfert de style" ou applique le look artistique à la carte de géométrie.

Afin de permettre aux CariGAN de transformer une photo relativement ennuyeuse en un délicieux régal pour les yeux ( Je parle avec vous), le système a été formé sur des milliers d’images dessinées à la main.

Pour déterminer l’efficacité de la machine, les chercheurs ont mené deux études. La première était de s’assurer que les caricatures d’Amnesty International conservaient l’identité du sujet du portrait. L’affirmation est qu’une bonne caricature doit capturer l’essence d’une personne sous une forme exagérée. Selon les chercheurs les répondants ont indiqué que les caricatures de CariGANs se comparaient favorablement aux artistes dessinés à la main. "

Les chercheurs ont mené la deuxième étude pour déterminer si l'efficacité globale du" dessin "par rapport à celle dessinée par l'homme pièces. Cela aussi semble indiquer le succès:

Notez que notre classement est meilleur que celui dessiné à la main 22,95% des fois, ce qui signifie que nos résultats peuvent parfois tromper les utilisateurs en leur faisant croire que c’est la vraie caricature dessinée à la main. Bien qu’il soit encore loin d’un taux de duper idéal (c’est-à-dire 50%), notre travail a fait un grand pas en avant des caricatures dessinées par des artistes, par rapport à d’autres méthodes.

L'intelligence artificielle CariGAN peut également analyser des images à partir d'une vidéo et en créer des caricatures. Fondamentalement, il peut générer un dessin à partir d'un seul cadre cohérent avec ceux générés à partir d'autres cadres. Les images sources de l'image suivante sont extraites des images individuelles d'une vidéo du domaine public du président parlant

Cela pourrait s'avérer extrêmement utile pour les animateurs. C'est aussi une façon hilarante de regarder le président, et la preuve que «l'art» créé avec un IA peut susciter quelque chose dans l'esprit humain.

L'IA des CariGAN peut également inverser la tendance. Créez une caricature et déterminez à quoi ressemble réellement la personne dans le dessin animé. Les chercheurs disent: «Nous pensons que cela pourrait être utile pour la reconnaissance faciale dans les caricatures.»

Cela semble un peu terrifiant. Mais si cela signifie que je peux utiliser à l'avenir un dessin à l'encre de moi avec une tête géante et un sombrero, comptez-moi.