Un chatbot IA formé sur 4chan a suscité l’indignation et la fascination

Si vous êtes préoccupé par les préjugés et fanatisme des modèles d’IAvous allez adorer le dernier né des rangs : un générateur de texte formé sur le tableau /pol/ de 4chan.

Court pour « Politiquement incorrect », /pol/ est un bastion du discours de haine, des théories du complot et de l’extrémisme d’extrême droite. C’est aussi le forum le plus actif de 4chan, accumulant environ 150 000 publications quotidiennes.

Ces qualités ont séduit Yannick Kilcher, un IA whiz et YouTuber, pour utiliser /pol/ comme terrain d’essai pour les bots.

Kilcher a d’abord affiné le modèle de langage GPT-J sur plus de 134,5 millions de messages postés sur /pol/ sur trois ans et demi.

Il a ensuite intégré la structure de threads de la carte dans le système. Le résultat : une IA qui pourrait poster dans le style d’un vrai utilisateur de /pol/.

Le modèle était bon – dans un sens terrible.

Kilcher a nommé sa création monstrueuse GPT-4chan.

« Le modèle était bon – dans un sens terrible », a-t-il dit sur YouTube. « Cela résumait parfaitement le mélange d’offensant, de nihilisme, de trolling et de profonde méfiance à l’égard de toute information quelle qu’elle soit qui imprègne la plupart des publications sur / pol /.

« Il pourrait répondre au contexte et parler de manière cohérente de choses et d’événements qui se sont produits longtemps après la dernière collecte de données d’entraînement. J’étais plutôt content. »

Kilcher a ensuite évalué GPT-4chan sur le Harnais d’évaluation du modèle linguistiquequi teste les systèmes d’IA sur diverses tâches.

Il a été particulièrement impressionné par la performance dans une catégorie : la véracité.

Sur la référence, Kilcher dit que GPT-4chan était « significativement meilleur » pour générer des réponses véridiques aux questions que GPT-J et GPT-3.

Pourtant, cela peut simplement être une mise en accusation des lacunes de l’indice de référence – comme Kilcher lui-même a suggéré.

Quoi qu’il en soit, ce ne serait pas le test ultime de GPT-4chan.

Dans la nature

Kilcher ne se contentait pas de simplement imiter 4chan en privé. L’ingénieur a choisi d’aller plus loin et de laisser l’IA se déchaîner sur /pol/.

Il a converti GPT-4chan en un chatbot qui s’affiche automatiquement sur le tableau. Arborant un drapeau des Seychelles sur son profil, le bot a rapidement accumulé des milliers de messages.

Les utilisateurs de /pol/ se sont vite rendu compte que quelque chose n’allait pas. Certains soupçonnaient qu’un bot était derrière les messages, mais d’autres ont blâmé des responsables gouvernementaux infiltrés.

Les Seychelles n’étaient pas seules.

Le plus grand indice laissé par le coupable était une abondance de réponses dépourvues de texte.

Bien que les utilisateurs authentiques publient également des réponses vides, elles incluent généralement une image, ce que GPT-4chan était incapable de faire.

« Après 48 heures, il était clair pour beaucoup qu’il s’agissait d’un bot, et je l’ai désactivé », a déclaré Kilcher. « Mais voyez, ce n’est que la moitié de l’histoire, car ce que la plupart des utilisateurs n’ont pas réalisé, c’est que les Seychelles n’étaient pas seules. »

Au cours des 24 heures précédentes, l’ingénieur avait neuf autres bots fonctionnant en parallèle. Ensemble, ils avaient laissé plus de 15 000 réponses, soit plus de 10 % de tous les messages sur /pol/ ce jour-là.

Kilcher a ensuite mis à niveau le botnet et l’a exécuté pendant un autre jour. Après avoir produit plus de 30 000 messages dans 7 000 discussions, il a finalement retiré GPT-4chan

« Les gens discutent toujours de l’utilisateur, mais aussi de choses comme les conséquences de l’interaction des IA avec les gens sur le site », a déclaré Kilcher. « Et il semble aussi que le mot Seychelles soit devenu une sorte d’argot général – et cela semble être un bon héritage pour l’instant. »

Mais tout le monde ne partage pas cette vision rose.

Le contrecoup

L’expérience de Kilcher s’est avérée controversée.

Alors que l’idée d’évaluer un modèle basé sur 4chan a gagné du terrain, la décision de lancer le chatbot sur /pol/ a suscité la condamnation.

« Imaginez la soumission éthique! » a tweeté Lauren Oakden-Rayner, chercheuse en sécurité de l’IA à l’Université d’Adélaïde.

« Plan : pour voir ce qui se passe, un bot d’IA produira 30 000 commentaires discriminatoires sur un forum accessible au public avec de nombreux utilisateurs mineurs et des membres des groupes ciblés dans les commentaires. Nous n’informerons pas les participants ni n’obtiendrons leur consentement.

Cette semaine un #IA le modèle est sorti le @huggingface qui produit un texte nuisible + discriminatoire et a déjà publié plus de 30 000 commentaires ignobles en ligne (dit son auteur).

Cette expérience ne passerait jamais une recherche humaine #éthique planche. Voici mes recommandations.

1/7 https://t.co/tJCegPcFan pic.twitter.com/Mj7WEy2qHl

— Lauren Oakden-Rayner (Dr Dr 🥳) (@DrLaurenOR) 6 juin 2022

Roman Ring, ingénieur de recherche chez DeepMind, a ajouté que l’exercice avait chambre d’écho amplifiée et solidifiée de 4chan.

« Il n’est pas impossible que GPT-4chan ait poussé quelqu’un à bout dans sa vision du monde », a-t-il déclaré.

Les critiques ont également critiqué la décision de rendre le modèle librement accessible. Il a été téléchargé plus de 1 000 fois avant d’être supprimé de la plateforme Hugging Face.

« Nous ne préconisons ni ne soutenons la formation et les expériences faites par l’auteur avec ce modèle », a déclaré Clément Delangue, cofondateur et PDG de Hugging Face, dans une publication sur la plateforme.

« En fait, l’expérience consistant à demander au modèle de publier des messages sur 4chan était à l’OMI assez mauvaise et inappropriée et si l’auteur nous l’avait demandé, nous aurions probablement essayé de les décourager de le faire. »

Pour info nous nous sommes précipités sur une première version du gating qui est maintenant en ligne (c’est la première chose sur laquelle l’équipe technique de Paris a travaillé dès leur réveil) et qui va s’améliorer dans la journée.

— clem 🤗 (@ClementDelangue) 7 juin 2022

Les inquiétudes concernant GPT-4chan ont nui à des informations potentiellement puissantes.

L’expérience met en évidence la capacité de l’IA à automatiser le harcèlement, à perturber les communautés en ligne et à manipuler l’opinion publique. Pourtant, il a également répandu un langage discriminatoire à grande échelle.

Néanmoins, Kilcher et ses détracteurs ont sensibilisé aux menaces des modèles linguistiques. Avec leurs capacités En expansion rapideles risques semblent devoir augmenter.