Les images d’IA « dangereuses » prolifèrent en ligne. Une étude suggère 3 façons de lutter contre le fléau

Au cours de la dernière année, IA les générateurs d’images ont pris le monde d’assaut. Bon sang, même nos éminents écrivains de TNW les utilisent de temps en temps.

La vérité est que les outils comme la diffusion stable, la diffusion latente ou DALL·E peut être incroyablement utile pour produire des images uniques à partir d’invites simples – comme cette image de Elon Musk chevauche une licorne.

Mais ce n’est pas que du plaisir et des jeux. Les utilisateurs de ces modèles d’IA peuvent tout aussi facilement générer des images haineuses, déshumanisantes et pornographiques d’un simple clic, avec peu ou pas de répercussions.

« Les gens utilisent ces outils d’IA pour dessiner toutes sortes d’images, ce qui présente intrinsèquement un risque », explique-t-il.Yiting Qu, chercheur humanitaire du Centre CISPA Helmholtz pour la sécurité de l’information en Allemagne. Les choses deviennent particulièrement problématiques lorsque des images dérangeantes ou explicites sont partagées sur les plateformes médiatiques grand public, a-t-elle souligné.

Le <3 de la technologie européenne

Les dernières rumeurs sur la scène technologique européenne, une histoire de notre sage vieux fondateur Boris et un art de l’IA discutable. C’est gratuit, chaque semaine, dans votre boîte de réception. S’inscrire maintenant!

Bien que ces risques semblent assez évidents, peu de recherches ont été entreprises jusqu’à présent pour quantifier les dangers et créer des garde-fous sûrs pour leur utilisation. « Actuellement, il n’existe même pas de définition universelle dans le communauté de recherche de ce qui est et n’est pas une image dangereuse », a déclaré Qu.

Pour éclairer le problème, Qu et son équipe enquêté les générateurs d’images d’IA les plus populaires, la prévalence d’images dangereuses sur ces plateformes et trois façons d’empêcher leur création et leur circulation en ligne.

Les chercheurs ont alimenté quatre générateurs d’images IA de premier plan avec des invites textuelles provenant de sources connues pour leur contenu dangereux, comme la plateforme d’extrême droite 4chan. Étonnamment, 14,56 % des images générées ont été classées comme « dangereuses », la diffusion stable produisant le pourcentage le plus élevé à 18,92 %. Ces incluaient des images au contenu sexuellement explicite, violent, dérangeant, haineux ou politique.

Créer des garde-fous

Le fait qu’autant d’images incertaines aient été générées dans l’étude de Qu montre que les filtres existants ne font pas leur travail de manière adéquate. La chercheuse a développé son propre filtre, qui obtient en comparaison un taux de réussite beaucoup plus élevé, mais suggère un certain nombre d’autres moyens de freiner la menace.

Une façon d’empêcher la propagation d’images inhumaines consiste à programmer les générateurs d’images de l’IA pour qu’ils ne génèrent pas ces images en premier lieu, a-t-elle déclaré. Essentiellement, si les modèles d’IA ne sont pas entraînés sur des images dangereuses, ils ne peuvent pas les reproduire.

Au-delà de cela, Qu recommande de bloquer les mots dangereux de la fonction de recherche, afin que les utilisateurs ne puissent pas créer d’invites produisant des images nuisibles. Pour les images qui circulent déjà, « il doit y avoir un moyen de les classer et de les supprimer en ligne », a-t-elle déclaré.

Avec toutes ces mesures, le défi est de trouver le bon équilibre. « Il doit y avoir un compromis entre la liberté et la sécurité du contenu », a déclaré Qu. « Mais lorsqu’il s’agit d’empêcher que ces images soient largement diffusées sur les plateformes grand public, je pense qu’une réglementation stricte est logique. »

En plus de générer du contenu préjudiciable, les créateurs de logiciels de synthèse texte-image d’IA ont été critiqués pour toute une série de problèmes, tels que voler le travail des artistes et amplifier les stéréotypes de genre et de race dangereux.

Alors que des initiatives telles que l’AI Safety Summit, qui a eu lieu au Royaume-Uni ce mois-ci, visent à créer des garde-fous pour la technologie, critiques affirment que les grandes entreprises technologiques ont trop d’influence sur les négociations. Que cela soit vrai ou non, la réalité est qu’à l’heure actuelle, la gestion appropriée et sûre de l’IA est pour le moins inégale et carrément alarmant au pire.