À quel point sommes-nous proches d’un détecteur de fausses nouvelles IA précis ?

Dans le but ambitieux de lutter contre les méfaits des faux contenus sur réseaux sociaux et sites d’actualitésles data scientists font preuve de créativité.

Alors qu’ils étaient encore dans leurs roues d’entraînement, les grands modèles de langage (LLM) utilisés pour créer des chatbots comme ChatGPT sont recrutés pour repérer fausses nouvelles. Avec une meilleure détection, les systèmes de vérification des fausses nouvelles par l’IA pourraient être en mesure d’avertir et, à terme, de contrecarrer les préjudices graves causés par les fausses nouvelles. contrefaçons profondes, propagande, théories du complot et désinformation.

Le prochain niveau IA ces outils personnaliseront la détection des faux contenus et nous protégeront contre ceux-ci. Pour ce saut ultime vers l’IA centrée sur l’utilisateur, science des données doit se tourner vers les sciences comportementales et les neurosciences.

Des travaux récents suggèrent que nous pourrions je ne sais pas toujours consciemment que nous sommes confrontés à de fausses nouvelles. Les neurosciences aident à découvrir ce qui se passe inconsciemment. Des biomarqueurs tels que fréquence cardiaque, mouvements des yeux et activité cérébrale) semblent changer subtilement en réponse à du contenu faux et réel. En d’autres termes, ces biomarqueurs peuvent être des « indices » indiquant si nous avons été trompés ou non.

Par exemple, lorsque les humains regardent des visages, les données de suivi oculaire montrent que nous recherchons les taux de clignement des yeux et changements dans la couleur de la peau provoquée par la circulation sanguine. Si de tels éléments ne semblent pas naturels, cela peut nous aider à décider qu’il s’agit d’un deepfake. Ces connaissances peuvent donner un avantage à l’IA : nous pouvons l’entraîner à imiter ce que recherchent les humains, entre autres choses.

La personnalisation d’un vérificateur de fausses nouvelles IA prend forme en utilisant les résultats de données sur les mouvements de l’oeil humain et activité cérébrale électrique qui montre quels types de faux contenus ont le plus grand impact neuronal, psychologique et émotionnel, et pour qui.

Connaître nos intérêts spécifiques, notre personnalité et réactions émotionnellesun système de vérification des faits par l’IA pourrait détecter et anticiper quel contenu déclencherait en nous la réaction la plus sévère. Cela pourrait aider à déterminer quand les gens sont dupés et quel type de matériel trompe le plus facilement les gens.

Contrecarrer les préjudices

Vient ensuite la personnalisation des garanties. Pour nous protéger des méfaits des fausses nouvelles, il faut également construire des systèmes capables d’intervenir – une sorte de contre-mesure numérique aux fausses nouvelles. Il existe plusieurs façons d’y parvenir, comme des étiquettes d’avertissement, des liens vers du contenu crédible validé par des experts et même en demandant aux gens d’essayer de considérer différentes perspectives lorsqu’ils lisent quelque chose.

Notre propre vérificateur personnalisé de fausses nouvelles par IA pourrait être conçu pour donner à chacun de nous l’une de ces contre-mesures. pour annuler les méfaits des faux contenus en ligne.

Une telle technologie est déjà testée. Des chercheurs américains ont étudié la façon dont les gens interagissent avec un vérificateur personnalisé de fausses nouvelles par IA pour les publications sur les réseaux sociaux. Il a appris à réduire le nombre de messages dans un fil d’actualité à celui qu’il jugeait vrai. Comme preuve de conceptune autre étude utilisant des publications sur les réseaux sociaux a adapté du contenu d’actualité supplémentaire à chaque publication dans les médias pour encourager les utilisateurs à afficher des perspectives alternatives.

Détection précise des fausses nouvelles

Mais que tout cela semble impressionnant ou dystopique, avant de nous laisser emporter, il vaut peut-être la peine de se poser quelques questions fondamentales.

Une grande partie, sinon la totalité, du travail sur fausses nouvelles, deepfakes, désinformation et désinformation met en évidence le même problème auquel tout détecteur de mensonge serait confronté.

Il existe de nombreux types de détecteurs de mensonge, pas seulement le test polygraphique. Certains dépendent exclusivement de l’analyse linguistique. D’autres sont des systèmes conçus pour lire les visages des gens afin de détecter s’ils laissent échapper des micro-émotions qui trahissent qu’ils mentent. De la même manière, il existe des systèmes d’IA conçus pour détecter si un visage est authentique ou profondément faux.

Avant que la détection ne commence, nous devons tous nous mettre d’accord sur ce à quoi ressemble un mensonge si nous voulons le repérer. En fait, dans recherche sur la tromperie montre que cela peut être plus facile parce que vous pouvez indiquer aux gens quand mentir et quand dire la vérité. Et donc vous avez un moyen de connaître la vérité terrain devant vous. former un humain ou un machine faire la différence, car ils disposent d’exemples sur lesquels fonder leur jugement.

Connaître la qualité d’un détecteur de mensonge expert dépend de la fréquence à laquelle il crie un mensonge lorsqu’il y en a un (coup). Mais aussi, qu’ils ne confondent pas souvent quelqu’un comme disant la vérité alors qu’il mentait en fait (manqué). Cela signifie qu’ils doivent savoir quelle est la vérité lorsqu’ils la voient (rejet correct) et ne pas accuser quelqu’un de mentir alors qu’il dit la vérité (fausse alerte). Cela fait référence à la détection de signal, et la même logique s’applique à détection de fausses nouvelles que vous pouvez voir dans le schéma ci-dessous.

Pour qu’un système d’IA détectant les fausses nouvelles soit extrêmement précis, le nombre de réponses doit être très élevé (disons 90 %) et donc les échecs seront très faibles (disons 10 %), et les fausses alarmes doivent rester faibles (disons 10 %). %), ce qui signifie que les vraies nouvelles ne sont pas qualifiées de fausses. Si un système de vérification des faits par l’IA, ou par un humain, nous est recommandé, basé sur la détection de signaux, nous pourrons mieux comprendre à quel point il est efficace.

Il est probable qu’il y ait des cas, comme cela a été signalé dans un récent enquêteoù le contenu de l’actualité peut ne pas être complètement faux ou complètement vrai, mais partiellement exact. Nous le savons parce que la vitesse des cycles d’information signifie que ce qui est considéré comme exact à un moment donné peut l’être plus tard. s’avérer inexact, ou vice versa. Ainsi, un système de vérification des fausses nouvelles a du pain sur la planche.

Si nous savions à l’avance ce qui était truqué et ce qui constituait une véritable nouvelle, quelle serait la précision des biomarqueurs pour indiquer inconsciemment ce qui est quoi ? La réponse n’est pas très. Activité neuronale est le plus souvent le même lorsque nous tombons sur des articles de presse réels et faux.

Lorsqu’il s’agit d’études de suivi oculaire, il convient de savoir qu’il existe différents types de données collectées à partir de techniques de suivi oculaire (par exemple, la durée pendant laquelle notre œil se fixe sur un objet, la fréquence à laquelle notre œil se déplace sur une scène visuelle). ).

Ainsi, selon ce qui est analysé, certaines études montrent que nous accordons plus d’attention lors de la visualisation de faux contenus, tandis que d’autres affichent le opposé.

Sommes-nous déjà là ?

Les systèmes de détection des fausses nouvelles par l’IA sur le marché utilisent déjà les connaissances de la science comportementale pour aider signalez-nous et mettez-nous en garde contre les fausses nouvelles contenu. Il ne sera donc pas difficile pour les mêmes systèmes d’IA de commencer à apparaître dans nos fils d’actualité avec des protections personnalisées pour notre profil utilisateur unique. Le problème avec tout cela est que nous avons encore beaucoup de choses à faire pour savoir ce qui fonctionne, mais aussi pour vérifier si nous voulons ça.

Dans le pire des cas, nous considérons les fausses nouvelles comme un problème en ligne uniquement comme une excuse pour le résoudre en utilisant IA. Mais les contenus faux et inexacts sont partout et font l’objet de discussions hors ligne. Non seulement cela, nous ne croyons pas par défaut à toutes les fausses nouvelles, nous les utilisons parfois dans des discussions pour illustrer de mauvaises idées.

Dans le meilleur des cas, la science des données et la science du comportement sont confiantes quant à l’ampleur des divers dommages que les fausses nouvelles pourraient causer. Mais même dans ce cas, les applications de l’IA combinées à la magie scientifique pourraient encore constituer de très mauvais substituts à des solutions moins sophistiquées mais plus efficaces.

Magda Osmanprofesseur d’impact politique, Université de Leeds

Cet article est republié à partir de La conversation sous licence Creative Commons. Lire le article original.