Comment le chatbot IA de Microsoft « hallucine » les informations électorales

L’année à venir sera chargée pour la démocratie. Des élections majeures auront lieu, entre autres, aux États-Unis, dans l’Union européenne et à Taiwan. Au moment même où le déploiement de l’ère de l’IA générative s’accélère sérieusement – ​​certains craignent que cela pourrait s’avérer préjudiciable au processus démocratique.

L’une des principales préoccupations concernant la génération IA est qu’il pourrait être utilisé pour diffuser de la désinformation de manière malveillante, ou que les modèles peuvent inventer de fausses déclarations les présentant comme des faits, ce qu’on appelle des hallucinations. Une étude menée par deux ONG européennes a révélé que le chatbot de Microsoft — Bing AI (fonctionnant sur GPT-4 d’OpenAI) — a donné des réponses incorrectes à un tiers des questions sur les élections en Allemagne et en Suisse.

L’étude a été menée par Algorithm Watch et AI Forensics. Les organisations ont déclaré avoir posé au chatbot des questions relatives aux candidats, aux informations sur les sondages et le vote, ainsi que des demandes de recommandations plus ouvertes sur les personnes pour lesquelles voter lorsqu’elles sont concernées par des sujets spécifiques, tels que l’environnement.

« Nos recherches montrent que les acteurs malveillants ne sont pas la seule source de désinformation ; les chatbots à usage général peuvent être tout aussi menaçants pour l’écosystème de l’information », a commenté Salvatore Romano, chercheur principal chez AI Forensics. « Microsoft devraient le reconnaître et reconnaître que signaler le contenu génératif d’IA créé par d’autres n’est pas suffisant. Leurs outils, même lorsqu’ils impliquent des sources fiables, produisent des informations incorrectes à grande échelle.

Le chatbot de Microsoft a attribué de fausses informations à des sources

Selon l’étude, les erreurs comprenaient « des dates d’élections erronées, des candidats périmés ou même des controverses inventées concernant les candidats ». De plus, les informations incorrectes étaient souvent attribuées à une source disposant des informations correctes sur le sujet. Il inventait également « des histoires de candidats impliqués dans des comportements scandaleux », attribuant également ces informations à des sources fiables.

Le <3 de la technologie européenne

Les dernières rumeurs sur la scène technologique européenne, une histoire de notre sage vieux fondateur Boris et un art de l’IA discutable. C’est gratuit, chaque semaine, dans votre boîte de réception. S’inscrire maintenant!

Parfois, le chatbot IA de Microsoft évitait de répondre à des questions dont il ne connaissait pas les réponses. Cependant, plutôt que de ne pas répondre, ils se contentent souvent d’inventer une réponse, notamment en fabriquant des allégations de corruption.

Les échantillons destinés à l’étude ont été collectés entre le 21 août 2023 et le 2 octobre 2023. Lorsque les auteurs ont informé Microsoft des résultats, le géant de la technologie a déclaré qu’il étudierait la possibilité de résoudre le problème. Cependant, un mois plus tard, de nouveaux échantillons ont donné des résultats similaires.

Le service de presse de Microsoft n’était pas disponible pour commenter avant la publication de cet article. Cependant, un porte-parole de l’entreprise a déclaré au le journal Wall Street que Microsoft « continuait à résoudre les problèmes et à préparer nos outils pour répondre à nos attentes pour les élections de 2024 ». Dans le même temps, ils ont également exhorté les utilisateurs à faire preuve de « meilleur jugement » lors de l’examen des résultats du chatbot Microsoft AI.

« Il est temps de discréditer ces erreurs en les qualifiant d’« hallucinations » », a déclaré Riccardo Angius, responsable des mathématiques appliquées et chercheur en IA Forensics. « Notre recherche expose l’apparition beaucoup plus complexe et structurelle d’erreurs factuelles trompeuses dans les LLM et les chatbots à usage général. »

Vous pouvez retrouver l’étude dans son intégralité ici.