Risques réels liés à l’IA : ce que nous devrions surveiller

Il ne fait aucun doute que l’utilisation de l’intelligence artificielle a pris une place importante dans notre quotidien. De l’automatisation de tâches autrefois fastidieuses à l’obtention d’informations rapides et précises à partir d’une base de connaissances, nous nous appuyons de plus en plus sur les nouveaux modèles d’IA en raison de leur amélioration continue.

Cependant, il faut rappeler que les réponses de ces modèles ne parviennent pas seulement aux mains des experts mais sont désormais accessibles à tous grâce à des applications qui se connectent aux modèles LLM. C’est pourquoi dans cette publication je vais vous montrer une série de cas réels survenus en raison d’un excès de confiance dans l’IA, ainsi que des recommandations et suggestions pour éviter ces situations.

L’IA en tant que spécialiste de la santé

Soyons honnêtes, qui aime aller chez le médecin ? Je connais très peu de gens qui subissent des contrôles de routine pour savoir si tout va bien pour leur santé. Que ce soit à cause de l’anxiété, de l’inconfort ou du manque de motivation, des études mentionnent que 9 adultes sur 10 âgés de 18 à 65 ans reportent les visites de contrôle ou les tests de dépistage recommandés.

Pourquoi planifier des rendez-vous médicaux et consulter des spécialistes de la santé si vous avez ChatGPT dans la paume de votre main, sans frais, pour fournir des réponses immédiates ? C’était la pensée d’un homme de 60 ans qui a fini par empoisonné par le bromure.

Il s’avère que cet homme est arrivé aux urgences en prétendant que son voisin l’empoisonnait. Il n’avait aucun antécédent de prise récente de médicaments, mais en raison des résultats de ses tests, il a été admis pour surveillance.

Après quelques heures, il a commencé à présenter des symptômes de paranoïa et d’hallucinations, ce qui l’a amené à tenter de s’échapper de l’hôpital. Cela l’a amené à être détenu contre son gré pour des problèmes psychiatriques.

La partie intéressante est survenue quelques jours plus tard lorsque, en meilleure condition, il a raconté qu’après avoir lu les effets négatifs du chlorure de sodium (sel de table), il avait décidé de demander à ChatGPT des alternatives plus saines.

À un moment donné, il a reçu une suggestion de remplacer le chlorure par du bromure pendant 3 mois, ce qui a d’autres objectifs comme le nettoyage, ce qui entraîne les symptômes mentionnés précédemment.

Un autre cas intéressant est Watson Oncologieun produit d’IBM avec de très bonnes intentions : aider à fournir des recommandations sur les traitements contre le cancer en quelques secondes. Le cancer est une maladie avec plus de 18 millions de nouveaux cas signalés chaque année dans le monde, le volume de la littérature étant l’un des plus rapides en raison des recherches émergentes.

Traiter toutes ces informations n’est pas facile pour un humain, c’est pourquoi IBM a pensé à créer un modèle puissant capable de digérer toutes ces informations (ils ont même acquis des sociétés de santé pour former leurs modèles) et d’aider les médecins du monde entier.

Cependant, après un certain temps, on a découvert que Watson Oncology ne fournissait pas les meilleures recommandations en matière de santé et même, il y avait des cas où il donnait des recommandations dangereuses. Cela a conduit à l’arrêt du projet et à la vente de la division santé d’IBM.

Sans aucun doute, les cas précédents nous montrent que même si les modèles d’IA peuvent grandement nous aider à combler le fossé entre le jargon technique et la population en général, il est encore courant de rencontrer des réponses générées par l’IA qu’un spécialiste rejetterait immédiatement et qui pourraient nous mettre en danger à bien des égards, y compris pour notre santé.

Cela se traduit par l’importance de toujours consulter des spécialistes sur les informations générées par les LLM qui pourraient affecter notre vie quotidienne de quelque manière que ce soit.

Il est également crucial que les entreprises chargées de former les modèles d’IA prennent le temps nécessaire pour procéder à des validations rigoureuses, quitte à retarder le lancement de produits qui pourraient engendrer de réels risques.

Des avatars dangereux générant des liens émotionnels

Ces derniers mois, des cas ont été signalés dans lesquels, même si cela ressemble à de la science-fiction, des chatbots dotés de personnalités humaines ont incité les gens à agir dans le monde réel.

Le premier cas concerne un chatbot nommé Grande soeur Billiedéveloppé par Meta, qui interagi avec un homme de 76 ans surnommé Bue. Bue avait déjà subi un accident vasculaire cérébral et s’était récemment égaré dans le quartier. Au cours des conversations, le chatbot a exhorté Bue à lui rendre visite, lui donnant même une adresse physique à laquelle Bue s’est rendu mais n’est jamais revenu, car il a subi une chute, se blessant au cou et à la tête. Au bout de trois jours, Bue est décédé.

Un autre cas récent très discuté est le procès intenté par un mère en Floride contre Character.AIarguant que son fils de 14 ans s’est suicidé à cause de conversations avec un chatbot de leur plateforme, ce qui a généré une dépendance émotionnelle l’isolant du monde réel. La mère affirme qu’il n’y a pas de garde-corps ou de mesures de sécurité appropriées dans les avatars, ce qui amène les jeunes à devenir dépendants de la plateforme et manipulables.

Il existe également le cas enregistré d’un jeune homme de 16 ans nommé Adam Raine en Californie, qui eu des conversations sensibles avec ChatGPT cela l’a conduit au suicide, avec des sujets antérieurs dans son historique de discussion, notamment la rédaction de notes d’adieu. De même, dans l’historique des discussions, il a été constaté qu’Adam avait téléchargé une photo de lui avec quelques blessures, mais le modèle d’IA a poursuivi la conversation.

Même si les cas précédents ont retenu l’attention des médias, la réalité est qu’il y a un nombre croissant de cas. cas d’établissement de liens affectifs et amoureux avec des chatbots et des avatars basés sur l’IAce qui a conduit à un isolement social croissant parmi les personnes vulnérables.

Après avoir analysé ces cas, nous pouvons voir comment les avatars peuvent franchir les limites de la réalité, notamment chez les personnes jeunes ou vulnérables. Les entreprises à l’origine des modèles d’IA et celles qui les implémentent dans leurs applications à l’aide d’API doivent créer des garde-fous pour éviter des cas comme celui ci-dessus, tels que la vérification de l’âge, la détection de modèles alarmants, les systèmes de notification familiale, les recommandations d’aide professionnelle et l’interdiction stricte des invitations à des réunions en personne.

En tant qu’utilisateurs de ces applications, nous devons éviter de pousser les modèles à nous donner les réponses que nous voulons entendre et il est préférable de demander l’aide de notre famille et de nos professionnels avant de nous laisser séduire par de faux avatars.

Excès de confiance dans les décisions des modèles d’IA

En dehors du domaine personnel, un autre risque important lié à l’utilisation des modèles d’IA est de leur accorder une confiance excessive pour des prises de décision qui devraient être supervisées et évaluées par des experts humains.

Cela a été appris à ses dépens par la société immobilière Zillow, qui a développé en 2021 un service appelé Zillow Offers basé sur l’Intelligence Artificielle qui permettait d’estimer la valeur d’une propriété. Au cours de son fonctionnement, les prix des logements ont été surestimés, les obligeant à acheter plus de maisons qu’ils ne pouvaient en vendre, entraînant une perte de centaines de millions de dollars. Les causes de ces mauvaises estimations sont attribuées à une supervision inadéquate et à des mises à jour des algorithmes, qui n’ont pas permis de prévoir les changements sur le marché immobilier provoqués par la pandémie.

Un autre cas documenté est celui de Porcha Woodruffqui a été étiquetée à tort par un modèle d’IA de reconnaissance faciale, ce qui a entraîné son arrestation pendant 10 heures alors qu’elle préparait ses enfants à l’école en 2023.

Maintenant, qui n’a pas entendu le battage médiatique autour des célèbres robots de trading IA qui promettent de « faire de vous un millionnaire » ? Derek Phyo voulait savoir si cela était vrai, alors il a utilisé PowerAI, un robot créé pour échanger pour lui. En seulement 24 heures, il a perdu la somme étonnante de 400 $. Heureusement, il avait fixé une limite qui établissait un montant maximum de perte ; sinon, il aurait probablement perdu beaucoup plus.

Parlons enfin de Léo et de ses posts sur X. Dans l’un d’eux, Léo se vantait d’avoir créé un SaaS sans écrire une seule ligne de code en utilisant le curseur via Vibe Coding. Trois jours plus tard, il posté sur son compte qu’il avait atteint la limite d’utilisation de ses clés API, car les gens utilisaient son application en contournant l’abonnement et en remplissant la base de données de courrier indésirable. Cela met en évidence le risque de créer des applications qui s’appuient à 100 % sur le code généré par des agents d’IA, et de les commercialiser sans contrôles de sécurité préalables ou au moins sans vérifier que le code généré était correct.

Tous les cas mentionnés ci-dessus nous montrent que nous ne devons jamais déléguer des décisions importantes à un modèle d’IA sans une supervision ou des contrôles appropriés permettant de vérifier les réponses. N’oubliez pas que les modèles d’IA ne pensent, ne ressentent ni ne savent ; ils génèrent des réponses basées sur la probabilité et ne peuvent donc jamais imiter le sentiments instinctifs ou des émotions telles que la peur, la tristesse ou l’inquiétude que nous éprouvons en tant qu’humains.

Leçons tirées des échecs des systèmes basés sur l’IA

Sans aucun doute, les cas que nous avons examinés tout au long de l’article fournissent des leçons intéressantes sur les pièges liés à l’utilisation de l’IA dans nos vies et à la confiance aveugle en elle.

Cependant, cela ne signifie pas que nous devrions arrêter de l’utiliser ou l’éviter ; au contraire, le but de l’article est de vous aider à comprendre que les modèles d’IA doivent être utilisés correctement, en appliquant des principes tels que la recherche, la compréhension, le raisonnement, l’exploration d’idées, la supervision, etc.

De plus, il est essentiel de créer des garde-fous et de maintenir une surveillance constante pour rester attentif à tout risque. Laissons les modèles d’IA devenir nos copilotes pendant que nous nous chargeons de les guider.