Quand vos chatbots IA se trompent

À peine un an après la sortie de ChatGPT et d’autres outils d’IA générative, 75 % des entreprises interrogées les ont déjà mis en œuvre, selon une étude de VentureBeat. rapport. Mais à mesure que le nombre de chatbots de nouvelle génération basés sur l’IA augmente, les risques de problèmes occasionnels augmentent également : des résultats ou des réponses absurdes ou inexacts qui ne sont pas facilement éliminés des grands modèles de langage (LLM) sur lesquels les outils sont formés.

Dans le langage de l’IA, on les appelle hallucinations. Ils ne posent pas de gros problèmes si vous manipulez les invites de l’IA à la maison, mais dans les entreprises qui déploient de nouveaux chatbots auprès d’un grand nombre de clients et d’employés, une seule fabrication d’IA peut amener les entreprises devant les tribunaux.

Au printemps dernier, un juge sanctionné un cabinet d’avocats pour avoir cité des avis judiciaires avec de fausses citations et citations dans un mémoire juridique rédigé par un chatbot. L’entreprise a admis qu’elle « ne parvenait pas à croire qu’un élément technologique puisse fabriquer des valises de toutes pièces ».

Les hallucinations se produisent lorsque les données utilisées pour former les LLM sont de mauvaise qualité ou incomplètes. Le taux d’occurrence se situe entre 3% et 8% pour la plupart des plateformes d’IA génératives. « Les chatbots sont presque comme un organisme vivant dans la mesure où ils itèrent continuellement et ingèrent de nouvelles données », explique Steven Smith, architecte en chef de la sécurité chez Freshworks. « Vous retirez ce que vous avez mis. »

Faux pas du chatbot

Avec les chatbots du service client, dispenser des conseils ou des informations incorrects peut nuire à des objectifs clés, tels que la satisfaction du client ; ils peuvent également semer la confusion et potentiellement nuire dans des secteurs très complexes (et réglementés) comme la santé ou la finance.

Dans les organisations informatiques, les problèmes de la génération AI font des ravages d’autres manières. Les chatbots peuvent attribuer des tickets de service de manière incorrecte, décrire un problème de manière inexacte ou perturber les flux de travail et entraîner des problèmes systémiques importants (entraînant des violations de données ou une mauvaise allocation de ressources vitales) qui nécessitent alors une intervention humaine.

Pour les ingénieurs, Code généré par l’IA utilisés dans le développement de logiciels peuvent contenir des failles de sécurité ou des propriétés intellectuelles ingérées lors de la formation. Les systèmes d’IA peuvent également ignorer des bogues complexes ou des problèmes de sécurité que seul un développeur peut détecter et résoudre.

« Les copilotes logiciels sont fantastiques, mais vous voulez lire et comprendre ce qu’ils vous donnent », explique Smith. « Mettre aveuglément du code en production parce que vous pensez qu’il provient d’un expert n’est pas plus sûr que de le copier depuis StackExchange, le site de questions et réponses autrefois privilégié par les codeurs à la recherche d’un extrait spécifique, si vous n’avez aucune idée de ce que fait ce code. »

Minimiser les risques

De nombreuses entreprises commencent à investir dans l’atténuation des risques. Voici quelques-unes des stratégies les plus efficaces, selon les experts.

• Déployez des filtres de contenu. Une variété de garde-fous techniques ou basés sur des politiques peuvent protéger contre les contenus inappropriés ou préjudiciables. Par exemple, les filtres de contenu peuvent refuser de répondre aux questions sur des problèmes ou des sujets sensibles. Dans les scénarios de service client, un chatbot doit rapidement transmettre une demande à un opérateur humain s’il est confus ou incapable de trouver la réponse précise.
• Améliorer continuellement la qualité des données. Lors de la formation des LLM, les équipes informatiques doivent valider les données pour garantir qu’elles sont de haute qualité, pertinentes et complètes. Les données de formation doivent être révisées régulièrement pour se protéger contre la « dérive du modèle » ou la dégradation des performances qui se produit en raison des modifications du modèle de données sous-jacent au fil du temps.
• Garde-corps de sécurité. Limiter la capacité des chatbots à se connecter à des applications et services tiers élimine la possibilité de générer des données trompeuses, inexactes ou potentiellement dommageables. Les avantages secondaires du sandboxing du chatbot de cette manière sont de meilleures performances (moins de dépendances) et une conformité améliorée pour les secteurs où cela est essentiel.

Les hallucinations peuvent être un problème aujourd’hui, mais recherche est en cours pour le résoudre. Dans le but d’améliorer à la fois la précision et la fiabilité, tout est à l’étude, depuis la création de modèles plus grands jusqu’à ce que les LLM effectuent eux-mêmes la vérification des faits.

En fin de compte, selon Smith, la meilleure façon d’atténuer les risques d’erreurs des chatbots est de faire preuve de bon sens. « L’IA peut être fantastique, mais elle doit fonctionner selon vos règles d’engagement », explique Smith. « Vous voulez définir les choses qu’il peut faire, mais aussi celles qu’il ne peut pas faire, et garantir qu’il fonctionne dans le cadre de ces paramètres spécifiques. »

Pour plus d’informations sur la façon d’innover avec l’IA, tout en minimisant les risques, visitez Les travaux.