Une nouvelle technique permet aux hallucinations de l’IA de se réveiller et de faire face à la réalité

Chatbots ont une propension alarmante à générer de fausses informations, mais à les présenter comme exactes. Ce phénomène, connu sous le nom d’hallucinations IA, a divers effets néfastes. Au mieux, cela restreint les avantages de l’intelligence artificielle. Au pire, cela peut causer des dommages réels aux personnes.

À mesure que l’IA générative entre dans le courant dominant, la sonnette d’alarme retentit de plus en plus fort. En réponse, une équipe de chercheurs européens a été expérimenter vigoureusement des remèdes. La semaine dernière, l’équipe a dévoilé une solution prometteuse. Ils disent cela peut réduire IA hallucinations à des pourcentages à un chiffre.

Le système est le fruit de l’idée originale de Iris.aiune société basée à Oslo démarrer. Fondée en 2015, l’entreprise a construit un moteur d’IA pour comprendre les textes scientifiques. Le logiciel parcourt de grandes quantités de données de recherche, qu’il analyse, catégorise et résume ensuite.

Les clients incluent le Autorité alimentaire finlandaise. L’agence gouvernementale utilisé le système pour accélérer la recherche sur une crise potentielle de grippe aviaire. Selon Iris.ai, la plateforme fait gagner 75 % du temps à un chercheur.

Le

Les dernières rumeurs sur la scène technologique européenne, une histoire de notre sage vieux fondateur Boris et un art de l’IA discutable. C’est gratuit, chaque semaine, dans votre boîte de réception. S’inscrire maintenant!

Ce qui ne leur fait pas gagner du temps, c’est l’IA hallucinant.

« La clé est de renvoyer des réponses qui correspondent à ce que dirait un expert humain.

Les grands modèles de langage (LLM) actuels sont connus pour cracher des informations absurdes et fausses. D’innombrables exemples de ces résultats ont émergé ces derniers mois.

Parfois, les inexactitudes nuisent à la réputation. Lors de la démo de lancement de Microsoft Bing AI, par exemple, le système produit une analyse semée d’erreurs du rapport sur les résultats de Gap.

À d’autres moments, les sorties erronées peuvent être plus préjudiciables. ChatGPT peut jaillir dangereux recommandations médicales. Analystes de sécurité peur les hallucinations du chatbot pourraient même diriger des paquets de codes malveillants vers les développeurs de logiciels.

« Malheureusement, les LLM sont si bons en termes de formulation qu’il est difficile de distinguer les hallucinations du texte généré factuellement valide. » Victor Botev, directeur technique d’Iris.ai, a déclaré à TNW. « Si ce problème n’est pas résolu, les utilisateurs des modèles devront consacrer davantage de ressources à la validation des résultats plutôt qu’à leur génération. »

Les hallucinations de l’IA entravent également la valeur de l’IA dans la recherche. Dans une enquête Iris.ai menée auprès de 500 travailleurs de R&D d’entreprise, seuls 22 % des personnes interrogées ont déclaré faire confiance à des systèmes comme ChatGPT. Néanmoins, 84 % d’entre eux utilisent toujours ChatGPT comme principal outil d’IA pour soutenir la recherche. Eek.

Ces pratiques problématiques ont stimulé les travaux d’Iris.ai sur les hallucinations de l’IA.

Iris.ai utilise plusieurs méthodes pour mesurer la précision des sorties de l’IA. La technique la plus cruciale consiste à valider l’exactitude des faits.

« Nous définissons les concepts de connaissances clés que nous espérons voir dans une réponse correcte », explique Botev. « Ensuite, nous vérifions si la réponse de l’IA contient ces faits et s’ils proviennent de sources fiables. »

Une technique secondaire compare la réponse générée par l’IA à une « vérité terrain » vérifiée. Utiliser une métrique propriétaire baptisée SAGESSEles logiciels évalue la similarité sémantique de la sortie de l’IA avec la vérité terrain. Cela couvre les contrôles sur les sujets, la structure et les informations clés.

Une autre méthode examine la cohérence de la réponse. Pour ce faire, Iris.ai garantit que le résultat intègre des sujets, des données et des sources pertinents pour la question posée, plutôt que des entrées sans rapport.

La combinaison de techniques crée une référence en matière d’exactitude factuelle.

« La clé pour nous n’est pas simplement de renvoyer n’importe quelle réponse, mais de renvoyer des réponses qui correspondent étroitement à ce que dirait un expert humain », explique Botev.

Sous les couvertures, le système Iris.ai exploite des graphiques de connaissances, qui montrer les relations entre les données.

Les graphiques de connaissances évaluent et démontrent les étapes suivies par un modèle de langage pour atteindre ses résultats. Essentiellement, ils génèrent une chaîne de pensées que le modèle doit suivre.

L’approche simplifie le processus de vérification. En demandant à la fonction de chat d’un modèle de diviser les demandes en parties plus petites, puis d’afficher les bonnes étapes, les problèmes peuvent être identifiés et résolus.

La structure pourrait même inciter un modèle à identifier et à corriger ses propres erreurs. En conséquence, une réponse cohérente et factuellement correcte pourrait être automatiquement produite.

« Nous devons décomposer le processus décisionnel de l’IA.

Iris.ai a désormais intégré la technologie dans une nouvelle fonctionnalité de chat, qui a été ajoutée à la plateforme Researcher Workspace de l’entreprise. Lors de tests préliminaires, le La fonctionnalité réduit les hallucinations de l’IA à des pourcentages à un chiffre.

Le problème n’est cependant pas entièrement résolu. Si l’approche apparaît efficace pour les chercheurs de la plateforme Iris.ai, la méthode sera difficile à mettre en œuvre. échelle pour les LLM populaires. Selon Botev, le cles défis ne viennent pas de la technologie, mais des utilisateurs.

Quand quelqu’un le fait une recherche Bing AI, par exemple, ils peuvent avoir peu de connaissances sur le sujet sur lequel ils étudient. Par conséquent, ils peuvent mal interpréter les résultats qu’ils reçoivent.

« Les gens diagnostiquent eux-mêmes mal les maladies tout le temps en recherchant leurs symptômes en ligne », explique Botev. « Nous devons être capables de décomposer le processus décisionnel de l’IA de manière claire et explicable.

La principale cause des hallucinations de l’IA réside dans les problèmes de données d’entraînement. Microsoft a récemment dévoilé une nouvelle solution au problème. Le nouveau de l’entreprise Modèle Phi-1.5 est pré-formés sur les données de « qualité des manuels scolaires », qui sont à la fois générées synthétiquement et filtrées à partir de sources Web.

jeEn théorie, cette technique atténuera les hallucinations de l’IA. Si les données d’entraînement sont bien structurées et favorisent le raisonnement, il devrait y avoir moins de possibilités pour un modèle d’halluciner.

Une autre méthode consiste à supprimer les biais des données. Pour ce faire, Botev propose de former un modèle sur le langage de codage.

À l’heure actuelle, de nombreux LLM populaires sont formés sur un large éventail de données, allant des romans et articles de journaux aux documents juridiques et publications sur les réseaux sociaux. Inévitablement, ces sources contiennent des préjugés humains.

En cDans le langage, l’accent est beaucoup plus mis sur la raison. Cela laisse moins de place à l’interprétation, ce qui peut guider les LLM vers des réponses factuellement précises. D’un autre côté, cela pourrait conférer aux codeurs un pouvoir potentiellement terrifiant.

« C’est une question de confiance.

Malgré ses limites, l’Iris.ai Cette méthode est un pas dans la bonne direction. En utilisant le la structure du graphe de connaissances, la transparence et l’explicabilité peuvent être ajoutées à l’IA.

« Une compréhension plus large des processus du modèle, ainsi qu’une expertise externe supplémentaire avec les modèles de boîtes noires, signifient que les causes profondes des hallucinations dans tous les domaines peuvent être identifiées et traitées plus rapidement », explique Botev.

Le CTO est également optimiste quant aux progrès externes dans le domaine. Il pointe du doigt le des collaborations avec des créateurs de LLM pour créer des ensembles de données plus volumineux, déduire des graphiques de connaissances à partir de textes et préparer des mesures d’auto-évaluation. À l’avenir, cela devrait permettre de réduire davantage les hallucinations de l’IA.

Pour Botev, ce travail répond à un objectif crucial.

«C’est dans une large mesure une question de confiance», dit-il. « Comment les utilisateurs peuvent-ils tirer parti des avantages de l’IA s’ils ne font pas confiance au modèle qu’ils utilisent pour donner des réponses précises ? »