Les hallucinations de l’IA constituent une « menace directe » pour la science, prévient une étude d’Oxford

Les grands modèles linguistiques (LLM) – tels que ceux utilisés dans les chatbots – ont un impact alarmant. tendance à halluciner. C’est-à-dire générer de faux contenus qu’ils présentent comme exacts. Ces IA Les hallucinations représentent, entre autres risques, une menace directe pour la science et la vérité scientifique, préviennent les chercheurs de l’Oxford Internet Institute.

Selon leur article, publié dans Comportement humain« Les LLM sont conçus pour produire des réponses utiles et convaincantes sans aucune garantie absolue quant à leur exactitude ou leur alignement avec les faits. »

Les LLM sont actuellement traités comme des sources de connaissances et génèrent des informations en réponse à des questions ou des invites. Mais les données sur lesquelles ils sont formés ne sont pas nécessairement exactes sur le plan factuel. L’une des raisons à cela est que ces modèles utilisent souvent des sources en ligne, qui peuvent contenir de fausses déclarations, opinions et informations inexactes.

« Les personnes qui utilisent les LLM anthropomorphisent souvent la technologie, en la considérant comme une source d’informations semblable à celle d’un être humain », a expliqué le professeur Brent Mittelstadt, co-auteur de l’article.

Le <3 de la technologie européenne

Les dernières rumeurs sur la scène technologique européenne, une histoire de notre sage vieux fondateur Boris et un art de l’IA discutable. C’est gratuit, chaque semaine, dans votre boîte de réception. S’inscrire maintenant!

«Cela est dû en partie à la conception des LLM en tant qu’agents utiles à consonance humaine qui conversent avec les utilisateurs et répondent apparemment à n’importe quelle question avec un texte confiant et bien écrit. Le résultat est que les utilisateurs peuvent facilement être convaincus que les réponses sont exactes même lorsqu’elles ne reposent sur aucun fait ou lorsqu’elles présentent une version biaisée ou partielle de la vérité.

En matière de science et d’éducation, l’exactitude des informations est d’une importance vitale et les chercheurs exhortent la communauté scientifique à utiliser les LLM comme « traducteurs zéro-shot ». Cela signifie que les utilisateurs doivent fournir au modèle les données appropriées et demander à les transformer en conclusion ou en code, par exemple, au lieu de s’appuyer sur le modèle lui-même comme source de connaissances.

De cette façon, il devient plus facile de vérifier que le résultat est factuellement correct et conforme aux informations fournies.

Les LLM contribueront « sans aucun doute » aux flux de travail scientifiques, selon les professeurs d’Oxford. Mais il est crucial que la communauté les utilise de manière responsable et ait des attentes claires quant à la manière dont elles peuvent réellement contribuer.