L’outil OpenAI utilisé par les médecins « Whisper » est hallucinant : étude

ChatGPT-maker OpenAI introduit Whisper il y a deux ans en tant qu’outil d’IA qui transcrit la parole en texte. Maintenant, l’outil est utilisé par une entreprise de soins de santé IA Nabla et ses 45 000 cliniciens pour aider à transcrire les conversations médicales dans plus de 85 organisations, comme le Soins de santé de l’Université de l’Iowa.

Cependant, de nouvelles recherches montrent que Whisper « hallucine », ou ajoute des déclarations que personne n’a dites, dans les transcriptions des conversations, soulevant la question de à quelle vitesse les établissements médicaux devraient adopter l’IA si elle génère des erreurs.

Selon la presse associéeun chercheur de l’Université du Michigan a découvert des hallucinations dans 80 % des transcriptions de Whisper. Un développeur anonyme a trouvé des hallucinations dans la moitié de plus de 100 heures de transcriptions. Un autre ingénieur a découvert des inexactitudes dans presque toutes les 26 000 transcriptions générées avec Whisper.

Des transcriptions défectueuses de conversations entre médecins et patients pourraient avoir « des conséquences très graves », a déclaré à l’AP Alondra Nelson, professeur à l’Institute for Advanced Study de Princeton, dans le New Jersey.

« Personne ne veut d’un diagnostic erroné », a déclaré Nelson.

En rapport: L’IA n’est pas un « changement révolutionnaire » et ses avantages sont « exagérés », déclare un économiste du MIT

Plus tôt cette année, des chercheurs de l’Université Cornell, de l’Université de New York, de l’Université de Washington et de l’Université de Virginie ont publié une étude. étude qui a suivi le nombre de fois où le service de synthèse vocale Whisper d’OpenAI a halluciné lorsqu’il a dû transcrire 13 140 segments audio d’une durée moyenne de 10 secondes. L’audio provient de TalkBank. AphasieBanqueune base de données regroupant les voix des personnes atteintes aphasieun trouble du langage qui rend la communication difficile.

Les chercheurs ont trouvé 312 cas de « phrases ou phrases hallucinées entières, qui n’existaient sous aucune forme dans l’audio sous-jacent » lorsqu’ils ont mené l’expérience au printemps 2023.

En rapport: Les nouveaux résultats de recherche IA de Google sont déjà hallucinants : ils disent aux utilisateurs de manger des pierres et de préparer de la sauce à pizza avec de la colle

Parmi les transcriptions hallucinées, 38 % contenaient un langage nuisible, comme de la violence ou des stéréotypes, qui ne correspondait pas au contexte de la conversation.

« Notre travail démontre qu’il existe de sérieuses inquiétudes concernant l’inexactitude de Whisper en raison d’hallucinations imprévisibles », ont écrit les chercheurs.

Les chercheurs affirment que l’étude pourrait également signifier un biais d’hallucination dans Whisper, ou une tendance à insérer des inexactitudes plus souvent pour un groupe particulier – et pas seulement pour les personnes aphasiques.

« Sur la base de nos résultats, nous suggérons que ce type de biais d’hallucination pourrait également survenir pour tout groupe démographique présentant des troubles de la parole, entraînant davantage de disfluences (comme les locuteurs présentant d’autres troubles de la parole comme la dysphonie). [disorders of the voice]les personnes très âgées ou les locuteurs non natifs) », ont déclaré les chercheurs.

En rapport: OpenAI aurait utilisé plus d’un million d’heures de vidéos YouTube pour former son dernier modèle d’IA

Whisper a transcrit sept millions de conversations médicales via Nabla, par The Verge.