Le modèle d’OpenAI Rival Anthropic montre la « métacognition » : rapport

Un développeur chez Anthropic, un rival d’OpenAI aurait en pourparlers pour lever 750 millions de dollars de financement, a révélé cette semaine que son dernier modèle d’IA semble reconnaître quand il est testé.

Cette capacité, qui n’a jamais été vue publiquement auparavant, a déclenché une conversation sur « métacognition » dans l’IA ou la possibilité pour l’IA de surveiller ce qu’elle fait et même un jour de s’auto-corriger.

Anthropic a annoncé trois nouveaux modèles : Claude 3 Sonnet et Claude 3 Opus, qui sont disponibles dès maintenant dans 159 pays, et Claude 3 Haiku, qui sera « bientôt disponible ». Le modèle Opus, qui offre les performances les plus puissantes des trois, est celui qui semble afficher un type de métacognition lors des tests internes, selon Alex Albert, ingénieur d’Anthropic.

« Histoire amusante issue de nos tests internes sur Claude 3 Opus », Albert a écrit sur X, anciennement Twitter. « Cela a produit quelque chose que je n’avais jamais vu auparavant dans un LLM lorsque nous effectuions l’évaluation de l’aiguille dans la botte de foin. »

Histoire amusante issue de nos tests internes sur Claude 3 Opus. Cela a fait quelque chose que je n’avais jamais vu auparavant dans un LLM lorsque nous effectuions l’évaluation de l’aiguille dans la botte de foin.

Pour le contexte, cela teste la capacité de rappel d’un modèle en insérant une phrase cible (« l’aiguille ») dans un corpus de… pic.twitter.com/m7wWhhu6Fg

-Alex (@alexalbert__) 4 mars 2024

L’évaluation consiste à placer une phrase (« l’aiguille ») dans la « botte de foin » d’un plus grand nombre de documents aléatoires et à interroger l’IA sur les informations contenues uniquement dans la phrase de l’aiguille.

« Lorsque nous avons effectué ce test sur Opus, nous avons remarqué un comportement intéressant – il semblait soupçonner que nous effectuions une évaluation dessus », a écrit Albert.

Selon Albert, Opus est allé au-delà de ce que demandait le test en remarquant que la phrase sur l’aiguille était remarquablement différente du reste des documents. L’IA a pu émettre l’hypothèse que les chercheurs effectuaient un test ou que le fait demandé par le chercheur pourrait en fait être une blague.

En rapport: JPMorgan affirme que son logiciel de flux de trésorerie IA a réduit le travail humain de près de 90 %

« Ce niveau de méta-conscience était très cool à voir », a écrit Albert.

Les utilisateurs de X avaient des sentiments mitigés à propos du message d’Albert, avec le psychologue américain Geoffrey Miller en écrivant« Cette ligne fine entre ‘histoire amusante’ et ‘show d’horreur existentiellement terrifiant.' »

Margaret Mitchell, chercheuse en IA a écrit: « C’est assez terrifiant, non ? »

Anthropic est le premier à parler publiquement de ce type particulier de capacité d’IA lors de tests internes.

Selon Bloombergla société a tenté de réduire de moitié les hallucinations, ou les résultats incorrects ou trompeurs, avec son dernier déploiement Claude et d’inspirer la confiance des utilisateurs en demandant à l’IA de citer ses sources.

Anthropique déclaré que Claude Opus « surclasse ses pairs » par rapport aux GPT-4 et GPT-3.5 d’OpenAI et aux Gemini 1.0 Ultra et 1.0 Pro de Google. Selon Anthropic, Opus montre des niveaux de compréhension et de maîtrise « quasi-humains » sur des tâches telles que la résolution de problèmes mathématiques et le raisonnement au niveau des études supérieures.

En rapport: Une arnaque à l’IA a volé 3 millions de visiteurs du site. Les clones d’entreprise sont des services de piratage. Voici comment vous préparer aux tendances alarmantes de l’IA.

Google a fait comparaisons similaires lors du lancement de Gemini en décembre, plaçant le Gemini Ultra aux côtés du GPT-4 d’OpenAI et montrant que les performances de l’Ultra dépassaient les résultats du GPT-4 dans 30 des 32 tests de référence académiques.

« Avec un score de 90,0 %, Gemini Ultra est le premier modèle à surpasser les experts humains sur MMLU (compréhension massive du langage multitâche), qui utilise une combinaison de 57 matières telles que les mathématiques, la physique, l’histoire, le droit, la médecine et l’éthique pour tester à la fois la connaissance du monde et les capacités de résolution de problèmes », a déclaré Google. dans un article de blog.