L’ancien chercheur d’Open AI Jan Leike rejoint Anthropic au milieu de problèmes de sécurité en matière d’IA

Surskever n’a pas encore annoncé son prochain déménagement, mais son alignement sur les valeurs d’Anthropic en fait une destination possible.

L’expérience de Leike correspond à la mission d’Anthropic. Chez OpenAI, il appartenait à l’équipe « Superalignment » dont l’objectif était de garantir que les systèmes d’IA restent alignés sur les valeurs humaines. Il a critiqué OpenAI pour ne pas allouer suffisamment de ressources pour garantir la réalisation de cet objectif.

« Je pense qu’une plus grande partie de notre bande passante devrait être consacrée à la préparation des prochaines générations de modèles, à la sécurité, à la surveillance, à la préparation, à la sûreté, à la robustesse des adversaires, au (super)alignement, à la confidentialité, à l’impact sociétal et aux sujets connexes », a déclaré Leike dans un post de suivi détaillant sa démission. « Ces problèmes sont assez difficiles à résoudre, et je crains que nous ne soyons pas sur la bonne voie pour y parvenir. »

Anthropic, quant à elle, prétend être une entreprise d’IA responsable et intègre des principes éthiques dans le développement de l’IA.

« Nos équipes de recherche étudient la sécurité, le fonctionnement interne et l’impact sociétal des modèles d’IA, afin que l’intelligence artificielle ait un impact positif sur la société à mesure qu’elle devient de plus en plus avancée et performante. » dit l’énoncé de mission de l’entreprise.

OpenAI prend enfin note

Suite à ces sorties très médiatisées, le conseil d’administration d’OpenAI semble en avoir pris note. Dans une démarche stratégique conforme à l’orientation préconisée par Sutskever et Leike, le créateur de ChatGPT est créer un conseil « de sûreté et de sécurité ». Ce conseil fera des recommandations sur les décisions critiques en matière de sûreté et de sécurité sur tous les projets OpenAI.