Google DeepMind lance le modèle Gemma 2 à paramètres 2B

Google DeepMind a annoncé aujourd’hui la sortie de la version à 2 milliards (2B) de paramètres de Gemma 2, la deuxième génération de son Gemma IA des modèles.

D’abord lancé en février de cette année, Gemma est une famille de modèles ouverts légers de type texte à texte, conçus pour les développeurs et les chercheurs et basés sur la technologie qui alimente Google Gemini.

DeepMind a publié Gemma 2 en juin, dans deux tailles différentes : 9 milliards (9B) et 27 milliards (27) de paramètres.

Le nouveau modèle 2B apprend des modèles plus grands grâce à la distillation et produit des résultats démesurés, explique DeepMind. La société affirme également qu’elle surpasse tous les modèles GPT-3.5 sur le marché. Classement LMSYS Chatbot Arena.

Gemma 2 2B peut fonctionner sur une large gamme de matériel, des ordinateurs portables aux appareils de périphérie et aux déploiements cloud avec Vertex AI et Google Kubernetes Engine (GKE). De plus, il est suffisamment petit pour fonctionner sur le niveau gratuit de l’accélérateur d’apprentissage en profondeur NVIDIA T4.

Portée ShieldGemma et Gemma

DeepMind introduit également un ensemble de deux ajouts supplémentaires à la famille de modèles : ShieldGemma et Gemma Scope.

ShieldGemma est une série de classificateurs de sécurité conçus pour détecter et modérer le contenu nuisible dans les entrées et sorties du modèle d’IA. Il existe en différentes tailles et cible les discours de haine, le harcèlement, les contenus sexuellement explicites et les contenus dangereux.

GemmaScope se concentre sur la transparence. L’outil comprend une collection de auto-encodeurs clairsemés (SAE). Il s’agit de réseaux de neurones spécialisés qui dévoilent le fonctionnement interne complexe des modèles Gemma 2 et fournissent un format plus facile à comprendre sur la manière dont ils traitent les informations et prennent des décisions.

Il existe plus de 400 SAE disponibles gratuitement couvrant toutes les couches de Gemma 2 2B et 9B. L’objectif est de permettre aux chercheurs de créer des systèmes d’IA plus transparents et plus fiables.

À partir d’aujourd’hui, les développeurs et les chercheurs peuvent télécharger Gemma 2 2B depuis Kaggle, Visage câlinet Jardin modèle Vertex AIou essayez-le dans Google IA Studio. ShieldGemma et Gemma Scope sont disponibles ici et ici.