Des LLM « pour toutes les langues officielles de l’UE » à l’horizon pour une startup finlandaise

Un Finlandais démarrer a lancé aujourd’hui un site multilingue IA Ce modèle constitue une « étape importante » sur la voie des LLM pour chaque langue de l’UE, affirme l’entreprise.

Silo AI, basé à Helsinki, appelle le nouveau grand modèle linguistique Viking 7B. Il couvre le danois, le finnois, l’islandais, le norvégien et le suédois, ainsi que l’anglais et les langages de programmation. Les évaluations indiquent les meilleures performances de leur catégorie dans toutes les langues nordiques, sans compromettre les résultats en anglais.

Peter Sarlin, PDG de Silo AI, a déclaré à TNW que son entreprise était désormais « sur la bonne voie » vers son objectif ultime.

« Cette version marque une étape importante dans nos efforts continus visant à développer des modèles linguistiques performants pour toutes les langues officielles de l’UE », a-t-il déclaré.

« Avec la famille de modèles Viking, nous réaffirmons notre engagement en faveur de la souveraineté numérique de l’Europe. »

La famille LLM de Silo AI

Silo est spécialisé dans les langues à faibles ressources, qui manquent des données linguistiques généralement nécessaires pour former des modèles d’IA.

Sans LLM dans ces langues, des communautés entières seront privées d’innombrables services, de la traduction automatique aux soins de santé personnalisés.

Pour combler le manque de données, Silo applique diverses techniques. La première consiste à optimiser les architectures de modèles pour la pré-formation. Un autre intègre des paires traduites de langues à ressources élevées et faibles.

Plusieurs techniques utilisent un signal multilingue, qui améliore les liens entre les langues.

« Cela permet au modèle de généraliser et d’appliquer les modèles appris dans différentes langues, même celles dont les données de formation sont limitées », a déclaré Sarlin.

Nouveaux paramètres

Le Viking à 7 milliards de paramètres est la première version d’une famille de modèles annoncée le mois dernier. Silo prévoit également de lancer les versions 13B et 33B. Les points de contrôle pour ces deux LLM ont été publiés aujourd’hui.

À mesure que les paramètres se développent, les modèles amélioreront leur compréhension des invites et leur capacité à produire des résultats nuancés. Mais ils auront également besoin de ressources informatiques plus importantes, ce qui entraînera une hausse des coûts et de la consommation d’énergie.

Pour conserver ces ressources, Silo a formé Viking sur CHAMBRE — Le supercalculateur le plus puissant d’Europe et le troisième le plus écologique au monde le Top500 liste.

Avec des moyens maîtrisés et des performances éprouvées, Silo envisage désormais d’intégrer toutes les langues de l’UE.

« Nous considérons que les LLM multilingues font partie de l’infrastructure numérique européenne », a déclaré Sarlin.

L’un des thèmes de la conférence TNW de cette année est Ren-AI-ssance : la renaissance alimentée par l’IA. Si vous souhaitez approfondir tout ce qui concerne l’intelligence artificielle, ou simplement vivre l’événement (et saluer notre équipe éditoriale), nous avons quelque chose de spécial pour nos fidèles lecteurs. Utilisez le code TNWXMEDIA à la caisse pour obtenir 30 % de réduction sur votre carte d’affaires, passe investisseur ou des packages de démarrage (Amorcer & Augmenter).