Silo AI lance un point de contrôle en mission pour démocratiser les LLM

Un an s’est écoulé depuis qu’OpenAI a lancé ChatGPT dans le monde et popularisé des termes tels que modèle fondateur, LLM et GenAI. Cependant, les avantages promis du générateur IA la technologie est encore beaucoup plus susceptible d’être dérivée de ceux qui parlent anglais plutôt que d’autres langues.

Il existe plus de 7 000 langues dans le monde. Pourtant, la plupart des grandes langues les modèles (LLM) fonctionnent beaucoup plus efficacement en anglais. Naturellement, cela menace d’amplifier les préjugés linguistiques en matière d’accès aux connaissances, à la recherche, à l’innovation – et à l’avantage concurrentiel des entreprises.

En novembre, la société finlandaise Silo AI a lancé son open source multilingue. européen LLM Poro 34B développé en collaboration avec l’Université de Turku. Poro, qui signifie renne en finnois, a été entraîné sur le supercalculateur LUMI le plus puissant d’Europe à Kajani, en Finlande. (Il est intéressant de noter que LUMI fonctionne sur l’architecture AMD, par opposition aux formations LLM à la mode. Nvidia.)

Parallèlement à Poro 1, la société a dévoilé un programme de points de contrôle de recherche qui publiera des points de contrôle à mesure que le modèle sera terminé (les trois premiers points ont été annoncés avec le modèle le mois dernier).

Désormais, l’entreprise, à travers sa filiale SiloGen, a entraîné plus de 50 % du modèle et vient de publier les deux prochains points de contrôle du programme. Une fois ces cinq points de contrôle terminés, le Poro 34B affiche les meilleures performances de sa catégorie pour les langues à faibles ressources comme le finnois (par rapport au lama, au mistral, au FinGPT, etc.) — sans compromettre les performances en anglais.

Le <3 de la technologie européenne

Les dernières rumeurs sur la scène technologique européenne, une histoire de notre sage vieux fondateur Boris et un art de l’IA discutable. C’est gratuit, chaque semaine, dans votre boîte de réception. S’inscrire maintenant!

Le chercheur Sampo Pyysalo de TurkuNLP déclare qu’ils s’attendent à avoir pleinement entraîné le modèle dans les prochaines semaines. Dans la prochaine étape, le modèle ajoutera la prise en charge d’autres langues nordiques, notamment le suédois, le norvégien, le danois et l’islandais.

« Il est impératif pour La souveraineté numérique de l’Europe avoir accès à des modèles linguistiques alignés sur les valeurs, la culture et les langues européennes. Nous sommes fiers de voir que Poro affiche les meilleures performances de sa catégorie sur une langue à faibles ressources comme le finnois », a déclaré Peter Sarlin, co-fondateur et PDG de Silo AI, à TNW. « Conformément à l’intention de couvrir toutes les langues européennes, il est naturel de commencer par une extension aux langues nordiques. »

De plus, SiloGen a commencé la formation de Poro 2. Grâce à un partenariat avec l’association à but non lucratif LAION (Large-scale Artificial Intelligence Open Network), il ajoutera la multimodalité au modèle.

« Il est également naturel d’étendre Poro avec vision », a ajouté Sarlin. « Comme pour les données textuelles, nous voyons un potentiel encore plus important pour l’IA générative pour consolider de grandes quantités de données de différentes modalités. »

LAION se dit « passionné par l’avancement du domaine de l’apprentissage automatique pour le bien commun ». Conformément aux intentions de Silo AI de construire son modèle GenAI et à la mission globale de LAION visant à accroître l’accès aux modèles de ML et aux ensembles de données à grande échelle, Poro 2 sera disponible gratuitement sous la licence Apache 2.0. Cela signifie que les développeurs pourront également créer des solutions propriétaires.

Silo AI, qui se présente comme « le plus grand laboratoire privé d’IA d’Europe », s’est lancé en 2017 sur l’idée que l’Europe avait besoin d’un fleuron de l’IA. La société est basée à Helsinki, en Finlande, et crée des solutions et des produits basés sur l’IA pour permettre les appareils intelligents, les véhicules autonomes, l’industrie 4.0 et les villes intelligentes. Actuellement, Silo AI compte plus de 300 employés et possède également des bureaux en Suède, au Danemark, aux Pays-Bas et au Canada.