Un modèle open source qui éclipse le GPT-3 vise à libérer l’IA des Big Tech

Un modèle de langage plus grand que GPT-3 est arrivé avec une ambition audacieuse : libérer IA des griffes de Big Tech.

Baptisé BLOOM, le grand modèle de langage (LLM) promet des performances similaires aux principaux systèmes de la Silicon Valley, mais avec une approche radicalement différente de l’accès.

Alors que les géants de la technologie ont tendance à garder leurs LLM vantés cachés au public, BLOOM est accessible à tous et gratuit.

Il est également multilingue — contrairement de Google LaMDA et GPT-3 d’OpenAI – une caractéristique inhabituelle dans un domaine dominé par l’anglais.

Ces fonctionnalités pourraient démocratiser l’accès à une technologie qui devrait avoir un impact profond sur la société.

De puissants modèles d’IA peuvent être entraînés et diffusés de manière ouverte.

Les LLM prouvent compétent dans une gamme croissante de tâchesy compris la rédaction d’essais, la génération de code et la traduction de langues.

Pourtant, ils sont aussi habiles à produire du contenu préjudiciable — et leurs capacités futures sont difficile à prévoir.

BLOOM donne aux chercheurs une chance unique d’explorer leurs risques et leurs avantages.

« BLOOM est une démonstration que les modèles d’IA les plus puissants peuvent être formés et publiés par la communauté de recherche au sens large avec responsabilité et de manière réellement ouverte, contrairement au secret typique des laboratoires de recherche industriels sur l’IA. » a déclaré Teven Le Scao, co-responsable de la formation de BLOOM, dans un communiqué.

Ouverture de l’IA

Les LLM sont d’un coût prohibitif à créer et à exécuter. La formation GPT-3, par exemple, a été estimée au coût jusqu’à 27,6 millions de dollars.

Inévitablement, les entreprises technologiques souhaitent protéger des investissements aussi importants, en particulier lorsqu’ils offrent des avantages concurrentiels.

Il n’est donc pas surprenant que les LLM soient rarement open source – à quelques exceptions notables près.

Meta a produit l’anomalie la plus importante. En mai, la société offert l’accès aux 175 milliards de paramètres OPT système.

Cependant, le modèle complet n’est disponible que sur demande et pour une utilisation non commerciale.

BLOOM accélère l’accessibilité.

Le modèle de 176 milliards de paramètres est disponible gratuitement pour toute personne ou institution qui accepte de le système Licence IA responsable.

N’importe qui peut aussi voir publiquement les notes de réunion, les discussions et le code derrière le modèle.

Les graines de BLOOM

BLOOM a été créé par BigScience, un projet de recherche lancé au début de 2021. L’initiative est lancée et dirigée par une startup d’IA Visage étreignant.

« Les grands modèles ML ont changé le monde de la recherche sur l’IA au cours des dernières années, mais l’énorme coût de calcul nécessaire pour les former a permis à très peu d’équipes d’avoir la capacité de les former et de les rechercher », a déclaré Thomas Wolf, co-chef de file de BigScience. et co-fondateur de Hugging Face

Le corpus de formation aligné sur nos valeurs.

L’équipe de Wolf, composée de 100 000 chercheurs de plus de 60 pays et de 250 institutions, a développé BLOOM pour promouvoir l’inclusion et la responsabilité dans les LLM.

Ils ont formé le modèle sur le Supercalculateur Jean Zay à Paris, France.

« Nous avons adopté une approche axée sur les données pour nous assurer que le corpus de formation était aligné sur nos valeurs », a déclaré Christopher Akiki, chercheur à l’Université de Leipzig et chercheur BigScience.

« La composition multidisciplinaire et internationale de BigScience nous a permis de réfléchir de manière critique à chaque étape du processus à partir de multiples points de vue : éthique, juridique, environnemental, linguistique et technique.

« Cela signifie que nous avons pu atténuer les préoccupations éthiques sans compromettre les performances ou l’échelle. »

La taille est certainement imposante. Avec 176 milliards de paramètres, BLOOM est plus grand que le GPT-3 d’OpenAI et l’OPT de MetaAI.

Le modèle peut générer du texte dans 46 langues naturelles et dialectes et 13 langages de programmation. Pour beaucoup d’entre eux, il s’agit du tout premier modèle de langage avec plus de 100 milliards de paramètres.

Il est également exceptionnellement abordable. BigScience dit les chercheurs peuvent utiliser BLOOM pour moins de 40 $/h sur un fournisseur de cloud.

Le modèle n’est pas susceptible de rivaliser avec ceux construits par Big Tech – mais il fournit au moins un moyen de les examiner.