Cet été de l’IA s’épanouit avec des modèles plus petits, sur plus d’appareils

Une opinion de longue date sur les capacités de l’IA est que plus c’est grand, plus c’est mieux. Des modèles plus volumineux, avec plus de données, équivalent invariablement à de meilleures expériences d’IA.

La réalité du marché d’aujourd’hui est radicalement différente. Il s’avère que les entreprises qui adoptent aujourd’hui l’IA générative n’ont pas besoin de modèles comportant 1 000 milliards de paramètres, voire des centaines de milliards de paramètres sur lesquels les LLM sont formés. Au lieu de cela, de nombreuses organisations adoptent des petits modèles de langage (SLM) personnalisés pour gérer des tâches spécifiques.

Ces tailles de modèles vont de cent millions à cent milliards de paramètres ; beaucoup peuvent courir PC ou même des smartphones. Qui sait ? Les SLM pourraient éventuellement alimenter les casques de réalité virtuelle.

L’arc de test et d’apprentissage se déroule généralement comme suit : les organisations ont utilisé des LLM pour mettre en œuvre des preuves de concept, mais ont réalisé au fil du temps qu’elles pouvaient obtenir des résultats similaires à un niveau similaire. moindre coût en utilisant des modèles plus petits de Microsoft, Meta et Google, ainsi que des startups telles que Hugging Face, Mistral et Anthropic.

En utilisant les SLM en conjonction avec des méthodes telles que la génération augmentée de réglage et de récupération (RAG) pour affiner les résultats à l’aide des données d’entreprise, les entreprises commencent à automatiser la récupération de documents et à analyser les données du service client pour suivre les habitudes des consommateurs, selon Le Wall Street Journal. Et le cas d’utilisation continuer à s’empiler.

Faire petit pour de grands avantages

Le coût est certainement un facteur important pour les responsables informatiques qui réfléchissent à la manière d’investir dans les technologies émergentes telles que GenAI. Même OpenAI, le roi des modèles frontières dont ChatGPT a récemment lancé la frénésie GenAI publié un modèle plus petit et moins coûteux.

Le moindre coût n’est pas le seul avantage de l’utilisation des SLM.

Augmentez la vitesse et l’efficacité. Les LLM nécessitent plusieurs GPU, ce qui peut ralentir le temps d’inférence. Les SLM, cependant, peuvent s’exécuter sur des machines locales tout en générant des résultats rapides aux invites. Et ils n’ont pas besoin de se connecter au cloud.

Réduisez la latence. Moins de paramètres à traiter signifie souvent des temps de réponse plus rapides. Les SLM ne surclasseront probablement pas GPT-4o de sitôt, mais encore une fois, en fonction des besoins de l’entreprise ou des cas d’utilisation, ils n’en auront peut-être pas besoin.

Spécificité du domaine: Étant donné que les SLM sont généralement formés sur des domaines spécifiques, ils peuvent fournir des résultats plus pertinents que les LLM, qui visent une généralisation plus large. Cela se prête bien aux cas d’utilisation dans lesquels la propriété intellectuelle de l’entreprise est incluse dans le modèle.

Limiter les erreurs. Les hallucinations restent une crainte pour les organisations préoccupées par les modèles produisant des informations inexactes ou biaisées. Le consensus de l’industrie estime que l’utilisation d’un ensemble plus petit de données de formation, ainsi que de RAG et humain dans la boucle approches, peuvent réduire les inexactitudes dans les résultats. Cela peut protéger votre propriété intellectuelle et la réputation de votre entreprise.

Augmenter la durabilité. Il s’avère que réduire les modèles d’IA – en optant pour les SLM plutôt que les LLM – est également meilleur pour l’environnement. L’IA consomme énormément d’énergie pour produire des jetons. Réduire ce quotient et ainsi réduire l’empreinte de l’IA d’une organisation est essentiel pour répondre aux normes de durabilité de l’entreprise.

Les praticiens qui observent la soif croissante de SLM ont fait quelques observations de haut niveau sur la tendance actuelle à la réduction des effectifs.

Pour transformer les données d’entraînement disponibles dans des formats synthétiques, les modèles devaient devenir plus grands avant de pouvoir devenir plus petits, ce qui aboutissait à des modèles plus petits qui seraient capables de penser raisonnablement bien, selon Andreï Karpathyun ancien ingénieur OpenAI. Développeur Drew Breunig remarques que les modélistes sont de plus en plus sélectifs quant aux données de formation qu’ils utilisent pour créer des modèles plus petits et plus efficaces.

C’est tout aussi bien si l’on considère le rareté croissante des données restantes disponibles pour former les LLM. Il semble que les modèles plus petits soient autant une nécessité pratique qu’une aubaine pour les budgets informatiques et l’efficacité.

Faire travailler Dell AI Factory pour vous

Quelle que soit la voie de modèle que vous choisissez, mettre en place une preuve de concept peut sembler intimidant. La bonne nouvelle est que ce n’est pas obligatoire.

Dell Technologies propose un feuille de route pour le déploiement de modèles d’IA et d’infrastructures, que vous utilisiez un SLM, un LLM ou quelque chose entre les deux.

Le Usine d’IA Dell aide les organisations à relever ces défis, en leur offrant des conseils pour préparer vos données d’entreprise et choisir une infrastructure basée sur l’IA. Le Usine d’IA Dell peut vous mettre en contact avec des partenaires de l’écosystème ouvert, ainsi qu’avec des services professionnels, qui peuvent vous fournir les cas d’utilisation et les outils nécessaires pour faciliter votre déploiement d’IA.

L’ère de l’IA comprend des types de modèles de toutes formes et tailles. N’oubliez pas qu’il n’est pas nécessaire de faire grand chose pour obtenir les résultats commerciaux que vous recherchez.

Apprenez-en davantage sur Dell AI Factory dans ce webinaire.