À savoir avant de partir : 6 leçons pour l’adoption de GenAI en entreprise

En 1895, Mary Lathrap a écrit un poème qui a inspiré la citation suivante : « Vous ne pouvez pas vraiment comprendre l’expérience d’une autre personne tant que vous n’avez pas parcouru un kilomètre à sa place. » Cette citation décrit avec justesse ce que Dell Technologies et Intel font pour aider nos entreprises clientes à déployer rapidement, efficacement et en toute sécurité l’IA générative et les grands modèles de langage (LLM). De nombreuses organisations savent que les modèles d’IA génératifs « prêts à l’emploi » disponibles dans le commerce ne fonctionnent pas bien dans les environnements d’entreprise en raison des risques importants en matière d’accès aux données et de sécurité. En conséquence, des organisations comme Apple, Samsung, Accenture, Microsoft, Verizon, Wells Fargo et d’autres¹ ont interdit l’utilisation de grands modèles linguistiques commerciaux.

Compte tenu de l’importance de pouvoir contrôler l’accès aux données et de respecter les préoccupations en matière de confidentialité et de réglementation tout en exploitant l’énorme potentiel de GenAI, Dell Technologies et Intel ont étudié les implémentations de GenAI, les modèles open source et les alternatives aux modèles de paramètres de plus de mille milliards. Étaient en utilisant nos propres bases de données, en testant nos propres besoins et en construisant autour d’ensembles de problèmes spécifiques. En d’autres termes, nous nous mettons à la place de nos clients.

Marcher un kilomètre nous a appris 6 leçons

Après une exploration approfondie, nous avons appris 6 leçons importantes qui éclairent les défis et les opportunités de la voie à suivre pour l’IA générative d’entreprise. Connaître ces leçons avant l’adoption de l’IA générative probablement sauver temps, améliorer les résultats et réduire les risques et les coûts potentiels.

(Voici une lecture rapide sur la façon dont les entreprises mettent l’IA générative au travail).

Leçon 1 : à ne pas faire commencer à partir de zéro pour entraîner votre modèle LLMDes quantités massives de données et de ressources informatiques sont nécessaires pour former un LLM. Cela rend peu pratique la formation d’un LLM à partir de zéro. La formation GPT-3 a été présentée comme une merveille d’ingénierie. On dit qu’il aurait utilisé 1024 GPU, pris 34 jourset a coûté 4,6 millions de dollars rien qu’en calcul². Les spéculations sur GPT-4 indiquent qu’il est 1 000 fois plus grand que GPT-3³ et il a fallu des mois et beaucoup plus d’investissements pour le réaliser. Il s’agit d’investissements notables en temps, en données et en argent.

Au lieu de cela, une option plus viable consiste à effectuer un réglage fin sur un modèle général pré-entraîné. Des approches intéressantes telles que le réglage fin efficace des paramètres (PEFT) et l’adaptation de bas rang (LORA) peuvent rendre ce processus moins coûteux et plus réalisable. Cependant, ces méthodes peuvent encore s’avérer coûteuses, surtout si des mises à jour constantes sont nécessaires.

Une meilleure approche consiste à utiliser des techniques d’ingénierie d’incitation où des connaissances spécifiques et des instructions personnalisées sont utilisées comme entrées pour un LLM pré-formé. La génération augmentée de récupération (RAG), qui fournit un moyen d’optimiser la sortie LLM sans altérer le modèle LLM sous-jacent, semble être le cadre le meilleur et le plus pratique pour ce faire.

Leçon 2 : Les LLM ne servent pas uniquement à la génération de texte

En plus de la génération de texte, LLM sont à la pointe de la technologie pour la plupart des tâches de traitement du langage naturel (NLP), telles que l’identification de l’intention de l’utilisateur, la classification, la recherche sémantique et l’analyse des sentiments. Les LLM sont également au cœur de la génération texte-image comme DALL-E et Stable Diffusion. Pour les entreprises, faire preuve de créativité avec les LLM et les utiliser pour différentes tâches contribuera à garantir une solution robuste dans tous les cas d’utilisation potentiels.

Par exemple, dans le support client, vous avez probablement entendu « Cet appel peut être enregistré à des fins de formation. » Les entreprises de télécommunications utilisent la PNL pour analyser les moyens d’améliorer l’expérience client. De plus, les entreprises utilisent des systèmes automatisés qui dirigent les clients vers le représentant d’assistance approprié sur la base d’invites verbales : c’est aussi la PNL en action.

Leçon 3 : Les LLM open source sont limités

Il existe 300 000 modèles sur HuggingFace.co, tous open source et soutenus par une communauté de développeurs dédiée. Malgré des développements et des améliorations rapides, les LLM open source, bien que sophistiqués, ont encore des limites. Comme pour les modèles open source et propriétaires, vous devez faire preuve de diligence raisonnable. Étant donné que les LLM sont conçus pour gérer des tâches complexes, des limitations inhérentes peuvent apparaître lorsque vous travaillez avec de gros volumes de données.

Une solution de contournement consiste à créer un système avec plusieurs LLM. De cette façon, les différents LLM peuvent travailler ensemble pour limiter et gérer la portée des tâches LLM en utilisant des techniques de prétraitement et des approches standard d’apprentissage automatique (ML) lorsque cela est possible. Dans le même temps, il est important de gérer plusieurs LLM simultanément pour éviter qu’ils ne dépendent trop les uns des autres et ne provoquent des erreurs cumulatives.

Leçon 4 : Les sources de données d’entrée sont aussi importantes que les sorties

Chez Dell Technologies et Intel, nous nous concentrons sur l’amélioration des résultats pour nos clients. La génération de résultats LLM de haute qualité dépend de données fiables, bien formatées et pertinentes à saisir lors de la personnalisation des LLM. En pratique, il faudrait consacrer plus de temps à organiser et à préparer les sources de données plutôt qu’à ajuster les paramètres du modèle LLM.

L’exploitation de structures susceptibles d’améliorer la représentation des données, telles que les graphiques de connaissances, l’analyse avancée et la reconnaissance d’entités, peut améliorer considérablement les résultats. Les LLM devraient être utilisés pour produire un meilleur résultat et pour comprendre et affiner la contribution.

Leçon 5 : Le coût est une partie importante, mais gérable, de l’équation

Comme indiqué ci-dessus, la formation GPT-3 et GPT-4 aurait nécessité des machines très coûteuses et des processus longs nécessitant une infrastructure de calcul intensif. Cela met en évidence les contraintes majeures auxquelles sont confrontés les LLM et l’IA générative.

La formation des LLM est coûteuse et gourmande en énergie. Exécuter une inférence sur plus de 100 milliards de paramètres est également très coûteux. Une requête sur ChatGPT nécessite beaucoup plus d’énergie et de calcul qu’une requête classique d’un moteur de recherche. Peu d’entreprises peuvent se permettre d’acheter un superordinateur – ou d’en utiliser un en tant que service – pour développer leurs propres LLM.

Il existe des moyens d’exécuter des services d’IA, même génératifs, sur des instances cloud moins coûteuses et des centres de données sur site ou colocalisés. Le recyclage d’un modèle sur vos données pour votre application spécifique peut créer un modèle plus petit et plus précis qui fonctionne bien avec moins de puissance de calcul.

Leçon 6 : Utilisez votre problème unique à votre avantage

L’utilisation de modèles d’IA et LLM génératifs personnalisés, open source et sur site est une opportunité. Les entreprises peuvent créer des solutions sur mesure basées sur des demandes spécifiques. Une autre astuce consiste à investir dans une bonne interface utilisateur, notamment en capturant des informations d’entrée riches, en guidant l’utilisateur tout au long de l’utilisation du système et en évaluant la sortie pour garantir qu’elle est significative et pertinente. Une grande partie du travail de développement et de déploiement du LLM comprend l’expérimentation et l’utilisation créative des invites.

Il est également important de comprendre que tous les problèmes ne nécessitent pas une solution d’IA générative ou même une solution d’IA. Se concentrer sur des besoins spécifiques et uniques crée des opportunités pour faire correspondre les modèles à l’application, se recycler sur des ensembles de données précis et créer des applications sur mesure. Chez Dell Technologies et Intel, nous avons appris à ne pas nous laisser limiter par les usages traditionnels et à être ouverts à un monde de possibilités lors de l’exploration des modèles d’IA générative.

Avancer ensemble

L’IA générative et les LLM promettent d’apporter une transformation incroyable au monde de l’entreprise. Pour exploiter ce pouvoir et ce potentiel, les entreprises doivent personnaliser leurs approches et adapter leurs LLM à de nouvelles façons de faire et de penser. Grâce à notre expérience pratique chez Dell Technologies et Intel, nous sommes bien placés pour accompagner nos clients dans leur parcours d’IA générative.

Voir « Mettre l’IA au travail : l’IA générative rencontre l’entreprise. »

Voir « Construire l’entreprise générative basée sur l’IA : les cas d’utilisation actuels. »

Lire En savoir plus sur les solutions Dell AI et les derniers résultats Intel MLPerf ici.

^[1] https://jaxon.ai/list-of-companies-that-have-banned-chatgpt/

^[2] https://medium.com/codex/gpt-4-will-be-500x-smaller-than-people-think-here-is-why-3556816f8ff2#:~:text=The%20creation%20of%20GPT%2D3 , Les GPU%2C%20 prendraient%20%2053%20ans.

^[3] https://levelup.gitconnected.com/gpt-4-parameters-explained-everything-you-need-to-know-e210c20576ca