Pour les responsables informatiques, la mise en œuvre de l’IA générative reste un objectif en cours

Mais tout commence par les données, et c’est un domaine dans lequel de nombreuses entreprises sont à la traîne. Sans une stratégie unique et globale, chaque département créera ses propres solutions individuelles.

« De cette façon, vous finissez par faire beaucoup plus d’erreurs et ne rien apprendre de nouveau », explique Monteiro. « Ce qu’un DSI doit faire, c’est adopter une approche architecturale et investir dans une plate-forme commune. »

Il y a ensuite le dur travail de collecte et de préparation des données. Les contrôles de qualité et la validation sont essentiels pour créer une base solide, souligne-t-il, afin de ne pas introduire de préjugés qui compromettent les clients et les entreprises.

Si un ensemble de données particulier exclut les transactions de plus grande valeur parce qu’elles sont toutes traitées manuellement, le modèle résultant pourrait potentiellement privilégier les secteurs d’activité plus petits et moins rentables. Garbage in, garbage out s’applique à la nouvelle ère de la génération IA comme dans tous les autres contextes technologiques précédents.

Pour les entreprises qui ont déjà investi dans leur infrastructure de données, ces investissements continueront à porter leurs fruits à l’avenir, souligne Monteiro. « Les entreprises qui ont investi dans la fondation de données ont un énorme avantage dans ce qu’elles font avec l’IA générative », ajoute-t-il.

Cependant, ces bases de données traditionnelles, conçues à l’origine pour des cas d’utilisation d’analyse avancée et d’apprentissage automatique, ne vont pas plus loin.

« Si vous souhaitez aller au-delà des bases, vous devez comprendre certaines des subtilités les plus profondes de l’IA générative », souligne Shimmin d’Omdia. « Quelle est la différence entre les différents modèles d’intégration, qu’est-ce que le chunking, qu’est-ce que le chevauchement ? Quelles sont les différentes méthodologies qui peuvent être utilisées pour tokeniser les données de la manière la plus efficace ? Avez-vous besoin d’une dimensionnalité élevée ou faible pour économiser de l’espace dans une base de données vectorielle ? Les outils MLOps dont nous disposons n’ont pas été conçus pour effectuer ces tâches. Tout cela est très compliqué et vous pouvez perdre beaucoup de temps et d’argent si vous ne savez pas ce que vous faites. »

Mais les fournisseurs de plateformes MLOps intensifient leurs efforts, dit-il. « Des entreprises comme Dataku, DataRobot et Databricks se sont réorganisées pour prendre en charge LLMOps ou GenAIOps. Toutes les petites pièces commencent à se mettre en place. »

L’analyse du niveau d’abstraction

Lo scorso novembre, OpenAI, la piattaforma di riferimento per la gen AI aziendale, ha inaspettatamente licenziato il suo CEO, Sam Altman, scatenando una caccia al nuovo CEO, con i dipendenti dell’azienda che minacciavano di andarsene e Microsoft che si offriva di accogliere tous. Au cours de ces journées tumultueuses, de nombreuses entreprises utilisant des modèles OpenAI ont soudainement réalisé qu’elles avaient mis tous leurs œufs dans le même panier instable.

« Nous avons vu de nombreuses intégrations OpenAI », déclare Dion Hinchcliffe, vice-président et analyste principal chez Constellation Research. « Mais tout le problème de gestion survenu avec OpenAI a amené les gens à remettre en question leur surengagement. »

Même si une entreprise ne fait pas faillite, elle pourrait rapidement devenir obsolète. Au début de l’été dernier, ChatGPT était quasiment la seule option. Ensuite, Facebook a publié Llama 2, gratuit pour la plupart des entreprises clientes, suivi de Claude 2 d’Anthropic, qui offrait 200 000 jetons, suffisamment pour que les utilisateurs puissent couper et coller l’équivalent d’un livre de 600 pages directement dans une invite, laissant les 32 000 jetons de GPT-4. jetons dans la poussière. Pour ne pas être en reste, Google a toutefois annoncé en février que son nouveau modèle Gemini 1.5 pouvait gérer jusqu’à 10 millions de tokens. Avec cela, et avec une plus grande rapidité, efficacité et précision entre la vidéo, l’audio et la copie écrite, il n’y avait pratiquement aucune limite.

Le nombre de modèles gratuits et open source continue de proliférer, tout comme les modèles spécifiques à un secteur, pré-entraînés, par exemple, pour la finance, la médecine ou la science des matériaux.

« Il semble qu’il y ait de nouvelles annonces chaque semaine », souligne Monteiro de Publicis Sapient.

C’est là qu’intervient le « jardin modèle ». Les entreprises qui sont disciplinées dans la manière dont elles sélectionnent et gèrent leurs modèles, et qui conçoivent leurs systèmes de manière à ce qu’ils puissent être facilement négociés, seront en mesure de gérer la volatilité dans cet espace.

Mais un tel niveau d’abstraction doit faire plus que permettre à l’entreprise de mettre à jour ses modèles ou de choisir le meilleur pour chaque cas d’utilisation particulier.

Il peut également être utilisé pour l’observabilité, la mesure et les contrôles d’accès basés sur les rôles, explique Subha Tatavarti, CTO de la société de technologie et de conseil Wipro Technologies.

Wipro, qui compte 245 000 employés, n’a d’autre choix que d’adopter la génération AI, affirme-t-elle, parce que ses clients s’attendent à ce qu’elle le fasse.

« Nous sommes fondamentalement une entreprise technologique », dit-il. « Nous devons le faire ».

Élargir les perspectives

L’observabilité permet à une entreprise de voir où vont les données, quels modèles et suggestions sont utilisés et combien de temps il faut pour obtenir des réponses. Il peut également inclure un mécanisme permettant de modifier ou de masquer les données sensibles.

Une fois qu’une entreprise sait ce qui se passe avec ses modèles, elle peut mettre en œuvre des contrôles de mesure – par exemple, des limites sur la quantité d’utilisation d’un modèle particulier – pour éviter des hausses de coûts inattendues.

« Pour le moment, le fonctionnement du comptage est celui de la consommation symbolique », souligne Tatavarti. « Et cela pourrait coûter très cher. »

De plus, pour les FAQ, les entreprises peuvent mettre en cache les réponses pour économiser du temps et de l’argent. Et pour certains cas d’utilisation, vous n’aurez peut-être pas besoin d’un LLM commercial coûteux et de haut niveau, car un modèle open source hébergé localement peut être, en soi, déjà plus que suffisant.

« Tout cela nous passionne et mon équipe y travaille », ajoute-t-il. « Pour nous, il est impératif que cela soit fait. »

Et lorsqu’il s’agit de contrôles d’accès, le principe clé devrait être de ne jamais exposer les API natives, mais de disposer d’une couche intermédiaire qui contrôle les autorisations et gère d’autres tâches de sécurité et de gestion.

Si, par exemple, une plateforme RH utilise la génération AI pour répondre à des questions basées sur une base de données vectorielle de politiques et d’autres informations, un employé devrait pouvoir poser des questions sur son salaire, explique Rajat Gupta, directeur du numérique chez Xebia, un cabinet de conseil informatique. ferme. Mais vous ne devriez pas pouvoir poser de questions sur celles des autres employés, sauf si vous êtes manager ou si vous travaillez dans les ressources humaines.

Compte tenu de la vitesse à laquelle l’IA est adoptée dans les entreprises, dans toutes les différentes unités commerciales et fonctions, ce serait un cauchemar de créer ces contrôles à partir de zéro pour chaque cas d’utilisation.

« Le travail serait énorme », estime-t-il. « Ce serait le chaos. »

Gupta convient que les entreprises qui ont besoin de créer ce type de fonctionnalités devraient le faire une fois, puis les réutiliser. « Prenez tout ce dont ils ont besoin en commun – sécurité, surveillance, contrôles d’accès – et construisez-le dans le cadre d’une plate-forme de niveau entreprise », dit-il.

Prenons, par exemple, une passerelle AI, dont la passerelle open source MLflow AI Gateway est un exemple. Sorti en mai dernier, il est déjà obsolète au profit du MLflow Deployments Server. Un autre outil utilisé par son entreprise est Arthur Shield d’Arthur AI, un pare-feu pour les LLM. Filtre les attaques par injection rapide et divers autres types malveillants ou dangereux.

Et puis il y a Ragas, qui permet de vérifier la réponse d’une génération d’IA par rapport aux informations réelles d’une base de données vectorielles, pour améliorer la précision et réduire les hallucinations.

« Il existe de nombreux projets de ce type, tant dans l’espace open source que commercial », note-t-il.

Les plateformes d’IA tierces, les startups et les consultants affluent également pour combler les lacunes.

« La façon dont l’écosystème évolue est étonnante », poursuit Gupta. « Nous pensions que le rythme allait ralentir, mais ce n’est pas le cas. Cela augmente rapidement. »

Ainsi, pour arriver plus rapidement sur le marché, Xebia associe ces différents projets, dit-il, mais cela n’aide pas que les entreprises d’IA continuent à proposer de nouvelles choses, comme des agents autonomes alimentés par l’IA, par exemple.

« Si vous faites appel à des agents autonomes, comment mesurez-vous l’efficacité du projet global ? » demande-t-il. « C’est une difficulté. »

Aujourd’hui, Xebia bloque les agents, limitant leur autonomie et ne leur permettant d’effectuer que des tâches très limitées et précises. « C’est la seule façon de procéder pour le moment », ajoute-t-il. « Limitez les compétences auxquelles ils ont accès et disposez d’une certaine forme de contrôle central afin qu’ils ne se parlent pas. Nous surveillons cela jusqu’à ce que nous ayons une compréhension plus évoluée et des boucles de rétroaction. Il s’agit d’un domaine relativement nouveau, il est donc intéressant de voir comment il va évoluer.

La construction de barrières

Selon l’enquête cnvrg.io, la conformité et la confidentialité sont les principales préoccupations des entreprises qui cherchent à mettre en œuvre la génération d’IA, et passent toujours avant la fiabilité, le coût et le manque d’expertise technique.

De même, dans l’enquête IBM, pour les entreprises qui ne mettent pas en œuvre l’IA générative, la confidentialité des données a été citée comme un obstacle par 57 % des personnes interrogées, et la transparence par 43 %. De plus, 85 % de l’échantillon ont déclaré que les consommateurs seraient plus susceptibles de choisir des entreprises ayant des pratiques d’IA transparentes et éthiques, mais moins de la moitié s’efforcent de réduire les biais, de suivre la provenance des données, de rendre l’IA plus compréhensible ou d’élaborer des politiques éthiques.

Il est facile pour les technologues de se concentrer sur les solutions techniques. L’IA éthique va au-delà de la technologie pour inclure des perspectives juridiques et de conformité, ainsi que des questions liées aux valeurs et à l’identité de l’entreprise. C’est donc un domaine dans lequel les DSI ou les Chief AI Officers peuvent intervenir et aider à diriger de grandes entreprises.

Et cela va encore plus loin. La création d’infrastructures de données, de contrôles de sécurité et de gestion et de guides éthiques adaptés à la génération AI peut être la première étape vers la mise en œuvre complète des LLM.

L’IA générative obligera les DSI à repenser la technologie, déclare Matt Barrington, responsable des technologies émergentes chez EY America. Avant la génération AI, les logiciels étaient déterministes, dit-il.

« Vous avez conçu, construit, testé et itéré jusqu’à ce que le tout fonctionne comme prévu », dit-il. « Si cela ne s’est pas produit, il y a probablement eu un bug et vous êtes revenu pour le corriger. Si cela se produisait, il était mis en production. » Toutes les grandes piles informatiques, quel que soit le modèle logiciel, étaient déterministes. Aujourd’hui, outre l’informatique quantique, la génération IA est le premier modèle largement connu de logiciel non déterministe, dit-il. « Le bug est en réalité une de ses caractéristiques et le fait qu’il puisse générer quelque chose de manière autonome est sa principale force. »

Cela ne signifie pas que les anciens logiciels doivent être jetés. MLOps et Pytorch sont toujours importants, dit-il, tout comme savoir quand créer un modèle d’intégration RAG, un DAG ou passer à la multimodalité, ainsi que préparer les données pour la génération AI.

« Tous ces aspects resteront importants », ajoute-t-il. « Mais nous verrons l’émergence d’une nouvelle pile de plates-formes non déterministes qui viendra compléter la pile traditionnelle, avec l’émergence d’un tout nouveau domaine d’ingénierie et d’opérations d’infrastructure pour prendre en charge ces capacités. »

Cela changera la façon dont les entreprises fonctionnent à un niveau fondamental, et évoluer dans cette direction pour devenir une entreprise véritablement basée sur l’IA constituera un changement rapide, dit-il. « Observer cette évolution sera très intéressant », conclut-il.