Pour les responsables informatiques, la génération AI opérationnalisée reste une cible mouvante

Mais tout commence par les données, et c’est un domaine dans lequel de nombreuses entreprises sont à la traîne. Sans une stratégie unique et globale, chaque département mettra en place ses propres solutions individuelles.

« Si vous faites cela, vous finirez par faire beaucoup plus d’erreurs et réapprendre encore et encore les mêmes choses », explique Monteiro. « Ce que vous devez faire en tant que DSI, c’est adopter une approche architecturale et investir dans une plateforme commune. »

Il y a ensuite le dur travail de collecte et de préparation des données. Les contrôles de qualité et la validation sont essentiels pour créer une base solide, explique-t-il, afin de ne pas introduire de préjugés, qui nuisent aux clients et aux entreprises.

Ainsi, si un ensemble de données particulier exclut les transactions de plus grande valeur parce qu’elles sont toutes traitées manuellement, le modèle résultant pourrait alors potentiellement privilégier les secteurs d’activité plus petits et moins rentables. Garbage in, garbage out s’applique à la nouvelle ère de la génération IA autant qu’au cours des périodes technologiques précédentes.

Pour les entreprises qui ont déjà investi dans leur infrastructure de données, ces investissements continueront à porter leurs fruits à l’avenir, affirme Monteiro. « Les entreprises qui ont investi dans des fondations de données ont une longueur d’avance considérable dans ce qu’elles font avec l’IA générative », dit-il.

Pourtant, ces fondations de données traditionnelles conçues à l’origine pour des cas d’utilisation d’analyse avancée et d’apprentissage automatique ne vont pas plus loin.

« Si vous souhaitez aller au-delà des bases, vous devrez comprendre certaines des subtilités les plus profondes de l’IA générative », explique Shimmin d’Omdia. « Quelle est la différence entre les différents modèles d’intégration, qu’est-ce que le chunking, qu’est-ce que le chevauchement ? Quelles sont les différentes méthodologies que vous pouvez utiliser pour tokeniser les données de la manière la plus efficace ? Souhaitez-vous une dimensionnalité élevée ou faible pour économiser de l’espace dans votre base de données vectorielles ? Les outils MLOps dont nous disposons n’ont pas été conçus pour faire cela. Tout cela est très compliqué et vous pouvez perdre beaucoup de temps et d’argent si vous ne savez pas ce que vous faites.

Mais les fournisseurs de plateformes MLOps intensifient leurs efforts, dit-il. « Des entreprises comme Dataku, DataRobot et Databricks se sont toutes réorganisées pour prendre en charge LLMOps ou GenAIOps. Toutes les petites pièces commencent à se mettre en place.

Analyser la couche d’abstraction

En novembre dernier, OpenAI, la plate-forme incontournable pour l’IA de génération d’entreprise, a licencié de manière inattendue son PDG, Sam Altman, ce qui a déclenché une ruée semblable à un cirque pour trouver un nouveau PDG, le personnel a menacé de se retirer et Microsoft a proposé d’accepter tout le monde. Au cours de ces journées tumultueuses, de nombreuses entreprises utilisant les modèles OpenAI ont soudainement réalisé qu’elles mettaient tous leurs œufs dans le même panier instable.

« Nous avons vu de nombreuses intégrations OpenAI », déclare Dion Hinchcliffe, vice-président et analyste principal chez Constellation Research. « Mais tout le problème de gestion survenu avec OpenAI a amené les gens à remettre en question leur engagement excessif. »

Même si une entreprise ne fait pas faillite, elle peut rapidement devenir obsolète. Au début de l’été dernier, ChatGPT était quasiment le seul jeu en ville. Ensuite, Facebook a publié Llama 2, gratuit pour la plupart des entreprises clientes, suivi de Claude 2 d’Anthropic, qui est sorti avec une fenêtre contextuelle de 200 000 jetons – suffisamment pour que les utilisateurs puissent copier et coller l’équivalent d’un livre de 600 pages directement dans une invite – laissant les 32 000 jetons de GPT-4 dans la poussière. Pour ne pas être en reste, Google a annoncé en février son nouveau modèle Gemini 1.5 pouvant gérer jusqu’à 10 millions de jetons. Grâce à cela, ainsi qu’à une vitesse, une efficacité et une précision accrues pour la vidéo, l’audio et la copie écrite, il n’y avait pratiquement aucune limite.

Le nombre de modèles gratuits et open source continue de proliférer, ainsi que les modèles spécifiques à un secteur, qui sont pré-formés, par exemple, sur la finance, la médecine ou la science des matériaux.

« Il semble que vous ayez de nouvelles annonces chaque semaine », explique Monteiro de Publicis Sapient.

C’est là qu’intervient un « jardin modèle », dit-il. Les entreprises qui sont disciplinées dans la manière dont elles sélectionnent et gèrent leurs modèles, et qui conçoivent leurs systèmes de manière à ce que les modèles puissent être facilement échangés, seront en mesure de gérer la volatilité dans cet espace.

Mais cette couche d’abstraction doit faire plus que simplement permettre à une entreprise de mettre à niveau ses modèles ou de choisir le meilleur pour chaque cas d’utilisation particulier.

Il peut également être utilisé pour l’observabilité, la mesure et les contrôles d’accès basés sur les rôles, explique Subha Tatavarti, CTO de la société de technologie et de conseil Wipro Technologies.

Wipro, qui compte 245 000 employés, n’a d’autre choix que d’adopter la génération AI, dit-elle, parce que ses clients l’attendent.

« Nous sommes fondamentalement une entreprise technologique », dit-elle. « Nous devons le faire. »

Élargir les perspectives

L’observabilité permet à une entreprise de voir où vont les données, quels modèles et invites sont utilisés et combien de temps il faut pour que les réponses reviennent. Il peut également inclure un mécanisme permettant de modifier ou de masquer les données sensibles.

Une fois qu’une entreprise sait ce qui se passe avec ses modèles, elle peut mettre en œuvre des contrôles de mesure (limites sur la quantité d’utilisation d’un modèle particulier, par exemple) pour éviter des hausses de coûts inattendues.

« À l’heure actuelle, le fonctionnement du comptage repose sur le modèle de consommation symbolique », explique Tatavarti. « Et cela pourrait coûter très cher. »

De plus, pour les FAQ, les entreprises peuvent mettre en cache les réponses pour économiser du temps et de l’argent. Et pour certains cas d’utilisation, un LLM commercial haut de gamme coûteux peut ne pas être nécessaire puisqu’un modèle open source hébergé localement peut suffire.

« Tout cela nous fascine et mon équipe y travaille définitivement », ajoute-t-elle. « C’est un impératif pour nous de le faire. »

Et lorsqu’il s’agit de contrôles d’accès, le principe fondamental devrait être de ne jamais exposer les API natives à l’organisation, mais plutôt de disposer d’une couche intermédiaire qui vérifie les autorisations et gère d’autres tâches de sécurité et de gestion.

Si, par exemple, une plateforme RH utilise la génération AI pour répondre à des questions basées sur une base de données vectorielle de politiques et d’autres informations, un employé devrait pouvoir poser des questions sur son propre salaire, explique Rajat Gupta, directeur numérique chez Xebia, une société informatique. Conseil. Mais ils ne devraient pas pouvoir poser de questions sur celles des autres employés, à moins qu’ils ne soient eux-mêmes managers ou qu’ils travaillent dans les RH.

Étant donné la rapidité avec laquelle l’IA de génération est adoptée dans les entreprises dans toutes les différentes unités commerciales et fonctions, ce serait un cauchemar de créer ces contrôles à partir de zéro pour chaque cas d’utilisation.

« Le travail serait énorme », estime-t-il. « Ce serait le chaos. »

Gupta convient que les entreprises qui ont besoin de créer ce type de fonctionnalités devraient le faire une fois, puis les réutiliser. « Prenez tout ce dont ils ont besoin en commun – sécurité, surveillance, contrôles d’accès – et construisez-le dans le cadre d’une plate-forme d’entreprise », dit-il.

Il l’appelle une passerelle IA, la passerelle open source MLflow AI en étant un exemple. Sorti en mai dernier, il est déjà obsolète au profit du serveur de déploiement MLflow. Un autre outil que son entreprise utilise est Arthur Shield d’Arthur AI, un pare-feu pour les LLM. Il filtre les attaques par injection d’invites, les grossièretés et autres invites malveillantes ou dangereuses.

Et puis il y a Ragas, qui permet de vérifier la réponse d’une génération AI par rapport aux informations réelles d’une base de données vectorielles afin d’améliorer la précision et de réduire les hallucinations.

« Il existe de nombreux projets de ce type, tant dans le domaine open source que dans le domaine commercial », dit-il.

Des plateformes d’IA tierces, des startups et des consultants se précipitent également pour combler les lacunes.

« La manière dont l’écosystème de l’IA évolue est surprenante », déclare Gupta. « Nous pensions que le rythme allait ralentir, mais ce n’est pas le cas. Cela augmente rapidement.

Ainsi, pour arriver plus rapidement sur le marché, Xebia regroupe ces différents projets, dit-il, mais cela n’aide pas que les sociétés d’IA continuent à proposer de nouvelles choses comme des agents autonomes alimentés par l’IA, par exemple.

« Si vous utilisez des agents autonomes, comment mesurez-vous réellement l’efficacité de votre projet global d’agents ? » il demande. « C’est un défi de réellement surveiller et contrôler. »

Aujourd’hui, Xebia entrave les agents, réduisant leur autonomie et ne leur permettant d’effectuer que des tâches très limitées et précises. « C’est la seule façon de procéder pour le moment », ajoute-t-il. « Limitez les compétences auxquelles ils ont accès et disposez d’un contrôleur central pour qu’ils ne se parlent pas. Nous le contrôlons jusqu’à ce que nous ayons une compréhension et des boucles de rétroaction plus évoluées. Il s’agit d’un domaine assez nouveau, il est donc intéressant de voir comment cela évolue. »

Garde-corps de construction

Selon l’enquête cnvrg.io, la conformité et la confidentialité étaient les principales préoccupations des entreprises cherchant à mettre en œuvre la génération AI, devant la fiabilité, le coût et le manque de compétences techniques.

De même, dans l’enquête IBM, pour les entreprises qui ne mettent pas en œuvre la génération AI, la confidentialité des données a été citée comme un obstacle par 57 % des personnes interrogées, et la transparence par 43 %. En outre, 85 % de tous les répondants ont déclaré que les consommateurs seraient plus susceptibles de choisir des entreprises ayant des pratiques d’IA transparentes et éthiques, mais moins de la moitié s’efforcent de réduire les biais, de suivre la provenance des données, de rendre l’IA explicable ou d’élaborer des politiques éthiques en matière d’IA.

Il est facile pour les technologues de se concentrer sur les solutions techniques. L’IA éthique va au-delà de la technologie pour inclure des perspectives juridiques et de conformité, ainsi que des questions de valeurs et d’identité d’entreprise. C’est donc un domaine dans lequel les DSI ou les responsables de l’IA peuvent intervenir et aider à guider les grandes organisations.

Et cela va encore plus loin. La mise en place d’infrastructures de données adaptées à la génération AI, de contrôles de sécurité et de gestion, ainsi que de guides éthiques, peut être la première étape sur la voie de la pleine opérationnalisation des LLM.

La génération IA obligera les DSI à repenser la technologie, déclare Matt Barrington, responsable des technologies émergentes d’EY Amériques. Avant la génération AI, les logiciels étaient déterministes, dit-il.

« Vous conceviez, construisiez, testiez et itériez jusqu’à ce que le logiciel se comporte comme prévu », dit-il. « Si ce n’était pas le cas, c’était un bug, et vous reviendrez le corriger. Et si c’était le cas, vous le déploieriez en production. Toutes les grandes piles de calcul, quel que soit le modèle logiciel, étaient déterministes. Aujourd’hui, outre l’informatique quantique, la génération IA est le premier modèle logiciel non déterministe largement connu, dit-il. « Le bug est en fait la fonctionnalité. Le fait qu’il puisse générer des choses par lui-même est son principal argument de vente.

Cela ne veut pas dire que tous les vieux trucs doivent être jetés. MLOps et Pytorch sont toujours importants, dit-il, tout comme savoir quand créer un modèle d’intégration RAG, un DAG ou passer au multimodal, ainsi que préparer les données pour la génération AI.

« Toutes ces choses resteront et seront importantes », dit-il. « Mais vous assisterez à l’émergence d’une nouvelle pile de plates-formes non déterministes qui viendra s’ajouter à la pile traditionnelle avec un tout nouveau domaine d’ingénierie et d’opérations d’infrastructure qui émergera pour prendre en charge ces capacités. »

Cela va changer la façon dont les entreprises fonctionnent à un niveau fondamental, et évoluer dans cette direction pour devenir une entreprise véritablement alimentée par l’IA sera un changement rapide, dit-il. « Voir cela émerger sera très cool », dit-il.