L’IA générative démystifiée

Au-delà du battage médiatique, l’intelligence artificielle peut être fascinante, mais son utilisation éthiquement responsable nécessite de comprendre le fonctionnement de la technologie.

C’est l’ère de l’intelligence artificielle (IA). L’IA change lentement notre façon de vivre et de travailler, et sa popularité favorise son adoption dans les applications d’entreprise et grand public. L’IA offre aux développeurs une énorme opportunité d’incorporer aux applications des solutions basées sur l’IA générative et les grands modèles de langage (LLM), tout en augmentant également la productivité des développeurs personnels.

Cependant, les conversations sur l’IA de nos jours ressemblent souvent à un bingo à la mode avec une barrière à l’entrée élevée. Les choses peuvent paraître moins complexes avec une meilleure compréhension des technologies sous-jacentes. Alors, brisons quelques mythes et démystifions l’IA moderne.

Mythes sur l’IA

L’IA générative est toute nouvelle

L’IA générative d’aujourd’hui fait partie du domaine plus large de l’intelligence artificielle (IA) qui vise à créer des ordinateurs intelligents capables d’imiter l’intelligence humaine. Les débuts de l’IA remontent aux années 1950 avec une évolution à travers divers types d’apprentissage automatique profond (ML), permettant aux ordinateurs d’apprendre à partir des données existantes pour prendre de meilleures décisions ou faire de meilleures prédictions.

L’IA ne peut générer que du texte

L’IA générative utilise aujourd’hui des couches de réseaux neuronaux pour traiter d’énormes quantités de données et tente de comprendre/converser en langage humain. Compte tenu des données existantes et des invites intelligentes, l’IA générative peut générer du texte, du code, des images, des vidéos, de l’audio et divers autres types de sorties satisfaisants.

Les nouveaux modèles d’IA ne sont pas différents

Un modèle d’IA est essentiellement un système informatique qui a été formé sur un ensemble de données pour reconnaître des modèles ou prendre des décisions sans intervention humaine. Les modèles d’IA traditionnels fonctionnent souvent en silo avec des coûts de développement/maintenance élevés : les modèles sont souvent formés pour travailler sur des tâches spécifiques dans un contexte de données spécifique. Dans le passé, les données utilisées pour former les modèles d’IA étaient étiquetées par les humains. Aujourd’hui, les modèles d’IA peuvent apprendre par eux-mêmes et comprendre les connexions/modèles dans les données.

Il est difficile de définir un grand modèle de langage

L’IA générative moderne fonctionne sur des modèles fondamentaux de langage à usage général (LLM) : il s’agit d’un changement technologique dans la manière dont les modèles d’IA fonctionnent et dans la quantité de calcul sur laquelle ils fonctionnent. Les grands modèles de langage d’aujourd’hui peuvent être formés sur d’énormes quantités de différents types de données, qui sont ensuite transformées pour s’adapter à différents types de sorties d’automatisation pour des entrées humaines données en langage naturel.

Par rapport à l’apprentissage automatique (ML) traditionnel, qui apprend à partir de données marquées par l’homme dans un contexte donné, les LLM d’aujourd’hui reçoivent d’énormes quantités de données sans intervention humaine. L’objectif est un apprentissage non supervisé pour comprendre des modèles dans les données d’entraînement.

Tous les grands modèles de langage sont identiques

Il existe plusieurs modèles de langages étendus d’IA publics populaires : la famille GPT d’OpenAI, BERT de Google, Llama de Meta, Orca de Microsoft et plus encore. Bien que les LLM populaires soient tous à usage général, il existe des différences dans les données de formation utilisées et, en tant que telles, il existe des domaines uniques dans lesquels chacun des LLM brille.

Les réponses de l’IA générative sont prévisibles

Compte tenu des données sur lesquelles un grand modèle de langage est formé et des invites demandées, une réponse générative de l’IA représente une probabilité de solutions possibles ; elle n’est pas censée être une science exacte. Même s’il existe une forte probabilité que les réponses soient identiques ou similaires, étant donné un modèle d’IA entraîné et la même invite, les réponses en sortie peuvent être différentes : c’est là que réside la non-prévisibilité de l’IA générative.

Un paramètre courant lors de l’interaction avec les LLM est la température : elle indique une variabilité. Des températures plus élevées signifient plus de risques et augmentent la probabilité de réponses générées aléatoirement qui pourraient être bénéfiques pour la créativité, tandis que des températures plus basses offrent plus de prévisibilité.

Les modèles d’IA génératifs apprennent au fil du temps

Contrairement à l’opinion populaire, les modèles d’IA n’apprennent pas en permanence : les données d’entraînement utilisées pour entraîner les modèles sont horodatées. Essentiellement, la base de connaissances d’un modèle d’IA générative est fixée à un certain moment : lorsque les données de formation ont été transmises au modèle. Les modèles d’IA n’apprennent pas les derniers événements ou actualités à moins d’être explicitement formés à ces derniers avec une formation supplémentaire sur le modèle ou d’augmenter leurs connaissances avec des sources de données fiables.

Les grands modèles de langage se souviennent des choses

Pour des raisons d’évolutivité, les points de terminaison de l’IA générative sont de par leur conception apatrides : il serait difficile de transporter le bagage de contexte à chaque interaction. Cela dit, de nombreuses applications d’IA telles que le chat ou la complétion de code nécessitent le contexte d’une conversation entière pour être efficaces. La plupart des plates-formes de développement d’IA générative incluent des agents/outils pour préserver le contexte conversationnel tout en parlant aux points de terminaison de l’IA.

Le contexte conversationnel est illimité

Les grands modèles de langage comprennent la communication humaine grâce au traitement du langage naturel (NLP) et les jetons sont un moyen courant de comprendre les invites. Lorsqu’ils y sont invités, les LLM diviseront les choses en jetons pour comprendre ce qui est demandé, puis prédiront le prochain jeton qui aura probablement du sens.

Cet échange de jetons n’est pas illimité : chaque grand modèle de langage a une limite sur la taille des jetons et cela dicte la tarification. La fenêtre de contexte correspond au nombre total de jetons utilisés dans le contexte d’une conversation : une fois les limites atteintes, le modèle commencera à oublier les éléments du début de la conversation pour faire de la place pour des jetons plus récents.

L’IA générative peut faire des choses

Malgré toute leur intelligence, les modèles d’IA génératifs ne peuvent pas réellement faire des choses. Ils ne peuvent pas rechercher des informations, faire des calculs précis ou classer avec précision. Les grands modèles de langage possèdent simplement la grande quantité de connaissances à partir desquelles ils ont effectué un apprentissage non supervisé. Lorsqu’ils y sont invités, les LLM peuvent prédire une réponse qui correspondrait le plus possible aux connaissances qu’ils possèdent déjà. Les LLM modernes sont exceptionnellement bons, mais cela aide à comprendre qu’il ne s’agit pas d’une science exacte, mais simplement de la plus haute probabilité de ce que devrait être la réponse.

Les assistants de codage IA génèrent du code compilable

Compte tenu de la grande quantité de code dans les référentiels publics, les modèles d’IA sont devenus très efficaces dans l’apprentissage des modèles et la prédiction du code pour accomplir des tâches données. Les assistants de codage comme GitHub Copilot apprennent également à partir des bases de code existantes et prédisent le code dans un contexte donné, ce qui peut être exceptionnellement précis pour les langages de programmation populaires.

Cependant, comme tout le reste, le code généré par les modèles d’IA n’est qu’une prédiction basée sur des connaissances horodatées, sans garantie qu’il soit compilable ou correct. Une intervention humaine est nécessaire et les développeurs de logiciels sont toujours les « pilotes » en charge. L’IA n’est là que pour améliorer la productivité et automatiser les tâches répétables.

Les modèles d’IA générative doivent être exploités directement

Bien que les grands modèles de langage apportent une richesse d’intelligence, les développeurs n’ont pas besoin d’intégrer des LLM directement dans leurs applications pour bénéficier de l’infusion de l’IA : un middleware englobant sous la forme d’API Assistant pourrait faciliter la tâche des développeurs. Les frameworks populaires qui enveloppent les API/configurations de modèles d’IA pour une consommation plus facile incluent LangChain, Semantic Kernel, AutoGen et plus encore. Bien qu’il puisse exister des différences dans les modèles de programmation, l’objectif est d’aider les développeurs en résumant les configurations complexes pour des intégrations plus faciles.

Les services d’IA doivent être publics

De nombreux secteurs verticaux pourraient avoir des réserves quant à l’exploitation des services cloud publics d’IA générative. C’est là que les conversations doivent avoir lieu sur une IA sécurisée, éthique et responsable. Cependant, certains des avantages des modèles d’IA modernes peuvent être exploités derrière les pare-feu d’entreprise. Les intégrations locales et les bases de données vectorielles peuvent être bénéfiques, sans être aussi coûteuses en termes de calcul. Les intégrations peuvent être utiles pour les recherches sémantiques dans lesquelles les chaînes de langage naturel sont converties en vecteurs numériques : des vecteurs plus proches indiquent une similarité des termes. Les documents peuvent être vectorisés et intégrés aux modèles d’IA, ce qui ouvre la possibilité d’un apprentissage profondément contextuel au sein des modèles d’IA pour prendre en charge les flux de travail de l’entreprise.

Les grands modèles de langage sont le seul moyen de fonctionner

La plupart des conversations sur l’IA gravitent vers les services d’IA populaires et l’IA générative avec de grands modèles de langage. Il existe cependant certains secteurs verticaux qui sont très sensibles à l’utilisation de l’IA publique, même au détriment d’un moindre traitement du langage naturel (NLP) : pensez aux gouvernements, à l’armée, aux soins de santé, etc.

Les petits modèles de langage (SLM) peuvent être mieux adaptés à certains scénarios. Ils ont une empreinte beaucoup plus petite avec des paramètres/jetons et peuvent être hébergés derrière des pare-feu, mais les données de formation peuvent être plus contextuelles. Le Phi-3 de Microsoft a retenu l’attention, tout comme Google Gemini Nano et Llama-2-13b.

Il n’y a aucun moyen de réparer les hallucinations de l’IA

Les LLM sont formés sur de vastes volumes de données et utilisent des milliards de paramètres pour générer des résultats basés sur les données de formation. Cependant, certains défis courants incluent les connaissances provenant de sources ne faisant pas autorité, la falsification d’informations et la présentation d’informations obsolètes ou génériques.

La génération augmentée par récupération (RAG) est le processus d’optimisation de la sortie d’un modèle d’IA afin qu’il fasse référence à une source de connaissances prédéterminée faisant autorité en dehors de ses données de formation, un moyen d’ancrer les réponses dans la réalité. Avec RAG, les entreprises obtiennent un meilleur contrôle sur les réponses générées par les modèles d’IA, et les utilisateurs renforcent la confiance avec les LLM produisant des informations précises avec attribution de source.