Les agents de l’IA sont désormais intégrés à travers les fonctions commerciales de base à l’échelle mondiale. Bientôt, ces agents pourraient planifier nos vies, prendre des décisions clés et négocier des accords en notre nom. La perspective est excitante et ambitieuse, mais elle soulève également la question: qui les supervise réellement?
Plus de la moitié (51%) des entreprises ont déployé des agents d’IAet le PDG de Salesforce, Marc Benioff, a ciblé un milliard d’agents d’ici la fin de l’année. Malgré leur influence croissante, les tests de vérification sont notamment absents. Ces agents sont confiés aux responsabilités critiques dans les secteurs sensibles, tels que la banque et les soins de santé, sans surveillance appropriée.
IA Les agents nécessitent une programmation claire, une formation de haute qualité et des informations en temps réel pour effectuer efficacement les actions axées sur l’objectif et avec précision. Cependant, tous les agents ne seront pas créés égaux. Certains agents peuvent recevoir des données et une formation plus avancées, conduisant à un déséquilibre entre des agents bien formés et produits en masse.
Cela pourrait présenter un risque systémique où des agents plus avancés manipulent et trompent des agents moins avancés. Au fil du temps, ce fossé entre les agents pourrait créer une lacune dans les résultats. Disons qu’un agent a plus d’expérience dans les processus juridiques et utilise ces connaissances pour exploiter ou surpasser un autre agent avec moins de compréhension. Le déploiement d’agents d’IA par les entreprises est inévitable, tout comme l’émergence de nouvelles structures de pouvoir et des risques de manipulation. Les modèles sous-jacents seront les mêmes pour tous les utilisateurs, mais cette possibilité de divergence nécessite une surveillance.
Contrairement aux logiciels traditionnels, les agents de l’IA opèrent dans des paramètres en évolution et complexes. Leur adaptabilité les rend puissants, mais aussi plus sujets à des échecs inattendus et potentiellement catastrophiques.
Par exemple, un agent d’IA pourrait mal diagnostiquer une condition critique chez un enfant car elle a été formée principalement sur données des patients adultes. Ou un chatbot d’agent d’IA pourrait dégénérer une plainte client inoffensive, car il interprète mal le sarcasme comme une agression, la perte lentement des clients et les revenus en raison d’une mauvaise interprétation.
Selon la recherche sur l’industrie, 80% des entreprises ont révélé que leurs agents de l’IA ont pris des décisions «voyous». Les problèmes d’alignement et de sécurité sont déjà évidents dans les exemples du monde réel, tels que les agents autonomes dépassent les instructions claires et la suppression d’importants travaux.
En règle générale, lorsque des erreurs humaines majeures se produisent, l’employé doit traiter avec les RH, peut être suspendu et une enquête officielle est menée. Avec les agents de l’IA, ces garde-corps ne sont pas en place. Nous leur donnons un accès au niveau humain à des matériaux sensibles sans rien à proximité de la surveillance au niveau de l’homme.
Alors, faisons-nous progresser nos systèmes grâce à l’utilisation d’agents d’IA, ou allons-nous abandonner l’agence avant que les protocoles appropriés ne soient en place?
La vérité est que ces agents peuvent être rapides à apprendre et à s’adapter en fonction de leurs environnements respectifs, mais ce ne sont pas encore des adultes responsables. Ils n’ont pas connu des années et des années d’apprentissage, d’essai et d’échec et d’interagir avec d’autres hommes d’affaires. Ils n’ont pas la maturité acquise de l’expérience vécue. Leur donner l’autonomie avec un minimum de vérifications, c’est comme remettre les clés de l’entreprise à un diplômé en état d’ébriété. Ils sont enthousiastes, intelligents et malléables, mais aussi erratiques et ont besoin de supervision.
Et pourtant, ce que les grandes entreprises ne reconnaissent pas, c’est que c’est exactement ce qu’ils font. Les agents de l’IA sont «parfaitement» branchés sur les opérations avec un peu plus qu’une démo et un avertissement. Aucun test continu et standardisé. Pas de stratégie de sortie claire lorsque quelque chose ne va pas.
Ce qui manque, c’est un cadre de vérification structuré et multicouche – celui qui teste régulièrement le comportement de l’agent dans des simulations de scénarios réels et à enjeux élevés. À mesure que l’adoption s’accélère, la vérification devient une condition préalable pour s’assurer que les agents de l’IA sont aptes à l’usage.
Différents niveaux de vérification sont requis en fonction de la sophistication de l’agent. Les agents d’extraction de connaissances simples, ou ceux formés pour utiliser des outils comme Excel ou Email, peuvent ne pas nécessiter la même rigueur de tests que les agents sophistiqués qui reproduisent un large éventail de tâches que les humains effectuent. Cependant, nous devons mettre en place des garde-corps appropriés, en particulier dans des environnements exigeants où les agents travaillent en collaboration avec les humains et d’autres agents.
Lorsque les agents commencent à prendre des décisions à grande échelle, la marge d’erreur se rétrécit rapidement. Si les agents de l’IA que nous laissons contrôler les opérations critiques ne sont pas testés pour l’intégrité, la précision et la sécurité, nous risquons de permettre aux agents de l’IA de faire des ravages sur la société. Les conséquences seront très réelles – et le coût du contrôle des dégâts pourrait être stupéfiant.
Source link