3 domaines dans lesquels la génération AI améliore la productivité — jusqu’à ce que ses limites soient dépassées

C’est un collaborateur qui ne se lasse jamais et qui a toujours la bande passante pour aider, ajoute-t-il.

En février, la société mondiale de conseil en gestion et en stratégie Zinnov et la société de transformation des services numériques Ness Digital Engineering ont publié une étude approfondie de plus de 100 ingénieurs logiciels dans des environnements d’ingénierie en direct et ont conclu que lorsque les ingénieurs utilisaient la génération AI, ils réduisaient le temps de mise à jour du code existant en 70 %, tester le code de 41 % et écrire un nouveau code de 32 %.

Pour les mises à jour du code, la génération AI a su utiliser les fonctions déjà présentes dans la base de code et a été d’une valeur inestimable pour suggérer des améliorations des performances du code, affirment les chercheurs. Lors des tests, la génération AI était également particulièrement efficace pour générer des cas de test et créer des données factices pour les tests.

Mais lors du développement de nouveaux codes, l’impact a été freiné par la disponibilité limitée des données de formation et la compréhension du contexte du projet.

Dans l’ensemble, il y a eu une réduction de 38 % du temps d’exécution des tâches avec la génération AI, les gains les plus importants étant constatés par les ingénieurs seniors. Les professionnels expérimentés ont mieux compris les suggestions de l’IA et ont pu corriger les erreurs avant de les ajouter au code. Ils ont également eu besoin de moins d’invites pour obtenir les résultats souhaités et ont pu fournir plus de contexte dans leurs invites car ils avaient une meilleure compréhension de la base de code existante et des exigences du projet.

Mais la génération AI ne peut pas aider uniquement dans les grands projets de développement de logiciels. Il peut également être utilisé pour écrire de petits scripts et requêtes, responsabilisant ainsi les employés non techniques.

La société de conseil en gestion AArete utilise une autre génération d’IA pour ce faire depuis environ un an.

« Nous aimons croire que nous sommes le client zéro », déclare Priya Iragavarapu, vice-présidente des services de technologie numérique. «Nous appliquons les nouvelles technologies sur nous-mêmes et identifions immédiatement les problèmes de croissance.»

L’un des avantages immédiats en matière de productivité est que les employés n’ont plus besoin de se tourner vers l’équipe du centre d’excellence des données de l’entreprise pour créer des requêtes complexes et des scripts spéciaux. Cette équipe, composée de 20 personnes, n’était plus nécessaire.

« Ils sont toujours occupés », ajoute-t-elle. « Mais ils accomplissent des tâches différentes. Nous avons intégré l’équipe qui effectuait auparavant toutes ces extractions de données dans une équipe de livraison plus grande qui effectuait un travail plus complexe.

Parallèlement, l’utilisation de l’IA pour le codage présente également un inconvénient. Selon la société d’outils de développement GitClear, quatre années d’analyse de données, couvrant plus de 150 millions de lignes de code modifiées, ont révélé une augmentation du taux de désabonnement et une diminution de la réutilisation du code – deux signes d’une baisse de la qualité du code.

L’entreprise s’attend à ce que le taux de désabonnement soit de 7 % cette année, soit deux fois plus élevé qu’avant la génération AI. Et ce n’est pas le seul signe d’alerte en matière de productivité.

Chaque année, Google interroge des dizaines de milliers de développeurs pour son rapport annuel sur l’état du DevOps, et cette année, l’IA était un sujet majeur.

Les personnes interrogées ont déclaré que l’IA montrait déjà de la valeur lorsqu’il s’agissait d’écrire et d’optimiser du code, d’analyser la sécurité, de les aider à acquérir de nouvelles compétences, à identifier les bogues, à rédiger des tests, à créer de la documentation, etc. Mais, selon les auteurs du rapport, les données de l’enquête montrent également que l’IA a un effet neutre, voire négatif, sur les performances des équipes et sur la livraison des logiciels.

«Beaucoup de gens parlent de productivité des programmeurs», déclare Mike Loukides, vice-président du contenu technologique émergent chez O’Reilly Media. « Mais les gains pourraient être inférieurs à ce que la courbe de battage médiatique voudrait nous laisser croire. Je soupçonne que nous ne constatons pas de gains de productivité significatifs à l’échelle des grandes entreprises.

Dans sa propre enquête, publiée en novembre, l’utilisation la plus courante de la génération IA était le développement de logiciels ; 34 % des entreprises l’expérimentent et 44 % l’utilisent dans leur travail. À terme, dit-il, tout le monde l’utilisera, les outils d’IA étant intégraux et fiables. Il exhorte néanmoins les entreprises à regarder au-delà des mesures de vitesse de codage.

« Et si l’écriture de code n’était pas le vrai problème ? » il demande. « Et si le vrai problème était de comprendre quels étaient les problèmes des clients ? Peut-être pourrions-nous passer moins de temps à écrire du code et consacrer ce temps à comprendre le client et à créer quelque chose qui fonctionne pour lui.

Gen AI et travail de connaissances

La génération AI est particulièrement efficace pour générer du texte, ce qui la rend inestimable pour les travailleurs du savoir. Mais la première grande avancée publique dans la créativité de la génération IA concerne en réalité les images.

Dall-E 2 et Midjourney ont créé des images qui ont trompé les humains et ont même remporté des prix dès 2022. Il n’est donc pas surprenant que les professionnels de la création utilisent ces outils pour créer des supports marketing et commerciaux destinés à compléter les communications internes et à d’autres fins.

Et selon une étude publiée en février par Adobe Research, basée sur une enquête menée auprès de plus de 2 500 professionnels de la création, 83 % déclarent utiliser des outils gen AI, 66 % déclarent créer un meilleur contenu et 58 % déclarent avoir augmenté la quantité de contenu. contenu qu’ils produisent.

Mais la génération AI est également capable d’aider les travailleurs du savoir dans d’autres domaines créatifs.

«Lorsque l’IA générative est apparue, nous avons vu une énorme opportunité d’augmenter la productivité de nos ressources», déclare Sam Masri, vice-président directeur et responsable du numérique dans le domaine de la réussite client chez le géant des logiciels d’entreprise SAP. « Nous avons réuni 600 personnes pour tester la génération AI dans un bac à sable afin d’essayer différents cas d’utilisation dans 54 catégories différentes. » Certains des projets les plus réussis concernaient la recherche sur l’industrie et la clientèle.

« Cela a permis de gagner 46 % de temps pour effectuer le même travail qu’avant la génération AI, avec la même qualité ou mieux », dit-il. « Cela m’a ouvert les yeux. Nous avons réalisé que c’était quelque chose que le reste de l’organisation pouvait utiliser.

Il ne s’agit pas de réduire les effectifs, ajoute-t-il. Il s’agit d’augmenter la couverture et la productivité afin qu’un individu puisse prendre en charge davantage de clients à un rythme plus rapide.

Aujourd’hui, SAP dispose de dizaines d’outils d’IA de génération différents, hébergés sur une plate-forme à l’échelle de l’entreprise, qui permettent aux employés de créer du contenu, des graphiques et bien plus encore. Ils sont utilisés par les développeurs, les spécialistes du marketing et de nombreuses autres fonctions professionnelles.

« Au sein de notre organisation en contact avec les clients, qui compte environ 30 000 personnes, chaque personne utilise un certain nombre de ces outils », explique-t-il. « Dans mon organisation Digital Hub, qui compte environ un millier de personnes, tout le monde utilise au moins quatre ou cinq outils qu’il n’utilisait pas il y a un an. » Grâce à l’utilisation de ces outils, SAP constate des augmentations moyennes de productivité de 20 à 30 %.

« Ce nombre varie considérablement selon les rôles », ajoute-t-il. « Certains étaient déjà hautement numérisés, et d’autres présentaient des améliorations plus importantes parce que nous avons commencé avec une base de référence plus basse. »

Selon lui, la plus grande valeur résidait dans les tâches qui nécessitaient l’analyse de grands volumes d’informations, telles que les études de marché, les études sectorielles et les recherches de comptes, ainsi que dans la prospection, le support client et la création de contenu.

En ce qui concerne la productivité des clients, de l’industrie et des études de marché, les augmentations se situent entre 40 et 50 %, dit-il. Et dans la création et la diffusion de contenu, les augmentations de productivité variaient de 20 à 30 %, sur la base de moyennes pondérées pour tous les rôles et cas d’utilisation.

«Tout cela a nécessité beaucoup de main-d’œuvre et la génération AI nous a aidés à nous améliorer de manière exponentielle», dit-il. « C’est là que nous avons vu le plus de valeur. »

SAP n’est pas le seul à constater des gains de productivité pour les travailleurs du savoir grâce à la génération AI.

Fin février, The Harris Poll a mené une enquête auprès de plus de 1 000 travailleurs du savoir et de plus de 250 chefs d’entreprise pour le compte de Grammarly sur l’état de la communication d’entreprise. Parmi ceux qui utilisent la génération AI, 80 % ont déclaré que cela améliorait la qualité globale de leur travail et que l’utilisation de la génération AI leur faisait gagner 7,8 heures par semaine.

Cela se traduirait par une économie annuelle moyenne totale de 16 455 dollars par travailleur s’ils commençaient tous à utiliser l’IA pour les aider à communiquer – une économie annuelle de 16,5 millions de dollars pour une entreprise de 1 000 employés, ou 1 600 milliards de dollars par an au total pour la productivité aux États-Unis.

Bien entendu, Grammarly a un intérêt direct dans ces résultats puisqu’il crée des outils de grammaire et d’écriture basés sur l’IA. Mais des résultats similaires ont été trouvés dans une étude du MIT publiée en juillet. Les chercheurs ont mené une expérience auprès de 453 professionnels expérimentés et ont découvert que ceux qui utilisaient ChatGPT réduisaient le temps nécessaire à leurs tâches d’écriture de 40 %, tandis que la qualité s’améliorait de 18 %.

Les gains les plus importants ont été observés chez les personnes qui ont reçu les notes les plus basses lors de leur première tâche. Une fois l’expérience terminée, les participants qui utilisaient ChatGPT étaient deux fois plus susceptibles de l’utiliser dans leur véritable travail deux semaines plus tard.

Chez Gallagher, une société mondiale de courtage d’assurance, de gestion des risques et de services de conseil, le directeur général du cabinet de recherche de cadres, Tom Wilson, affirme que son équipe utilise la génération AI pour la recherche et les communications écrites.

Par exemple, il fallait environ une heure pour créer un profil de candidat à un emploi basé sur un format standard. Aujourd’hui, cela prend la moitié du temps.

« Vous devez revenir en arrière et exprimer votre propre voix », ajoute-t-il. « Il faut personnaliser. »

L’IA générative est également utilisée pour rédiger des e-mails, dit-il, mais ils doivent encore être personnalisés afin qu’ils ne donnent pas l’impression qu’ils ont été écrits par l’IA. « Mais c’est beaucoup plus facile que d’écrire quelque chose à partir de zéro », dit-il. « Nous développions généralement nos propres modèles pour les e-mails, mais l’IA générative a été utile pour rafraîchir les choses. Maintenant, il ne semble pas que je viens d’extraire un modèle de mon lecteur partagé.

Il estime que la génération AI a réduit de 30 à 40 % le temps nécessaire à la rédaction de ces emails standards.

«J’ai recruté des gens tout au long de ma carrière», dit-il. « Et c’est la transition la plus rapide autour d’une technologie que j’ai vue. C’est comme mettre un PC ou un Mac à la place de tout le monde il y a 30 ans.

Quand la productivité chute grâce à la génération AI

Les augmentations de productivité sont particulièrement notables dans les domaines où l’IA est compétente, mais lorsqu’elle est utilisée pour des tâches dépassant ses capacités, elle peut chuter considérablement, selon une étude récente menée par des chercheurs de Harvard, Warton, Warwick, MIT et du Boston Consulting Group.

L’expérience a impliqué plus de 700 consultants travaillant au BCG et a révélé que les consultants travaillant avec l’aide du GPT-4 d’OpenAI accomplissaient en moyenne 12 % de tâches en plus, accomplissaient les tâches 25 % plus rapidement et que les résultats étaient de 40 % de meilleure qualité que ceux du BCG. ceux des consultants qui n’ont pas utilisé l’IA.

Ce sont les consultants inférieurs à la moyenne qui en ont le plus profité, leurs performances ayant augmenté de 43 %. Pendant ce temps, les consultants supérieurs à la moyenne n’ont constaté un bénéfice que de 17 %. Mais c’était pour des tâches pour lesquelles l’IA était douée. Pour les tâches dépassant les capacités de la génération AI, les consultants ont constaté une baisse des performances de 19 %.

Et la frontière n’était pas là où on pourrait s’attendre, selon les auteurs du rapport. Par exemple, et contre-intuitivement, la génération IA est bonne pour proposer de nouvelles idées mais mauvaise en mathématiques de base.

L’expérience comprenait des tâches qui font normalement partie du travail quotidien des consultants du BCG, telles que le développement de nouvelles idées de produits et la résolution de problèmes commerciaux. Les consultants devaient faire preuve de créativité, de compétences analytiques, de persuasion et de rédaction pour mener à bien ces tâches.

« Il faut savoir quand remettre en question les résultats de l’IA », explique JP Gownder, analyste chez Forrester. « Ce n’est pas une chose simple à résoudre. Cela nécessite beaucoup de contexte, de jugement et non seulement une compréhension de l’IA mais aussi de votre environnement.

Il s’attend à ce que de nombreuses entreprises sous-investissent cette année dans la dimension formation de la génération IA.

« Ils penseront qu’une heure passée dans une salle de classe permettra aux gens de se mettre au courant », dit-il. « Il y a des choses difficiles, comme l’ingénierie rapide, qu’on ne peut pas apprendre en un jour. La génération IA a un incroyable potentiel de transformation, mais ce n’est pas un voyage facile et une grande partie de ce voyage passe par les personnes qui auront besoin de ces compétences.