10 choses à surveiller avec la génération AI open source

Au lieu de cela, dit-il, les gens sont plus susceptibles de considérer les API et les interfaces des principaux fournisseurs, tels qu’OpenAI, comme des normes de facto naissantes. « C’est ce que je vois faire chez les gens », dit-il.

8. Manque de transparence

Vous pourriez penser que les modèles open source sont, par définition, plus transparents. Mais ce n’est peut-être pas toujours le cas. Les grands projets commerciaux peuvent avoir plus de ressources à consacrer à la création de documentation, déclare Eric Sydell, PDG de l’éditeur de logiciels BI Vero AI, qui a récemment publié un rapport évaluant les modèles d’IA des principales générations en fonction de domaines tels que la visibilité, l’intégrité, la préparation législative et la transparence. Gemini de Google et GPT-4 d’OpenAI se classent en tête.

« Ce n’est pas parce qu’ils sont open source qu’ils fournissent les mêmes informations sur le contexte du modèle et sur la façon dont il a été développé », explique Sydell. « Les plus gros modèles commerciaux ont fait un meilleur travail à ce stade. »

Prenons l’exemple des préjugés.

« Nous avons constaté que les deux premiers modèles fermés de notre classement disposaient de beaucoup de documentation et avons consacré du temps à explorer le problème », dit-il.

9. Problèmes de lignée

Il est courant que des projets open source soient forkés, mais lorsque cela se produit avec la génération AI, vous courez des risques que vous n’obtenez pas avec les logiciels traditionnels. Supposons, par exemple, qu’un modèle de base utilise un ensemble de données de formation problématique et qu’à partir de celui-ci, quelqu’un crée un nouveau modèle, qui héritera donc de ces problèmes, explique Tyler Warden, vice-président directeur des produits chez Sonatype, un fournisseur de cybersécurité.

« Il y a beaucoup d’aspects de boîte noire avec les poids et le tournage », dit-il.

En fait, ces problèmes peuvent remonter à plusieurs niveaux et ne seront pas visibles dans le code du modèle final. Lorsqu’une entreprise télécharge un modèle pour son propre usage, le modèle s’éloigne encore plus des sources originales. Le modèle de base d’origine aurait peut-être résolu les problèmes, mais, en fonction du degré de transparence et de communication en amont et en aval de la chaîne, les développeurs travaillant sur le dernier modèle pourraient même ne pas être au courant des correctifs.

10. Le nouveau shadow IT

Les entreprises qui utilisent des composants open source dans le cadre de leur processus de développement logiciel ont mis en place des processus pour vérifier les bibliothèques et garantir que les composants sont à jour. Ils s’assurent que les projets sont bien pris en charge, que les problèmes de sécurité sont traités et que le logiciel dispose de conditions de licence appropriées.

Cependant, avec la génération AI, les personnes censées effectuer le contrôle ne savent peut-être pas quoi rechercher. De plus, les projets de génération IA échappent parfois aux processus standards de développement logiciel. Ils peuvent provenir d’équipes de science des données ou de skunkworks. Les développeurs peuvent télécharger les modèles avec lesquels jouer et finir par être plus largement utilisés. Les utilisateurs professionnels peuvent également suivre eux-mêmes des didacticiels en ligne et configurer leur propre génération d’IA, en contournant complètement l’informatique.

La dernière évolution de la génération IA, les agents autonomes, a le potentiel de donner un pouvoir énorme à ces systèmes, élevant ainsi le potentiel de risque de ce type de Shadow IT à de nouveaux sommets.

« Si vous envisagez de l’expérimenter, créez un conteneur pour le faire d’une manière sûre pour votre organisation », explique Kelley Misata, directrice principale de l’open source chez Corelight. Cela devrait relever de la responsabilité de l’équipe de gestion des risques d’une entreprise, dit-elle, et la personne qui s’assure que les développeurs, et l’entreprise dans son ensemble, comprennent qu’il existe un processus est le DSI.

« Ce sont eux les mieux placés pour définir la culture », dit-elle. «Exploitons l’innovation et toute la grandeur qu’offre l’open source, mais abordons-le les yeux ouverts.»

Le meilleur des deux mondes?

Certaines entreprises recherchent le faible coût, la transparence, la confidentialité et le contrôle de l’open source, mais aimeraient avoir un fournisseur proche pour assurer la gouvernance, la durabilité à long terme et le support. Dans le monde open source traditionnel, de nombreux fournisseurs le font, comme Red Hat, MariaDB, Docker, Automattic et d’autres.

« Ils offrent un niveau de sûreté et de sécurité aux grandes entreprises », déclare Priya Iragavarapu, vice-présidente de la science et de l’analyse des données chez AArete. « C’est presque un moyen d’atténuer les risques. »

Il n’y a pas beaucoup de ces fournisseurs dans le domaine de la génération IA, mais les choses commencent à changer, dit-elle.