Le premier produit GPT-3 de Microsoft fait allusion à l'avenir commercial d'OpenAI

L'un des points forts de Build, la conférence annuelle de développement de logiciels de Microsoft, a été la présentation d'un outil qui utilise l'apprentissage en profondeur pour générer du code source pour les applications bureautiques. L'outil utilise GPT-3, un modèle de langage massif développé par OpenAI l'année dernière et mis à la disposition de certains développeurs, chercheurs et startups dans une interface de programmation d'applications payante.

Beaucoup ont présenté GPT-3 comme étant la nouvelle génération technologie d'intelligence artificielle qui inaugurera une nouvelle génération d'applications et de startups. Depuis la sortie de GPT-3, de nombreux développeurs ont trouvé des utilisations intéressantes et innovantes pour le modèle de langage. Et plusieurs startups ont déclaré qu'elles utiliseraient GPT-3 pour créer de nouveaux produits ou augmenter les produits existants. Mais créer une entreprise rentable et durable autour de GPT-3 reste un défi.

Le premier produit Microsoft basé sur GPT-3 fournit des indications importantes sur l'activité des grands modèles linguistiques et l'avenir de l'approfondissement du géant de la technologie. relation avec OpenAI.

Un modèle d'apprentissage en quelques étapes qui doit être affiné ?

Selon le blog Microsoft« Par exemple, le de nouvelles fonctionnalités basées sur l'IA permettront à un employé créant une application de commerce électronique de décrire un objectif de programmation en utilisant un langage conversationnel tel que « trouver des produits dont le nom commence par « enfants ». » Un modèle GPT-3 affiné [19659010] propose ensuite des choix pour tr anformant la commande dans une formule Microsoft Power Fx, le langage de programmation open source de la plate-forme Power. "

Je n'ai pas trouvé de détails techniques sur la version affinée de GPT-3 utilisée par Microsoft. Mais il y a généralement deux raisons pour lesquelles vous affineriez un modèle de deep learning. Dans le premier cas, le modèle n'exécute pas la tâche cible avec la précision souhaitée, vous devez donc l'affiner en l'entraînant sur des exemples pour cette tâche spécifique.

Dans le second cas, votre modèle peut effectuer le tâche prévue, mais elle est inefficace sur le plan informatique. GPT-3 est un très grand modèle d'apprentissage en profondeur avec 175 milliards de paramètres, et les coûts de son exécution sont énormes. Par conséquent, une version plus petite du modèle peut être optimisée pour effectuer la tâche de génération de code avec la même précision à une fraction du coût de calcul. Un compromis possible sera que le modèle fonctionnera mal sur d'autres tâches (telles que la question-réponse). Mais dans le cas de Microsoft, la pénalité ne sera pas pertinente.

Dans les deux cas, une version affinée du modèle d'apprentissage en profondeur semble être en contradiction avec l'idée originale discutée dans le article GPT-3 , intitulé à juste titre « Les modèles linguistiques sont des apprenants à faible dose. »

Voici une citation du résumé de l'article : « Ici, nous montrons que la mise à l'échelle des modèles linguistiques améliore considérablement les performances de quelques tâches indépendantes de la tâche, atteignant parfois même la compétitivité avec des approches de réglage de pointe à la pointe de la technologie. Cela signifie essentiellement que, si vous construisez un modèle de langage suffisamment grandvous pourrez effectuer de nombreuses tâches sans avoir besoin de reconfigurer ou de modifier votre réseau de neurones.

Alors, quel est l'intérêt de quelques-uns -shot modèle d'apprentissage automatique qui doit être affiné pour de nouvelles tâches ? C'est là que les mondes de la recherche scientifique et de l'IA appliquée se heurtent. entre la recherche académique et le développement de produits commerciaux. Dans la recherche universitaire en IA, l'objectif est de repousser les limites de la science. C'est exactement ce que GPT-3 a fait. Les chercheurs d'OpenAI ont montré qu'avec suffisamment de paramètres et de données d'entraînement, un seul modèle d'apprentissage en profondeur pouvait effectuer plusieurs tâches sans avoir besoin de se recycler. Et ils ont testé le modèle sur plusieurs benchmarks populaires de traitement du langage naturel.

Mais dans le développement de produits commerciaux, vous n'êtes pas confronté à des benchmarks tels que GLUE et SQuAD. Vous devez résoudre un problème spécifique, le résoudre dix fois mieux que les opérateurs historiques et être capable de l'exécuter à grande échelle et de manière rentable.

Par conséquent, si vous disposez d'un modèle d'apprentissage en profondeur volumineux et coûteux qui peut fonctionner dix tâches différentes avec une précision de 90 pour cent, c'est une grande réussite scientifique. Mais lorsqu'il existe déjà dix réseaux de neurones plus légers qui effectuent chacune de ces tâches avec une précision de 99% et une fraction du prix, alors votre modèle touche-à-tout ne sera pas en mesure de rivaliser sur un marché axé sur le profit.[19659002]Voici une citation intéressante du blog de Microsoft qui confirme les défis de l'application de GPT-3 à de vrais problèmes commerciaux : « Cette découverte des vastes capacités de GPT-3 a fait exploser les limites de ce qui est possible dans l'apprentissage du langage naturel, a déclaré Eric Boyd, vice-président de Microsoft. président d'Azure AI. Mais il restait des questions ouvertes quant à savoir si un modèle aussi vaste et complexe pouvait être déployé de manière rentable à grande échelle pour répondre aux besoins commerciaux réels [emphasis mine]. modèle pour cette tâche spécifique. Étant donné que Microsoft voulait résoudre un problème très spécifique, le modèle GPT-3 complet serait un excès qui gaspillerait des ressources coûteuses.

Par conséquent, le GPT-3 ordinaire est plus une réussite scientifique qu'une plate-forme fiable pour le développement de produits. . Mais avec les bonnes ressources et la bonne configuration, il peut devenir un outil précieux pour la différenciation du marché, ce que fait Microsoft.

L'avantage de Microsoft

Dans un monde idéal, OpenAI aurait sorti ses propres produits et généré des revenus pour financer ses propres recherches. Mais la vérité est que développer un produit rentable est beaucoup plus difficile que de lancer un service API payant, même si le PDG de votre entreprise est Sam Altman, l'ancien président de Y Combinator et une légende du développement de produits.

Et c'est pourquoi OpenAI s'est inscrit. l'aide de Microsoft, une décision qui aura des implications à long terme pour le laboratoire de recherche en IA. En juillet 2019, Microsoft a investi 1 milliard de dollars dans OpenAI, avec certaines conditions.

Extrait du billet de blog OpenAI qui déclarait l'investissement de Microsoft : « OpenAI produit une séquence de technologies d'IA de plus en plus puissantes, ce qui nécessite beaucoup de capital pour la puissance de calcul. Le moyen le plus évident de couvrir les coûts est de construire un produit, mais cela impliquerait de changer d'orientation [emphasis mine]. Au lieu de cela, nous avons l'intention de concéder sous licence certaines de nos technologies pré-AGI, Microsoft devenant notre partenaire privilégié pour les commercialiser. »

Seul, OpenAI aurait du mal à trouver un moyen de pénétrer un marché existant ou de créer un nouveau marché pour GPT-3.

D'un autre côté, Microsoft dispose déjà des éléments nécessaires pour raccourcir le chemin d'OpenAI vers la rentabilité. Microsoft possède Azure, la deuxième plus grande infrastructure cloud, et il est dans une position appropriée pour subventionner les coûts de formation et d'exécution des modèles d'apprentissage en profondeur d'OpenAI.

Mais plus important encore – et c'est pourquoi je pense qu'OpenAI a choisi Microsoft plutôt qu'Amazon – est la portée de Microsoft dans différents secteurs. Des milliers d'organisations et des millions d'utilisateurs utilisent les applications payantes de Microsoft telles qu'Office, Teams, Dynamics et Power Apps. Ces applications fournissent des plates-formes parfaites pour intégrer GPT-3.

L'avantage de Microsoft sur le marché est pleinement évident dans sa première application pour GPT-3. C'est un cas d'utilisation très simple destiné à un public non technique. Il n'est pas censé faire une logique de programmation compliquée. Il convertit simplement les requêtes en langage naturel en formules de données dans Power Fx.

Cette application triviale n'est pas pertinente pour la plupart des développeurs chevronnés, qui trouveront beaucoup plus facile de taper directement leurs requêtes que de les décrire en prose. Mais Microsoft a de nombreux clients dans des secteurs non technologiques, et ses Power Apps sont conçues pour les utilisateurs qui n'ont aucune expérience de codage ou qui apprennent à coder. Pour eux, GPT-3 peut faire une énorme différence et aider à réduire les obstacles au développement d'applications simples qui résolvent les problèmes commerciaux.

Microsoft a un autre facteur qui joue à son avantage. Il a obtenu un accès exclusif au code et à l'architecture de GPT-3. Alors que d'autres entreprises ne peuvent interagir avec GPT-3 que via l'API payante, Microsoft peut la personnaliser et l'intégrer directement dans ses applications pour la rendre efficace et évolutive.

En mettant l'API GPT-3 à la disposition des startups et des développeurs, OpenAI a créé un environnement pour découvrir toutes sortes d'applications avec de grands modèles de langage. Pendant ce temps, Microsoft restait assis, observant toutes les différentes expériences avec un intérêt croissant.

L'API GPT-3 servait essentiellement de projet de recherche de produits pour Microsoft. Quel que soit le cas d'utilisation qu'une entreprise trouve pour GPT-3, Microsoft pourra le faire plus rapidement, moins cher et avec une meilleure précision grâce à son accès exclusif au modèle de langage. Cela donne à Microsoft un avantage unique pour dominer la plupart des marchés qui se dessinent autour de GPT-3. Et c'est pourquoi je pense que la plupart des entreprises qui construisent des produits sur l'API GPT-3 sont vouées à l'échec.

The OpenAI Startup Fund

Et maintenant, Microsoft et OpenAI prennent leur partenariat au niveau supérieur. Lors de la Build Conference, Altman a déclaré un fonds de 100 millions de dollars, l'OpenAI Startup Fund, à travers lequel il investira dans des entreprises d'IA en démarrage. plus de 10 », a déclaré Altman dans une vidéo préenregistrée diffusée lors de la conférence.

Dans quel type d'entreprises le fonds investira-t-il ? "Nous recherchons des startups dans des domaines où l'IA peut avoir l'impact positif le plus profond, comme les soins de santé, le changement climatique et l'éducation", a déclaré Altman, auquel il a ajouté: "Nous sommes également enthousiasmés par les marchés où l'IA peut conduire gros des gains de productivité tels que l'assistance personnelle et la recherche sémantique. La première partie semble être conforme à la mission d'OpenAI d'utiliser l'IA pour le bien de l'humanité. Mais la deuxième partie semble être le type d'applications génératrices de bénéfices que Microsoft explore.

Également à partir de la page du fonds : « Le fonds est géré par OpenAI, avec des investissements de Microsoft et d'autres partenaires OpenAI. . En plus du capital, les entreprises du fonds de démarrage OpenAI auront un accès rapide aux futurs systèmes OpenAI, au soutien de notre équipe et à des crédits sur Azure. »

Donc, en gros, il semble qu'OpenAI devienne un proxy marketing pour Azure de Microsoft. cloud et aidera à repérer les startups d'IA qui pourraient se qualifier pour une acquisition par Microsoft à l'avenir . Cela approfondira le partenariat d'OpenAI avec Microsoft et garantira que le laboratoire continue d'obtenir des financements du géant de la technologie. Mais cela permettra également à OpenAI de devenir une entité commerciale et éventuellement une filiale de Microsoft. Comment cela affectera l'objectif à long terme du laboratoire de recherche de la recherche scientifique sur l'intelligence artificielle générale reste une question ouverte.

Est-ce juste moi ou quelqu'un d'autre pense qu'OpenAI ressemble de plus en plus à une filiale de Microsoft ? #MSBuild

— Ben Dickson (@bendee983) 27 mai 2021

Cet article a été initialement publié par Ben Dickson sur TechTalksune publication qui examine les tendances dans la technologie, comment ils affectent notre façon de vivre et de faire des affaires, et les problèmes qu'ils résolvent. Mais nous discutons également du côté pervers de la technologie, des implications plus sombres des nouvelles technologies et de ce que nous devons rechercher. Vous pouvez lire l'article original ici.