C’était fantastique de discuter des solutions et des opportunités autour de GenAI avec beaucoup d’entre vous lors de Google NEXT le mois dernier. Le paysage de la transformation des entreprises s’est amélioré et il nous incombe à tous d’être conscients de la valeur de ces nouveaux produits étonnants, tout en tempérant nos attentes quant aux résultats lorsque nous explorons ces nouvelles solutions. Je vais répéter le sentiment de la première partie de cette série, à savoir que, à l’instar des données, le la qualité de nos intrants détermine la qualité de nos extrants.
Bien qu’il ne s’agisse pas spécifiquement de GenAI multimodal, cette brève deuxième entrée se concentrera sur les améliorations récentes autour de Gemini, à savoir que Gemini Flash sera bientôt généralement disponible. Annoncé lors de la récente conférence des développeurs Google I/O, l’IA phare de Google qui alimente le framework Vertex AI, Gémeaux, est désormais disponible en deux saveurs de consommables. Gemini Pro reste la référence pour une analyse approfondie des informations d’entreprise. Gemini Flash, produit pour être 1) plus économique (au moment d’écrire ces lignes, le prix n’est pas encore publié, mais l’objectif est d’être inférieur Coût total de possession que Pro) et 2) une latence relativement réduite, ou le temps nécessaire à Gemini Flash pour produire une réponse, par rapport à Pro. La preuve de la valeur de Flash est qu’il peut être appliqué à des fonctions consommables de manière reproductible (répondre aux questions des clients spécifiques à la base de connaissances d’une entreprise, par exemple) et transmettre par cette fonctionnalité à la demande du public. En ce qui concerne la latence, plus les invites et les sources de données sont complexes, plus chaque produit consomme de jetons ; par conséquent, l’écart de latence entre Flash et Pro va probablement augmenter.
J’ai introduit la première partie de cette série dans le Résumé du document modèle dans Vertex.
Vous êtes un spécialiste très professionnel de la synthèse de blogs. Étant donné un lien de blog, votre tâche consiste à suivre strictement les instructions de l’utilisateur.
Veuillez résumer le billet de blog lié ci-dessus.
Curieux de voir si cela fonctionnerait, j’ai modifié l’invite par défaut de l’évaluation d’un pdf à celle d’évaluation d’un lien hypertexte et, fidèle à son habitude, Gemini a admirablement consommé la source multimédia modifiée. Sans modifier les paramètres par défaut, j’ai exécuté la même invite sur Flash et Pro, comme le montrent les captures d’écran ci-dessous :
Le billet de blog intitulé « Optimize Multimodal AI : Part 1 » traite de l’importance d’optimiser les modèles d’IA multimodaux pour obtenir des résultats efficaces. Il soutient que même si les modèles d’IA multimodaux sont très prometteurs, ils sont complexes et nécessitent une optimisation minutieuse pour atteindre leur plein potentiel. L’article décrit un processus d’optimisation en cinq étapes :
- Préparation des données: Il est crucial de garantir des données de haute qualité, propres et pertinentes pour la formation.
- Sélection du modèle: Choisir la bonne architecture multimodale en fonction du problème spécifique et du type de données est essentiel.
- Réglage des hyperparamètres: Expérimenter avec différentes valeurs d’hyperparamètres pour affiner le modèle pour des performances optimales.
- Paramètres d’évaluation: Sélection de mesures appropriées pour évaluer l’efficacité du modèle, en tenant compte à la fois de la précision et d’autres facteurs pertinents.
- Déploiement: Préparer le modèle pour une utilisation dans le monde réel, y compris une inférence efficace et une intégration avec les systèmes existants.
Le blog souligne que ce processus d’optimisation est itératif et nécessite une compréhension approfondie du problème spécifique, des données et des ressources disponibles. Il mentionne également que l’accent mis sur l’optimisation se poursuivra dans la deuxième partie de la série.
Vous pouvez sélectionner le modèle dans la liste déroulante en haut à droite. La réponse a été très rapide et j’ai été satisfait du résumé. J’ai ensuite basculé le modèle sur Pro et cliqué à nouveau sur « Soumettre » :
Cet article de blog plonge dans le monde de l’IA multimodale, en se concentrant spécifiquement sur son optimisation pour les applications du monde réel.
L’auteur commence par souligner la puissance et le potentiel de l’IA multimodale, qui combine différents types de données comme le texte, les images et les vidéos pour prendre des décisions plus éclairées. Ils soulignent ses avantages par rapport aux approches monomodales, en particulier dans les scénarios complexes exigeant une compréhension nuancée.
Cependant, l’article reconnaît que l’optimisation de l’IA multimodale présente des défis uniques. Au lieu de plonger profondément dans les solutions, cette partie d’introduction sert de teaser pour la série à venir. Il promet d’explorer en détail les techniques d’optimisation des systèmes d’IA multimodaux, en faisant allusion à des sujets tels que la préparation des données, la sélection de modèles et les considérations éthiques.
Essentiellement, cet article ouvre la voie à une analyse plus approfondie des aspects pratiques de l’exploitation de l’IA multimodale, en soulignant la nécessité d’une optimisation minutieuse pour libérer tout son potentiel.
Pro a mis un temps sensiblement différent à répondre, mais ce n’est pas décevant. Ce que je trouve frappant, c’est que la réponse Pro a été beaucoup plus nuancée. Le texte avait de la chaleur et de la profondeur malgré un sujet aride. Ni la réponse de Flash ni celle de Pro n’ont donné de détails, mais ont tout de même fourni de bonnes informations dans le résumé. Je serais satisfait de cette sortie de l’un ou l’autre modèle, mais ma préférence personnelle va à la sortie Pro : elle semblait simplement plus anthropomorphique, et je suis d’avis qu’un modèle qui passe le test de Turing plus efficacement aura une plus grande virilité et longévité. Cela étant dit, une grande note aux gens de Google pour avoir produit une offre de produits plus économique qui favorise clairement une résolution rapide.
Utilisez-vous la synthèse de documents au sein de vos unités commerciales ou organisations ? De quelles efficacités ou résultats bénéficiez-vous ? Mesurez-vous le retour sur investissement du temps et des consommations mesurées ? Comment comptez-vous étendre l’empreinte de l’IA pour résoudre d’autres domaines d’opportunité ? Utilisez-vous le SDK pour créer des flux de travail reproductibles ?
Dans la troisième partie, nous reprendrons les techniques d’optimisation rapide et verrons si nous pouvons améliorer la précision de notre géodevineur dans davantage de tentatives de tir nul. Si vous souhaitez avoir une conversation sur l’application réfléchie de Gemini au sein de votre entreprise, veuillez nous contacter. Nous aimons parler de ce produit étonnant et des stratégies permettant de l’exploiter afin d’augmenter la rentabilité et la différenciation du marché pour nos amis et clients.
Source link