La nouvelle application GPT-4 peut changer la vie des personnes malvoyantes

La première application pour intégrer les capacités de reconnaissance d’image de GPT-4 a été décrit comme «changeant la vie» par les utilisateurs malvoyants.

Sois mes yeuxune startup danoise, a appliqué le IA modèle à une nouvelle fonctionnalité pour les personnes aveugles ou malvoyantes. Nommé « Virtual Volunteer », l’outil de reconnaissance d’objets peut répondre aux questions sur n’importe quelle image qui lui est envoyée.

Imaginez, par exemple, qu’un utilisateur ait faim. Ils pourraient simplement photographier un ingrédient et demander des recettes associées.

S’ils préfèrent manger au restaurant, ils peuvent télécharger une image d’une carte et obtenir l’itinéraire vers un restaurant. À leur arrivée, ils peuvent prendre une photo du menu et entendre les options. S’ils veulent ensuite éliminer les calories supplémentaires dans une salle de sport, ils peuvent utiliser l’appareil photo de leur smartphone pour trouver un tapis roulant.

« Je sais que nous sommes actuellement au milieu d’un cycle de battage médiatique sur l’IA, mais plusieurs de nos bêta-testeurs ont utilisé l’expression » qui change la vie « pour décrire le produit », a déclaré Mike Buckley, PDG de By My Eyes, à TNW.

« Cela a une chance d’être transformateur en donnant à la communauté des ressources sans précédent pour mieux naviguer dans les environnements physiques, répondre aux besoins quotidiens et gagner en indépendance. »

Volontaire virtuel profite d’une mise à jour du logiciel d’OpenAI. Contrairement aux itérations précédentes des modèles tant vantés de la société, GPT-4 est multimodal, ce qui signifie qu’il peut analyser à la fois des images et du texte en tant qu’entrées.

Be My Eyes a sauté sur l’occasion pour tester la nouvelle fonctionnalité. Bien que les systèmes texte-image ne soient pas nouveaux, les Commencez n’avait jamais été convaincu des performances du logiciel.

« Du trop grand nombre d’erreurs à l’incapacité de converser, les outils disponibles sur le marché n’étaient pas équipés pour répondre à bon nombre des besoins de notre communauté », déclare Buckley.

« La reconnaissance d’image offerte par GPT-4 est supérieure, et les couches analytiques et conversationnelles alimentées par OpenAI augmentent la valeur et l’utilité de façon exponentielle. »

Be My Eyes soutenait auparavant les utilisateurs exclusivement avec des volontaires humains. Selon OpenAI, la nouvelle fonctionnalité peut générer le même niveau de contexte et de compréhension. Mais si l’utilisateur n’obtient pas une bonne réponse ou préfère simplement une connexion humaine, il peut toujours appeler un volontaire.

Malgré les premiers résultats prometteurs, Buckley insiste sur le fait que le service gratuit sera déployé avec prudence. Les bêta-testeurs et plus large communauté jouera un rôle central dans la détermination de ce processus.

En fin de compte, Buckley pense que la plate-forme fournira aux utilisateurs à la fois une assistance et des opportunités. Be My Eyes sera également bientôt aider les entreprises à mieux servir leurs clients en privilégiant l’accessibilité.

« On peut dire sans risque de se tromper que la technologie pourrait donner aux personnes aveugles ou malvoyantes non seulement plus de pouvoir, mais aussi une plate-forme permettant à la communauté de partager encore plus de leurs talents avec le reste du monde », déclare Buckley. « Pour moi, c’est une possibilité incroyablement convaincante. »

Si vous ou quelqu’un que vous connaissez êtes malvoyant et souhaitez tester le Volontaire Virtuel, vous pouvez inscrivez-vous sur la liste d’attente ici.