Ce que LinkedIn a appris en tirant parti des LLM pour son milliard d’utilisateurs

Tarun Thummala, PDG d’un fournisseur d’IA, explique dans un article LinkedIn sans rapport avec ce projet que les entrées et sorties LLM les jetons sont à peu près équivalents à 0,75 mot. Les fournisseurs LLM vendent généralement des jetons par milliers ou par millions. Azure OpenAI, que LinkedIn utilise, facture 30 $ pour chaque million de jetons d’entrée 8K GPT-4 et 60 $ pour chaque million de jetons de sortie 8K GPT-4 hors de sa région Est des États-Unis, par exemple.

Défis de l’évaluation

Un autre objectif fonctionnel de LinkedIn pour son projet était l’évaluation automatique. Les LLM sont notoirement difficiles à évaluer en termes d’exactitude, de pertinence, de sécurité et d’autres préoccupations. Les principales organisations et les créateurs de LLM ont tenté d’automatiser une partie de ce travail, mais selon LinkedIn, ces capacités sont « encore un travail en cours ».

Sans évaluation automatisée, LinkedIn rapporte que « les ingénieurs se retrouvent avec des résultats et des tests sur un ensemble limité d’exemples et ont un délai de plus d’un jour pour connaître les métriques ».

La société construit des évaluateurs basés sur des modèles pour aider à estimer les indicateurs clés du LLM, tels que le score de qualité global, le taux d’hallucinations, la cohérence et les violations responsables de l’IA. Cela permettra une expérimentation plus rapide, affirment les ingénieurs de l’entreprise, et bien que les ingénieurs de LinkedIn aient connu un certain succès dans la détection des hallucinations, ils n’ont pas encore pu terminer leur travail dans ce domaine.