L’Outil Surpuissant pour Exploser ton Chiffre d'Affaires en 2024 !
Cette IA détectant les positions nous aidera à vérifier les fausses nouvelles
La lutte contre les fausses nouvelles est devenue un problème croissant au cours des dernières années, et qui demande une solution impliquant l'intelligence artificielle. Il est pratiquement impossible de vérifier la quantité presque infinie de contenu généré sur les sites d'actualités, les services de streaming vidéo, les blogs, les réseaux sociaux, etc.
Il y a eu un effort pour utiliser l'apprentissage automatique avec modération de contenu en ligne mais ces efforts n'ont eu qu'un succès modeste dans la recherche de spam et la suppression de contenu pour adultes, et dans une moindre mesure en détectant le discours de haine .
La lutte contre les fausses nouvelles est beaucoup défi plus compliqué. Les sites Web de vérification des faits tels que Snopes, FactCheck.org et PolitiFact font un travail décent de vérification impartiale des rumeurs, des nouvelles et des remarques faites par les politiciens. Mais leur portée est limitée.
Il serait déraisonnable de s'attendre à ce que les technologies actuelles de l'intelligence artificielle automatisent entièrement la lutte contre les fausses nouvelles. Mais il y a de l'espoir que l'utilisation du apprentissage en profondeur peut aider à automatiser certaines étapes du pipeline de détection de fausses nouvelles et augmenter les capacités des vérificateurs de faits humains.
Dans un article présenté à la conférence NeurIPS AI 2019 des chercheurs de DarwinAI et de l'Université de Waterloo du Canada ont présenté un système d'IA qui utilise des modèles de langage avancés pour automatiser la détection de position, une première étape importante vers l'identification de la désinformation.
Le pipeline de détection automatisé des fausses nouvelles
Avant de créer un système d'IA capable de combattre les fausses nouvelles, nous devons d'abord comprendre les exigences de vérification de la véracité d'une réclamation. Dans leur article, les chercheurs en IA décomposent le processus en les étapes suivantes:
- Récupération de documents pertinents pour la revendication
- Détection de la position ou de la position de ces documents par rapport à la revendication
- Calcul d'un score de réputation pour le document, en fonction de sa source et de la qualité de la langue
- Vérifiez la réclamation sur la base des informations obtenues à partir des documents pertinents
Au lieu de choisir un détecteur de fausses nouvelles de bout en bout, alimenté par l'IA, qui prend un morceau des nouvelles comme entrées et sorties «fausses» ou «réelles», les chercheurs se sont concentrés sur la deuxième étape du pipeline. Ils ont créé un algorithme d'IA qui détermine si un certain document est d'accord, en désaccord ou ne prend pas position sur une revendication spécifique.
Utilisation de transformateurs pour détecter la position
neural réseaux apprentissage en profondeur descente de gradient stochastique
"support de données -file = "https://i0.wp.com/bdtechtalks.com/wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?fit=300%2C200&ssl= 1 "data-large-file =" https://i0.wp.com/bdtechtalks.com/wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?fit = 696% 2C464 & ssl = 1 "data-recalc-dims =" 1 "data-lazy-charger =" 1 "data-src =" https://i0.wp.com/bdtechtalks.com/wp-content/uploads/ 2019/08 / neural-networks-deep-learning-stochastic-gradient-descent.jpg? Resize = 696% 2C464 & ssl = 1 "data-lazy =" true "data-srcset =" https://i0.wp.com/ bdtechtalks.com/wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?w=3600&ssl=1 3600w, https://i0.wp.com/bdtechtalks.com /wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?resize=300%2C200&ssl=1 300w, https://i0.wp.com/bdtechtalks.com/ wp-content / uploads / 2019/08 / neural-networks-deep-learning-stochastic-gradient-descent.jpg? resize = 768% 2C512 & ssl = 1 768w, https: //i0.w p.com/bdtechtalks.com/wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?resize=1024%2C683&ssl=1 1024w, https: //i0.wp .com / bdtechtalks.com / wp-content / uploads / 2019/08 / neural-networks-deep-learning-stochastic-gradient-descent.jpg? resize = 696% 2C464 & ssl = 1 696w, https: //i0.wp. com / bdtechtalks.com / wp-content / uploads / 2019/08 / neural-networks-deep-learning-stochastic-gradient-descent.jpg? resize = 1068% 2C712 & ssl = 1 1068w, https://i0.wp.com /bdtechtalks.com/wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?resize=630%2C420&ssl=1 630w, https://i0.wp.com/ bdtechtalks.com/wp-content/uploads/2019/08/neural-networks-deep-learning-stochastic-gradient-descent.jpg?resize=1920%2C1280&ssl=1 1920w, https://i0.wp.com/bdtechtalks .com / wp-content / uploads / 2019/08 / neural-networks-deep-learning-stochastic-gradient-descent.jpg? w = 1392 & ssl = 1 1392w, https://i0.wp.com/bdtechtalks.com/ wp-content / uploads / 2019/08 / neural-networks-deep-learning-stochastic- gradient-descent.jpg? w = 2088 & ssl = 1 2088w "/>
Ce n'est pas le premier effort à utiliser l'IA pour la détection de position. Des recherches antérieures ont utilisé divers algorithmes et composants de l'IA, notamment des réseaux de neurones récurrents (RNN), des modèles de mémoire à court terme (LSTM) et des perceptrons multicouches, tous pertinents et utiles réseau de neurones artificiels (ANN) architectures. Les efforts ont également mis à profit d'autres recherches effectuées dans le domaine, telles que les travaux sur les «incorporations de mots», les représentations vectorielles numériques des relations entre les mots qui les rendent compréhensibles pour les réseaux de neurones.
Cependant, si ces techniques ont été efficaces pour certaines tâches tels que la traduction automatique, ils ont eu un succès limité sur la détection de position. «Les approches précédentes de la détection de position étaient généralement réservées à des fonctionnalités conçues à la main ou à des incorporations de mots, qui avaient toutes deux une expressivité limitée pour représenter la complexité du langage», explique Alex Wong, co-fondateur et scientifique en chef de DarwinAI.
La technique utilise un transformateur, un type d'algorithme d'apprentissage profond qui est devenu populaire au cours des deux dernières années. Les transformateurs sont utilisés dans des modèles de langage de pointe tels que GPT-2 et Meena . Bien que les transformateurs souffrent toujours des défauts fondamentaux ils sont bien meilleurs que leurs prédécesseurs dans la gestion de grands corpus de texte.
Les transformateurs utilisent des techniques spéciales pour trouver les informations pertinentes dans une séquence de octets à la place. Cela leur permet de devenir beaucoup plus économes en mémoire que les autres algorithmes d'apprentissage en profondeur pour gérer de grandes séquences. Les transformateurs sont également un algorithme d'apprentissage automatique non supervisé ce qui signifie qu'ils ne nécessitent pas le travail d'étiquetage des données à forte intensité de temps et de travail qui va dans la plupart des travaux d'IA contemporains.
«La beauté des modèles de langage de transformateur bidirectionnel est qu'ils permettent à de très grands corpus de texte d'être utilisés pour obtenir une compréhension riche et approfondie du langage », explique Wong. «Cette compréhension peut ensuite être mise à profit pour faciliter une meilleure prise de décision en ce qui concerne le problème de la détection de position.»
Les transformateurs se présentent sous différentes formes. Les chercheurs de l'Université de Waterloo ont utilisé une variante du BERT (RoBERTa), également connu sous le nom de transformateur bidirectionnel profond. RoBERTa, développé par Facebook en 2019 est un modèle de langage open source.
Les transformateurs ont encore besoin de très grandes ressources de calcul dans la phase de formation (notre calcul de l'enveloppe de Les coûts de formation de Meena s'élevaient à environ 1,5 million de dollars). Tout le monde n'a pas ce genre d'argent à dépenser. L'avantage d'utiliser des modèles prêts comme RoBERTa est que les chercheurs peuvent effectuer un apprentissage par transfert ce qui signifie qu'ils n'ont besoin que d'affiner l'IA pour leur domaine de problème spécifique.
«Un avantage important des modèles de langage de transformateur bidirectionnel profond est que nous pouvons exploiter des modèles pré-formés, qui ont déjà été formés sur de très grands ensembles de données en utilisant des ressources informatiques importantes. , puis les affiner pour des tâches spécifiques telles que la détection de position », dit Wong.
En utilisant l'apprentissage par transfert, les chercheurs de l'Université de Waterloo ont pu affiner RoBERTa pour la détection de position avec un seul Nvidia GeForce GTX 1080 Carte Ti (environ 700 $).
L'ensemble de données de position
Pour la détection de position, les chercheurs ont utilisé l'ensemble de données utilisé dans le Fake News Challenge (FNC-1) ) un concours lancé en 2017 pour tester et étendre les capacités de l'IA à détecter la désinformation en ligne. L'ensemble de données comprend 50 000 articles en tant que données d'apprentissage et un ensemble de tests de 25 000 articles. L'IA prend en entrée le titre et le texte d'un article et affiche la position du texte par rapport au titre. Le corps de l'article peut être d'accord ou en désaccord avec l'allégation faite dans le titre, peut en discuter sans prendre position, peut être sans rapport avec le sujet.
Le modèle de détection de position basé sur RoBERTa présenté par les chercheurs de l'Université de Waterloo
Résultats du Fake News Challenge (FNC-1): les trois premières lignes sont les modèles de langage qui ont remporté le concours d'origine (2017 ). Les cinq lignes suivantes sont des modèles d'IA qui ont été développés au cours des années suivantes. La dernière ligne est l'approche basée sur les transformateurs proposée par des chercheurs de l'Université de Waterloo.Pour être clair, développer des repères et des méthodes d'évaluation de l'IA qui sont représentatifs du désordre et de l'imprévisibilité du monde réel [19659008] est très difficile, surtout en ce qui concerne le traitement du langage naturel.
Les organisateurs de FNC-1 se sont donné beaucoup de mal pour rendre l'ensemble de données de référence reflétant les scénarios du monde réel. Ils ont tiré leurs données de l'Emergent Project, un outil de suivi des rumeurs en temps réel créé par le Tow Center for Digital Journalism de la Columbia University. Mais alors que l'ensemble de données FNC-1 s'est avéré être une référence fiable pour la détection de position, il est également critiqué que il n'est pas suffisamment distribué pour représenter toutes les classes de résultats.
«Les défis des fausses informations évoluent en permanence», explique Wong. "Comme la cybersécurité, il y a un rapport entre ceux qui répandent la désinformation et les chercheurs qui combattent le problème."
Les limites de la détection de position basée sur l'IA
L'un des aspects très positifs du travail effectué par les chercheurs de l'Université de Waterloo est qu'ils ont reconnu les limites de leur modèle d'apprentissage en profondeur (une pratique que j'aimerais que certains grands laboratoires de recherche en IA adoptent également).
D'une part, les chercheurs soulignent que ce système d'IA sera l'un des nombreux éléments qui devraient se réunir pour traiter des fausses nouvelles. D'autres outils qui doivent être développés dans le domaine de la collecte de documents, de la vérification de leur réputation et de la prise de décision finale concernant la réclamation en question. Ce sont des domaines de recherche actifs.
Les chercheurs soulignent également la nécessité d'intégrer des outils d'IA dans des procédures contrôlées par l'homme. «Pour autant que ces éléments puissent être développés, les premiers utilisateurs finaux prévus d'un système automatisé de vérification des faits devraient être les journalistes et les vérificateurs des faits. La validation du système à travers la lentille d'experts du processus de vérification des faits est quelque chose que les performances du système sur des ensembles de données de référence ne peuvent pas fournir », observent les chercheurs dans leur article.
Les chercheurs mettent explicitement en garde contre les conséquences d'une confiance aveugle dans l'apprentissage automatique des algorithmes pour prendre des décisions sur la vérité. «Un résultat négatif involontaire potentiel de ce travail est que les gens prennent les résultats d'un système automatisé de vérification des faits comme la vérité définitive, sans utiliser leur propre jugement, ou que des acteurs malveillants promeuvent sélectivement des allégations qui peuvent être mal classées par le modèle, mais adhèrent à leur propre programme », écrivent les chercheurs.
Crédit d'image: DepositphotosCeci est l'un des nombreux projets qui montrent les avantages de combinant l'intelligence artificielle et l'expertise humaine . «En général, nous combinons l'expérience et la créativité des êtres humains avec la vitesse et la minutie offertes par l'IA. À cette fin, les efforts de l'IA pour lutter contre les fausses informations ne sont que des outils que les vérificateurs des faits et les journalistes devraient utiliser avant de décider si un article donné est frauduleux », a déclaré Wong. «Ce qu'un système d'IA peut faire, c'est fournir une certaine assurance statistique concernant les affirmations d'un article donné. Autrement dit, étant donné un titre, ils peuvent montrer que, par exemple, 5 000 «autres» articles sont en désaccord avec la revendication alors que seulement 50 la soutiennent. Une telle distinction servirait à avertir l'individu de douter de la véracité de ce qu'il lit. »
L'un des principaux efforts de DarwinAI, la société de Wong, est de s'attaquer au problème d'explicabilité de l'IA . Les algorithmes d'apprentissage profond développent des représentations très complexes de leurs données d'entraînement, et il est souvent très difficile de comprendre les facteurs derrière leur sortie. L'IA explicable vise à apporter de la transparence à la prise de décision d'apprentissage en profondeur. "Dans le cas de la désinformation, notre objectif est de fournir aux journalistes une compréhension des facteurs critiques qui ont conduit à classer une information comme fausse", dit Wong.
La prochaine étape de l'équipe est de s'attaquer à l'évaluation de la réputation de valider la véracité d'un article par sa source et ses caractéristiques linguistiques.
Cette histoire est republiée de TechTalks le blog qui explore comment la technologie résout les problèmes… et en crée de nouveaux. Aimez-les sur Facebook ici et suivez-les ici:
Publié le 14 mars 2020 – 09:00 UTC
Source link