L'IA ne peut pas dire si vous mentez – quiconque dit le contraire vend quelque chose

Un autre jour, une autre étude d'IA problématique. L'émission spéciale d'aujourd'hui sur l'huile de serpent passe par l'Université de Tel Aviv, où une équipe de chercheurs a dévoilé un soi-disant « système de détection de mensonges ». quantité de temps pour travailler sur le problème, ne pouvait pas le faire eux-mêmes. Et aucun humain ne peut dire si un humain donné ment. Point final.

Le simple fait est que certains d'entre nous peuvent dire quand certaines personnes mentent de temps en temps. Personne ne peut dire quand quelqu'un ment tout le temps. sur la contraction de leurs muscles faciaux – atteignant un taux de détection plus élevé que n'importe quelle méthode connue.

C'est une déclaration vraiment étrange. L'idée qu'une précision de « 73 % » dans la détection des mensonges indique le succès d'un paradigme particulier est au mieux discutable. Et, traditionnellementc'est à peu près à quel point les humains réussissent à deviner les mensonges. Fait intéressant, ils réussissent beaucoup mieux à deviner les vérités. Certaines études prétendent que les humains atteignent à peu près la même « précision » pour déterminer les déclarations de vérité que le « système de détection de mensonges » de l'équipe de Tel Aviv le fait pour déterminer la véracité.

L'article de l'équipe de l'Université de Tel Aviv mentionne même que les polygraphes ne sont pas admissibles devant les tribunaux parce qu'ils ne sont pas fiables. Mais ils omettent de souligner que les appareils polygraphiques (qui existent depuis depuis 1921 ) battent leur propre système en ce qu'on appelle la « précision » – les polygraphes ont en moyenne un taux de précision d'environ 80 % à 90 % dans les études.

Mais examinons de plus près l'étude de l'équipe de Tel Aviv quand même. L'équipe a commencé avec 48 participants, dont 35 ont été identifiés comme « femmes ». Six participants ont été exclus en raison de problèmes techniques, deux ont été abandonnés pour « n'avoir jamais menti » et un a participé à « seulement 40 essais sur 80 où les incitations financières n'étaient pas présentées. »

Ainsi, les données de cette étude ont été générées à partir de deux sources : un système d'IA propriétaire et 39 à 40 participants humains. Parmi ces participants, une écrasante majorité ont été identifiés comme « femmes », et il n'y a aucune mention de la diversité raciale, culturelle ou religieuse.

De plus, l'âge médian des participants était de 23 ans et il n'y a aucun moyen de déterminer si l'équipe a considéré antécédents, de santé mentale ou de toute autre préoccupation.

Tout ce que nous pouvons dire, c'est qu'un petit groupe de personnes âgées de 23 ans en moyenne, principalement des « femmes », s'est jumelée pour participer à cette étude.

Il y avait également indemnisation en cause. Non seulement ils étaient payés pour leur temps, ce qui est la norme dans le monde de la recherche universitaire, mais ils étaient également payés pour avoir réussi à mentir aux humains.

C'est un signal d'alarme. Pas parce qu'il est contraire à l'éthique de payer pour des données d'étude (ce n'est pas le cas). Mais parce que cela ajoute des paramètres inutiles afin de brouiller intentionnellement ou par ignorance l'étude.

Les chercheurs expliquent cela en affirmant que cela faisait partie de l'expérience pour déterminer si l'incitation a changé la capacité des gens à mentir.

Mais, avec un tel échantillon d'étude minuscule, il semble ridicule de bourrer l'expérience de paramètres inutiles. Surtout celles qui sont si incomplètes qu'elles ne pourraient pas être codifiées sans des données de base solides.

Quel est l'impact d'une incitation financière sur l'efficacité d'une étude révélatrice de la vérité ? Cela ressemble à quelque chose qui nécessite sa propre étude à grande échelle pour déterminer.

Passons simplement à la méthodologie

Les chercheurs ont jumelé les participants en menteurs et en récepteurs. Les menteurs ont mis des écouteurs et écouté le mot « arbre » ou « ligne », puis ont été invités à dire la vérité ou à mentir au sujet de ce qu’ils avaient entendu. Le travail de leur partenaire consistait à deviner si on leur mentait. les sorties. Les chercheurs ont opéré en partant de l'hypothèse initiale que les contractions de nos muscles faciaux sont une fenêtre sur la vérité fondamentale.

Cette hypothèse est purement théorique et, franchement, ridicule. Les victimes d'AVC existent. La paralysie de Bell existe. La communication neurodiverse existe. Des cicatrices et une perte de force musculaire existent. Au moins 1 milliard de personnes dans le monde vivent actuellement avec une forme de handicap physique et presque autant vivent avec un trouble mental diagnostiqué.

Pourtant, les chercheurs s'attendent à ce que nous croyions en avoir inventé un. -Algorithme universel pour comprendre les humains. Ils prétendent être tombés sur un trait humain qui lie inextricablement l'acte mental de tromperie à une expression physique universelle singulière. Et ils y sont parvenus en mesurant les contractions musculaires du visage de seulement 40 humains ?

Selon le communiqué de presse susmentionné :

Les chercheurs pensent que leurs résultats peuvent avoir des implications dramatiques dans de nombreux domaines de notre vie. À l'avenir, les électrodes pourraient devenir redondantes, avec un logiciel vidéo formé pour identifier les mensonges en fonction des mouvements réels des muscles du visage.

La grande idée ici est donc de générer des données avec un paradigme expérimental (électrodes physiques) dans afin de développer une méthodologie pour un paradigme expérimental complètement différent (vision par ordinateur) ? Et nous sommes censés croire que ce mélange particulier d'entrées disparates aboutira à un système qui peut déterminer la véracité d'un être humain à un degré tel que ses sorties sont recevables devant un tribunal ?

C'est un saut audacieux à faire ! L'équipe peut tout aussi bien prétendre qu'elle a résolu l'AGI avec l'apprentissage en profondeur de la boîte noire. La vision par ordinateur existe déjà. Soit les données des électrodes sont nécessaires, soit elles ne le sont pas.

Ce qui est pire, ils ont apparemment l'intention de développer cela en une solution d'huile de serpent pour les gouvernements et les grandes entreprises.[19659002]Le communiqué de presse se poursuit par une citation :

[Team member Dino Levy] prédit : « Dans la banque, lors des interrogatoires de police, à l'aéroport ou lors d'entretiens d'embauche en ligne, des caméras haute résolution entraînées pour identifier les mouvements des muscles du visage seront capable de distinguer les déclarations véridiques des mensonges. À l'heure actuelle, la tâche de notre équipe est de terminer la phase expérimentale, d'entraîner nos algorithmes et de se débarrasser des électrodes. Une fois la technologie mise au point, on s'attend à ce qu'elle ait des applications nombreuses et très diverses. »

Des interrogatoires de police ? Aéroports ? Quoi?

Quel pourcentage exact de ces 40 participants à l'étude étaient noirs, latinos, handicapés, autistes ou homosexuels ? Comment quelqu'un peut-il, en toute bonne foi et conscience, faire des déclarations scientifiques aussi grandioses sur l'IA sur la base d'un si petit saupoudrage de données ?

Si cette « solution d'IA » devenait réellement un produit, des personnes pourraient être faussement arrêtées, détenues dans les aéroports, refusées des prêts et ignorées pour des emplois parce qu'elles n'ont pas l'air, sonnent, et agissent exactement comme les personnes qui ont participé à cette étude.

Ce système d'IA n'a pu déterminer si quelqu'un mentait avec un niveau de précision de 73 % dans une expérience où les mensonges ne duraient qu'un mot signifiait rien à la personne qui les prononçait, et n'avaient aucun effet réel sur la personne qui les entendait.

Il n'y a pas de scénario réel analogue à cette expérience. Et cette « précision à 73 % » est aussi insignifiante qu'une diffusion de cartes de tarot ou une sortie de Magic 8-Ball.

En termes simples : un taux de précision de 73 % sur moins de 200 itérations d'une étude impliquant un maximum de 20 groupes de données (les participants ont été jumelés) est une conclusion qui indique que votre expérience est un échec.

Le monde a besoin de plus de recherches comme celle-ci, ne vous méprenez pas. Il est important de tester les limites de la technologie. Mais les affirmations des chercheurs sont entièrement farfelues et visent clairement un éventuel lancement de produit.

Malheureusement, il y a environ 100 % de chances que cela soit développé et utilisé par les policiers américains.

Tout comme predictive-policingGaydarembauche d'IAet toutes les autres solutions d'IA d'huile de serpent là-bas, c'est absolument nocif .

Mais, par tous les moyens, ne me croyez pas sur parole : lisez l'intégralité de l'article et les propres conclusions des chercheurs ici.