Comment l'IA pourrait vous aider à apprendre la langue des signes

Les langues des signes ne sont pas faciles à apprendre et sont encore plus difficiles à enseigner. Ils utilisent non seulement des gestes de la main, mais également des articulations, des expressions faciales et une posture corporelle pour communiquer le sens. Cette complexité signifie que les programmes d'enseignement professionnel sont encore rares et souvent coûteux. Mais tout cela pourrait changer bientôt, avec un peu d'aide de l'intelligence artificielle (AI).

Mes collègues et moi travaillons sur un logiciel pour vous apprendre les langues des signes de manière automatisée et intuitive. Actuellement, cet outil peut analyser la manière dont un élève réalise un signe en langue des signes suisse-allemande et fournit des informations détaillées sur la manière d'améliorer la forme, le mouvement, l'emplacement et le timing de la main. Mais nous espérons pouvoir utiliser l'IA derrière l'outil pour créer un logiciel capable d'enseigner diverses langues des signes du monde entier et de prendre en compte des caractéristiques plus complexes des langues, telles que la grammaire de phrases et les éléments de communication non liés à la main .

AI a déjà été utilisé pour la reconnaissance, la traduction ou l'interprétation de la langue des signes. Mais nous pensons que nous sommes les premiers à tenter d’évaluer les signes d’une personne. Plus important encore, nous souhaitons tirer parti de la technologie d'intelligence artificielle pour informer l'utilisateur de ses erreurs.

Pratiquer et évaluer la langue des signes est difficile, car il est impossible de la lire ou de l'écrire. Au lieu de cela, nous avons créé un jeu d'ordinateur. Pour pratiquer un signe, le jeu vous montre une vidéo du signe en cours de réalisation ou vous donne le mot parlé le plus proche qui le décrit (ou les deux). Il enregistre ensuite votre tentative de recréer le signe à l'aide d'une caméra vidéo et vous indique comment vous pouvez mieux faire. Nous avons constaté que faire de ce jeu un jeu encourage les gens à se faire concurrence pour obtenir le meilleur score et améliorer leur signature en cours de route.

L’intelligence artificielle est utilisée à tous les stades de l’évaluation des performances. Tout d'abord, un réseau de neurones convolutifs (CNN) extrait des informations de la vidéo sur la pose de la partie supérieure de votre corps. Un CNN est un type d'IA vaguement basé sur le traitement effectué par le cortex visuel dans votre cerveau. Les informations de votre pose squelettique et la vidéo originale sont ensuite envoyées à l'analyseur de forme de main, où un autre CNN regarde la vidéo et extrait les informations de forme de main à chaque point de la vidéo.

Les informations de squelette et formes de main sont ensuite envoyées à un analyseur de mouvements de la main utilisant un modèle appelé modèle de Markov caché (HMM). Ce type d'intelligence artificielle nous permet de modéliser les informations de squelette et de forme de la main au fil du temps. Il compare ensuite ce qu'il a vu à un modèle de référence qui représente la version parfaite de ce signe et produit un score indiquant à quel point il correspond.

Les résultats de l'analyseur de forme de main et de l'analyseur de mouvement de la main sont ensuite notés et analysés. présenté à vous comme des commentaires. Toute l'IA est donc cachée derrière une interface simple à utiliser, vous permettant de vous concentrer sur l'apprentissage. Nous espérons que les retours automatiques automatiques inciteront les étudiants à apprendre à signer.

Amener l'IA en classe

Jusqu'à présent, le logiciel ne fonctionne que pour la langue des signes suisse-allemande. Mais nos recherches suggèrent que «l’architecture» du système n’aurait pas besoin de changer pour traiter avec d’autres langues. Il suffirait de disposer de davantage d'enregistrements vidéo de chaque langue pour pouvoir les former.

Nous aimerions explorer un domaine de recherche: comment utiliser ce que l'IA sait déjà pour l'aider à apprendre de nouvelles langues. Nous aimerions également voir comment nous pouvons ajouter d'autres aspects de la communication en utilisant le langage des signes, tels que les expressions faciales .

À l'heure actuelle, le logiciel fonctionne mieux dans un environnement simple, tel qu'une salle de classe. . Mais si nous pouvons le développer pour tolérer plus de variations dans l’arrière-plan de la séquence vidéo évaluée, cela pourrait ressembler à de nombreuses applications populaires qui vous permettent d’apprendre une langue où que vous soyez sans l’aide d’un expert. Grâce à ce type de technologie, il sera bientôt possible de rendre l'apprentissage des langues des signes aussi accessible à tous que l'apprentissage de leurs frères et sœurs parlés.

Cet article est republié de The Conversation Par Stephanie Stoll candidate au doctorat en vision par ordinateur, Université de Surrey sous une licence Creative Commons. Lisez l'article original .