Des écouteurs modifiés traduisent la langue des signes via Doppler

Des écouteurs modifiés traduisent la langue des signes via Doppler

Le système basé sur un casque utilise la technologie Doppler pour détecter de minuscules fluctuations, ou échos, dans les ondes sonores acoustiques créées par les mains de quelqu’un qui signe. Crédit : Université de Buffalo

Une équipe de recherche dirigée par l’Université de Buffalo a modifié des écouteurs antibruit, permettant à l’appareil électronique commun de « voir » et de traduire la langue des signes américaine (ASL) lorsqu’il est associé à un smartphone.

Rapporté dans le journal Actes de l’ACM sur les technologies interactives, mobiles, portables et ubiquitaires, le système basé sur un casque utilise la technologie Doppler pour détecter de minuscules fluctuations, ou échos, dans les ondes sonores acoustiques créées par les mains de quelqu’un qui signe.

Baptisé SonicASL, le système s’est avéré efficace à 93,8% lors de tests effectués à l’intérieur et à l’extérieur impliquant 42 mots. Les exemples de mots incluent « amour », « espace » et « appareil photo ». Dans les mêmes conditions impliquant 30 phrases simples, par exemple « Enchanté de vous rencontrer », SonicASL était efficace à 90,6 %.

« SonicASL est une preuve de concept passionnante qui pourrait éventuellement aider à améliorer considérablement la communication entre les populations sourdes et entendantes », déclare l’auteur correspondant Zhanpeng Jin, Ph.D., professeur agrégé au département d’informatique et d’ingénierie de l’UB.

Avant qu’une telle technologie ne soit disponible dans le commerce, beaucoup de travail doit être fait, a-t-il souligné. Par exemple, le vocabulaire de SonicASL doit être considérablement élargi. De plus, le système doit être capable de lire les expressions faciales, une composante majeure de l’ASL.

L’étude sera présentée à la conférence ACM sur l’informatique omniprésente et ubiquitaire (UbiComp), qui se tiendra du 21 au 26 septembre.

Pour les sourds, les barrières de communication persistent

Dans le monde, selon la Fédération mondiale des sourds, environ 72 millions de personnes sourdes utilisent plus de 300 langues des signes différentes.

Des écouteurs modifiés traduisent la langue des signes via Doppler

L’illustration de gauche montre les modifications apportées au casque. La droite montre ce qu’un utilisateur voit sur son smartphone. Crédit : Université de Buffalo

Bien que les Nations Unies reconnaissent que les langues des signes ont une importance égale à la parole, ce point de vue n’est pas encore une réalité dans de nombreux pays. Les personnes sourdes ou malentendantes rencontrent encore de multiples obstacles à la communication.

Traditionnellement, les communications entre les utilisateurs sourds de la langue des signes américaine (ASL) et les entendants qui ne connaissent pas la langue se font soit en présence d’un interprète ASL, soit par l’intermédiaire d’une caméra.

Selon Jin, une préoccupation fréquente concernant l’utilisation des caméras consiste à savoir si ces enregistrements vidéo pourraient être utilisés à mauvais escient. Et bien que l’utilisation d’interprètes ASL soit de plus en plus courante, rien ne garantit qu’un interprète sera disponible en cas de besoin.

SonicASL vise à résoudre ces problèmes, en particulier dans des circonstances occasionnelles sans planification ni configuration préalables, a déclaré Jin.

Modifier un casque avec haut-parleur, ajouter une application

La plupart des casques antibruit reposent sur un microphone orienté vers l’extérieur qui capte le bruit ambiant. Le casque produit alors un anti-son – une onde sonore de même amplitude mais avec une phase inversée du bruit environnant – pour annuler le bruit extérieur.

« Nous avons ajouté un haut-parleur supplémentaire à côté du microphone orienté vers l’extérieur. Nous voulions voir si le casque modifié pouvait détecter des objets en mouvement, comme un radar », explique le co-auteur principal Yincheng Jin (aucun lien), un doctorat. candidat dans le laboratoire de Jin.

Le haut-parleur et le microphone captent en effet les mouvements de la main. Les informations sont relayées via l’application pour téléphone portable SonicASL, qui contient un algorithme créé par l’équipe pour identifier les mots et les phrases. L’application traduit ensuite les signes et parle à la personne entendante via les écouteurs.

Des écouteurs modifiés traduisent la langue des signes via Doppler

Ce sont les ondes sonores acoustiques créées en signant la phrase « J’ai besoin d’aide ».

« Nous avons testé SonicASL dans différents environnements, y compris des bureaux, des appartements, des couloirs et des trottoirs », explique le co-auteur principal Yang Gao, Ph.D., qui a terminé la recherche dans le laboratoire de Jin avant de devenir chercheur postdoctoral à l’Université Northwestern. « Bien qu’il y ait eu une légère diminution de la précision à mesure que les bruits environnementaux globaux augmentent, la précision globale est toujours assez bonne, car la majorité des bruits environnementaux ne se chevauchent pas ou n’interfèrent pas avec la gamme de fréquences requise par SonicASL. »

L’algorithme de base SonicASL peut être implémenté et déployé sur n’importe quel smartphone, dit-il.

SonicASL peut être adapté pour d’autres langues des signes

Contrairement aux systèmes qui attribuent la responsabilité de « combler » le fossé des communications aux sourds, SonicASL renverse le scénario, encourageant la population entendante à faire l’effort.

Un avantage supplémentaire de la flexibilité de SonicASL est qu’il peut être adapté pour des langues autres que l’ASL, dit Jin.

« Différentes langues des signes ont des caractéristiques diverses, avec leurs propres règles de prononciation, de formation des mots et d’ordre des mots », dit-il. « Par exemple, le même geste peut représenter différents mots en langage des signes dans différents pays. Cependant, la fonctionnalité clé de SonicASL est de reconnaître divers gestes de la main représentant des mots et des phrases en langage des signes, qui sont génériques et universels. Bien que notre technologie actuelle se concentre sur ASL, avec une bonne formation du modèle algorithmique, il peut être facilement adapté à d’autres langues des signes. »

Les prochaines étapes, dit Jin, consisteront à élargir le vocabulaire des signes qui peut être reconnu et différencié par SonicASL, ainsi qu’à travailler pour incorporer la capacité de lire les expressions faciales.

« Le SonicASL proposé vise à développer un système de style casque convivial, pratique et facile à utiliser pour promouvoir et faciliter la communication entre les populations sourdes et entendantes », a déclaré Jin.


Un étudiant chercheur exhorte la recherche sur le traitement du langage naturel à se concentrer sur les langues des signes


Plus d’information:
Yincheng Jin et al, SonicASL, Actes de l’ACM sur les technologies interactives, mobiles, portables et ubiquitaires (2021). DOI : 10.1145/3463519

Fourni par l’Université de Buffalo

Citation: Les écouteurs modifiés traduisent la langue des signes via Doppler (2021, 8 septembre) récupéré le 8 septembre 2021 sur https://techxplore.com/news/2021-09-headphones-language-doppler.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.