Un gant avec cinq capteurs inertiels pour la reconnaissance des gestes de la main

WaveGlove : Un gant avec cinq capteurs inertiels pour la reconnaissance des gestes de la main

Le prototype WaveGlove. Un capteur inertiel est attaché à chacun des cinq doigts, mesurant l’accélération et la vitesse angulaire, qui sont utilisés pour la classification des gestes. Tous les composants utilisés sont peu coûteux et largement disponibles, ce qui montre encore plus le potentiel d’une production en série d’un appareil similaire à l’avenir. Crédit : Kralik & Suppa.

Au cours des dernières décennies, les informaticiens ont développé un large éventail de modèles et d’approches pour analyser différents aspects du comportement humain et de la communication, tels que la parole, les émotions et les gestes. La plupart des techniques existantes de reconnaissance des gestes de la main reposent sur l’utilisation de technologies portables avec un seul capteur et ne peuvent reconnaître qu’un nombre limité de gestes de base.

Des chercheurs de l’Université Comenius de Bratislava en Slovaquie ont récemment développé WaveGlove, un nouveau système de reconnaissance des gestes de la main qui utilise plusieurs capteurs inertiels, au lieu d’un seul capteur. Ce nouveau système, présenté dans un article pré-publié sur arXiv, est essentiellement un gant avec un capteur inertiel placé sur chacun de ses doigts.

« Notre article récent présente l’utilisation de plusieurs capteurs inertiels pour la reconnaissance des gestes de la main (HGR) », a déclaré à TechXplore Matej Kralik, l’un des chercheurs qui a mené l’étude. « En construisant un prototype de matériel personnalisé et en proposant un nouveau modèle basé sur Transformer (une architecture de réseau, qui a eu beaucoup de succès sur les tâches de traitement du langage naturel), nous démontrons que l’utilisation de plusieurs capteurs peut avoir un effet significatif sur la précision de la classification et permet de un vocabulaire gestuel plus riche. »

À l’aide de WaveGlove, le système de reconnaissance des gestes de la main qu’ils ont créé, les chercheurs ont pu acquérir deux ensembles de données contenant plus de 11000 échantillons de gestes de la main. Kralik et ses collègues ont ensuite conçu deux vocabulaires gestuels différents, l’un contenant 8 mouvements de la main entière (WaveGlove-single) et un autre contenant 10 gestes de la main plus complexes et soigneusement conçus, pour lesquels les doigts individuels se déplacent différemment (WaveGlove-multi).

WaveGlove : Un gant avec cinq capteurs inertiels pour la reconnaissance des gestes de la main

Les gestes de l’ensemble de données WaveGlove-single sont similaires à ceux généralement classés à l’aide d’un seul capteur. Le capteur se déplace dans le sens de la flèche. Crédit : Kralik & Suppa.

« La présence de plusieurs capteurs nous permet de concevoir et de classer un vocabulaire de gestes plus riche par rapport aux capteurs portables uniques », a déclaré Kralik. « Les gestes que nous classons à l’aide de plusieurs capteurs sont similaires à ceux que nous utilisons déjà dans notre vie quotidienne. Cela rend l’utilisation d’un appareil comme WaveGlove plus facile et plus naturelle. »

En plus de compiler des ensembles de données sur les gestes de la main et de confirmer l’efficacité du système WaveGlove, les chercheurs ont comparé plus de 10 méthodes de classification pour la reconnaissance des gestes de la main, dont certaines avaient été développées dans le cadre de leurs recherches précédentes. Ils ont évalué ces méthodes sur de nombreux ensembles de données différents, car ils espéraient que cela aiderait à standardiser les résultats dans le domaine de la reconnaissance des gestes de la main.

WaveGlove : Un gant avec cinq capteurs inertiels pour la reconnaissance des gestes de la main

Certains des gestes du jeu de données WaveGlove-multi. La présence de plusieurs capteurs permet de différents mouvements des doigts ainsi que d’utiliser des gestes que nous connaissons déjà de notre vie quotidienne. Crédit : Kralik & Suppa.

Les résultats recueillis par cette équipe de chercheurs pourraient avoir de nombreuses implications précieuses. Premièrement, leurs travaux pourraient éclairer la recherche axée sur la reconnaissance des gestes de la main et contribuer à améliorer les systèmes existants. Deuxièmement, le prototype WaveGlove qu’ils ont créé pourrait finalement être utilisé pour améliorer les communications entre les humains et les machines, permettant à ces derniers de mieux interpréter les gestes de la main humaine.

« Au meilleur de notre connaissance, nous fournissons le premier ensemble de données multi-capteurs accessible au public de taille significative dans le domaine de la reconnaissance des gestes de la main à l’aide de capteurs inertiels », a déclaré Kralik. « Nous démontrons également que la quantité et le placement optimaux des capteurs dépendent des gestes à classer. Nous visons maintenant à explorer davantage le réglage fin du modèle basé sur Transformer que nous avons examiné, en augmentant la taille et la variabilité de l’ensemble de données et en élargissant le Vocabulaire multi-sensoriel des gestes. »


Pour les jumeaux, le geste et la parole vont de pair dans le développement du langage


Plus d’information:
WaveGlove : Reconnaissance des gestes de la main basée sur un transformateur utilisant plusieurs capteurs inertiels. arXiv:2105.01753 [cs.HC]. arxiv.org/abs/2105.01753

© 2021 Réseau Science X

Citation: WaveGlove : Un gant avec cinq capteurs inertiels pour la reconnaissance des gestes de la main (2021, 15 juin) récupéré le 15 juin 2021 sur https://techxplore.com/news/2021-06-waveglove-glove-inertial-sensors-gesture.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.