Un système qui suit les poses humaines en 3D pendant les mouvements de forme libre

Winect : un système qui suit les poses humaines en 3D pendant les mouvements de forme libre

Le système Winect transmet des signaux WiFi et analyse leurs réflexions sur le corps humain pour générer des squelettes humains 3D dynamiques. Crédit : Ren & Yang.

Les dispositifs de détection sans fil, outils qui permettent aux utilisateurs de détecter les mouvements et de surveiller à distance les activités ou les changements dans des environnements spécifiques, ont de nombreuses applications. Par exemple, ils pourraient être utilisés à des fins de surveillance ainsi que pour suivre le sommeil ou les activités physiques des patients médicaux et des athlètes. Certains développeurs de jeux vidéo ont également utilisé des systèmes de détection sans fil pour créer des jeux liés au sport ou à la danse plus attrayants.

Des chercheurs de la Florida State University, de la Trinity University et de la Rutgers University ont récemment développé Winect, un nouveau système de détection sans fil qui peut suivre les poses des humains en 3D alors qu’ils effectuent un large éventail d’activités physiques de forme libre. Ce système a été présenté dans un article prépublié sur arXiv et devrait être présenté à la conférence ACM sur les technologies interactives, mobiles, portables et ubiquitaires (Ubi Comp) 2021, l’un des événements informatiques les plus renommés au monde.

“Notre groupe de recherche a mené des recherches de pointe sur la détection sans fil”, a déclaré à TechXplore Jie Yang, l’un des chercheurs qui a mené l’étude. « Dans le passé, nous avons proposé plusieurs systèmes pour utiliser les signaux Wi-Fi pour détecter diverses activités humaines et objets, allant des activités humaines à grande échelle aux mouvements des doigts à petite échelle, à la surveillance du sommeil et aux objets quotidiens. Par exemple, nous avons proposé deux systèmes baptisés E-eyes et WiFinger, qui sont parmi les premiers travaux à utiliser la détection Wi-Fi pour distinguer différents types d’activités quotidiennes et de gestes des doigts.”

Alors que les systèmes de détection sans fil développés par les chercheurs dans leurs études antérieures ont obtenu des résultats prometteurs, ils reposent principalement sur des modèles pré-entraînés sur un ensemble fixe d’activités connues, ils ne peuvent donc classer qu’un nombre limité de poses ou de mouvements humains. Dans leur nouvelle étude, Yang et ses collègues ont cherché à savoir s’ils pouvaient également utiliser des signaux Wi-Fi pour détecter des activités humaines de forme libre (c’est-à-dire impliquant des mouvements rapides et plus élaborés). Le suivi et l’estimation précis des mouvements de forme libre pourraient améliorer plusieurs applications informatiques du monde réel, y compris les implémentations de réalité virtuelle (VR), la remise en forme améliorée par la technologie et le développement de jeux vidéo.

Winect, le système créé par les chercheurs, peut examiner les mouvements dans les environnements domestiques en transmettant des signaux Wi-Fi et en analysant la manière dont ces signaux sont réfléchis par le corps humain. Cela lui permet de suivre les mouvements de fourche libre et les poses humaines en 3D.

Un avantage clé de Winect est qu’il utilise des dispositifs de transmission Wi-Fi qui se trouvent déjà dans un environnement, tels que des ordinateurs portables, des ordinateurs de bureau, des téléviseurs intelligents ou des haut-parleurs intelligents, pour envoyer les signaux dont il a besoin pour examiner les activités humaines. Par la suite, il utilise des techniques d’apprentissage en profondeur pour créer une version numérique des mouvements 3D du corps entier d’un utilisateur, divisant le corps en différentes parties séparées par des articulations (par exemple, la tête, la colonne vertébrale, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles) .

“Notre système émet d’abord les signaux Wi-Fi pour sonder l’environnement domestique, puis analyse les signaux réfléchis par le corps humain pour un suivi des activités de forme libre”, a expliqué Yang. « Plus précisément, il extrait et analyse la phase des signaux Wi-Fi reçus pour détecter la présence d’activités humaines et le nombre de membres en mouvement. Ensuite, notre système utilise des techniques de traitement du signal pour séparer les signaux Wi-Fi réfléchis par chaque mouvement. membre et suivre la trajectoire de chaque membre.

Winect crée une version numérique des poses du corps d’un utilisateur humain en 3D à l’aide de techniques d’apprentissage en profondeur. Essentiellement, il crée un squelette 3D du corps d’un utilisateur en modélisant la relation entre les mouvements des membres et les articulations correspondantes.

Le système des chercheurs présente de nombreux avantages par rapport aux autres systèmes de détection sans fil existants. Contrairement aux appareils basés sur la vision par ordinateur tels que Kinect ou Leap Motion, par exemple, il peut également détecter à travers les murs et n’est pas affecté par les occlusions, car il ne repose pas sur une caméra mais sur des signaux Wi-Fi qui peuvent traverser des obstacles.

“Contrairement aux systèmes portables intrusifs, tels que Xsens, qui nécessitent qu’un utilisateur porte ou fixe des capteurs de mouvement ou des marqueurs visibles sur le corps humain, Winect ne nécessite aucun capteur sur le corps humain et est donc transparent pour les utilisateurs”, a déclaré Yang. “De plus, comme Winect pourrait réutiliser des appareils Wi-Fi de base à la maison (par exemple, un ordinateur portable, des ordinateurs de bureau, une télévision intelligente, des haut-parleurs intelligents), il n’entraîne pas de coût supplémentaire et est donc prometteur pour une adoption massive par les utilisateurs finaux dans les maisons intelligentes. .”

Yang et ses collègues ont évalué leur système de détection sans fil et ont constaté qu’il obtenait des résultats remarquables. Dans leurs tests, Winect a pu suivre les activités humaines de forme libre avec une précision centimétrique dans une variété d’environnements et de scénarios difficiles. Dans l’ensemble, leurs résultats suggèrent que les signaux Wi-Fi réfléchis par le corps humain contiennent des informations riches qui peuvent être utilisées pour extraire des mouvements et des poses humains à grain fin.

“Les applications d’interaction homme-machine, de tels mouvements à grain fin pourraient être exploitées pour comprendre les activités et les comportements humains pour des applications de soins de santé intelligentes”, a déclaré Yang. « Par exemple, dans les établissements de vieillissement chez soi, il est très utile de comprendre les activités et les changements de comportement des personnes âgées pour détecter les chutes et autres situations de besoin. En suivant les activités quotidiennes et en générant des statistiques pour une personne, il est également possible de surveiller le bien-être et de suggérer des interventions qui améliorent la santé.”

À l’avenir, ce système d’estimation de pose humaine en 3D pourrait être utilisé pour créer des applications plus attrayantes et plus performantes qui impliquent le suivi de mouvements humains de forme libre. Par exemple, les poses 3D qu’il prédit pourraient améliorer les performances des assistants de fitness intelligents et des plateformes de réalité virtuelle.

Jusqu’à présent, les chercheurs se sont principalement concentrés sur la détection des activités humaines sans analyser le contexte ou les environnements dans lesquels elles se déroulent. Dans leurs prochaines études, cependant, ils prévoient de créer des systèmes capables de suivre les activités humaines et de prédire les intentions en utilisant des informations contextuelles suivant une approche connu sous le nom de détection de contexte.

“Par exemple, si un utilisateur est allongé sur le lit sans bouger, il peut dormir ou simplement écouter de la musique, il peut donc être difficile pour les systèmes existants de comprendre pleinement ce qu’ils ressentent sans le contexte”, a déclaré Yang. . “Ainsi, il est important d’analyser les activités humaines ainsi que la scène dans laquelle elles se déroulent, en considérant le contexte sémantique de ses contenus et les relations intrinsèques entre eux.”


AugLimb : Un membre robotique compact pour soutenir les humains lors des activités quotidiennes


Plus d’information:
Yili Ren, Jie Yang, Estimation de pose humaine 3D pour une activité de forme libre utilisant des signaux WiFi. arXiv:2110.08314v1 [cs.CV], arxiv.org/abs/2110.08314

© 2021 Réseau Science X

Citation: Winect : Un système qui suit les poses humaines en 3D pendant le mouvement de forme libre (2021, 5 novembre) récupéré le 5 novembre 2021 à partir de https://techxplore.com/news/2021-11-winect-tracks-3d-human-poses. html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.