Le casque de réalité augmentée permet aux utilisateurs de voir des objets cachés

Des chercheurs du MIT ont construit un casque de réalité augmentée qui donne au porteur une vision aux rayons X.

Le casque combine la vision par ordinateur et la perception sans fil pour localiser automatiquement un élément spécifique caché à la vue, peut-être à l’intérieur d’une boîte ou sous une pile, puis guider l’utilisateur pour le récupérer.

Le système utilise des signaux de radiofréquence (RF), qui peuvent traverser des matériaux courants tels que des boîtes en carton, des conteneurs en plastique ou des séparateurs en bois, pour trouver des objets cachés qui ont été étiquetés avec des étiquettes RFID, qui reflètent les signaux envoyés par une antenne RF.

Le casque dirige le porteur lorsqu’il traverse une pièce vers l’emplacement de l’objet, qui apparaît sous la forme d’une sphère transparente dans l’interface de réalité augmentée (AR). Une fois l’objet dans la main de l’utilisateur, le casque, appelé X-AR, vérifie qu’il a saisi le bon objet.

Lorsque les chercheurs ont testé X-AR dans un environnement de type entrepôt, le casque pouvait localiser les objets cachés à moins de 9,8 centimètres, en moyenne. Et il a vérifié que les utilisateurs ont choisi le bon article avec une précision de 96 %.

X-AR pourrait aider les employés des entrepôts de commerce électronique à trouver rapidement des articles sur des étagères encombrées ou enterrés dans des boîtes, ou en identifiant l’article exact d’une commande lorsque de nombreux objets similaires se trouvent dans le même bac. Il pourrait également être utilisé dans une usine de fabrication pour aider les techniciens à localiser les bonnes pièces pour assembler un produit.

“Notre objectif avec ce projet était de construire un système de réalité augmentée qui vous permette de voir des choses qui sont invisibles – des choses qui sont dans des boîtes ou dans des coins – et ce faisant, il peut vous guider vers eux et vous permettre vraiment de voir le monde physique d’une manière qui n’était pas possible auparavant », déclare Fadel Adib, professeur agrégé au Département de génie électrique et d’informatique, directeur du groupe Signal Kinetics au Media Lab et auteur principal d’un article sur X-AR.

Les co-auteurs d’Adib sont les assistants de recherche Tara Boroushaki, qui est l’auteur principal de l’article ; Maisy Lam; Laura Dodds; et l’ancienne postdoc Aline Eid, qui est maintenant professeure adjointe à l’Université du Michigan. La recherche sera présentée au Symposium USENIX sur la conception et la mise en œuvre de systèmes en réseau.

Augmenter un casque AR

Pour créer un casque de réalité augmentée avec vision par rayons X, les chercheurs ont d’abord dû équiper un casque existant d’une antenne capable de communiquer avec des objets étiquetés RFID. La plupart des systèmes de localisation RFID utilisent plusieurs antennes distantes de plusieurs mètres, mais les chercheurs avaient besoin d’une antenne légère capable d’atteindre une bande passante suffisamment élevée pour communiquer avec les étiquettes.

“L’un des grands défis consistait à concevoir une antenne qui s’adapterait au casque sans couvrir aucune des caméras ni gêner ses opérations. Cela compte beaucoup, car nous devons utiliser toutes les spécifications de la visière”, explique Eid.

L’équipe a pris une antenne cadre simple et légère et a expérimenté en effilant l’antenne (en modifiant progressivement sa largeur) et en ajoutant des espaces, deux techniques qui augmentent la bande passante. Étant donné que les antennes fonctionnent généralement à l’air libre, les chercheurs l’ont optimisé pour envoyer et recevoir des signaux lorsqu’ils sont fixés à la visière du casque.

Une fois que l’équipe a construit une antenne efficace, elle s’est concentrée sur son utilisation pour localiser les articles étiquetés RFID.

Ils ont exploité une technique connue sous le nom de radar à synthèse d’ouverture (SAR), qui est similaire à la façon dont les avions imagent les objets au sol. X-AR prend des mesures avec son antenne à partir de différents points de vue lorsque l’utilisateur se déplace dans la pièce, puis il combine ces mesures. De cette façon, il agit comme un réseau d’antennes où les mesures de plusieurs antennes sont combinées pour localiser un appareil.

X-AR utilise les données visuelles de la capacité d’auto-suivi du casque pour créer une carte de l’environnement et déterminer son emplacement dans cet environnement. Au fur et à mesure que l’utilisateur marche, il calcule la probabilité de l’étiquette RFID à chaque emplacement. La probabilité sera la plus élevée à l’emplacement exact de la balise, elle utilise donc ces informations pour se concentrer sur l’objet caché.

“Bien que cela représentait un défi lors de la conception du système, nous avons constaté dans nos expériences qu’il fonctionnait bien avec le mouvement humain naturel. Parce que les humains se déplacent beaucoup, cela nous permet de prendre des mesures à partir de nombreux endroits différents et de localiser avec précision un article », dit Dodds.

Une fois que X-AR a localisé l’objet et que l’utilisateur le récupère, le casque doit vérifier que l’utilisateur a saisi le bon objet. Mais maintenant, l’utilisateur est immobile et l’antenne du casque ne bouge pas, il ne peut donc pas utiliser le SAR pour localiser la balise.

Cependant, lorsque l’utilisateur prend l’article, l’étiquette RFID se déplace avec lui. X-AR peut mesurer le mouvement de l’étiquette RFID et tirer parti de la capacité de suivi manuel du casque pour localiser l’article dans la main de l’utilisateur. Ensuite, il vérifie que l’étiquette envoie les bons signaux RF pour vérifier qu’il s’agit du bon objet.

Les chercheurs ont utilisé les capacités de visualisation holographique du casque pour afficher ces informations de manière simple pour l’utilisateur. Une fois que l’utilisateur met le casque, il utilise des menus pour sélectionner un objet dans une base de données d’éléments étiquetés. Une fois l’objet localisé, il est entouré d’une sphère transparente afin que l’utilisateur puisse voir où il se trouve dans la pièce. Ensuite, l’appareil projette la trajectoire vers cet élément sous la forme de pas sur le sol, qui peuvent se mettre à jour dynamiquement au fur et à mesure que l’utilisateur marche.

“Nous avons fait abstraction de tous les aspects techniques afin de pouvoir offrir une expérience transparente et claire à l’utilisateur, ce qui serait particulièrement important si quelqu’un devait mettre cela dans un environnement d’entrepôt ou dans une maison intelligente”, explique Lam.

Tester le casque

Pour tester X-AR, les chercheurs ont créé un entrepôt simulé en remplissant des étagères avec des boîtes en carton et des bacs en plastique, et en plaçant des articles étiquetés RFID à l’intérieur.

Ils ont constaté que X-AR peut guider l’utilisateur vers un élément ciblé avec moins de 10 centimètres d’erreur, ce qui signifie qu’en moyenne, l’élément était situé à moins de 10 centimètres de l’endroit où X-AR dirigeait l’utilisateur. Les méthodes de base testées par les chercheurs avaient une erreur médiane de 25 à 35 centimètres.

Ils ont également constaté qu’il vérifiait correctement que l’utilisateur avait choisi le bon article 98,9 % du temps. Cela signifie que X-AR est capable de réduire les erreurs de prélèvement de 98,9 %. Il était même précis à 91,9% lorsque l’article était encore à l’intérieur d’une boîte.

“Le système n’a pas besoin de voir visuellement l’article pour vérifier que vous avez pris le bon article. Si vous avez 10 téléphones différents dans un emballage similaire, vous ne pourrez peut-être pas faire la différence entre eux, mais cela peut vous guider. vous pour toujours choisir le bon », dit Boroushaki.

Maintenant qu’ils ont démontré le succès de X-AR, les chercheurs prévoient d’explorer comment différentes modalités de détection, comme le WiFi, la technologie mmWave ou les ondes térahertz, pourraient être utilisées pour améliorer ses capacités de visualisation et d’interaction. Ils pourraient également améliorer l’antenne afin que sa portée puisse aller au-delà de 3 mètres et étendre le système pour une utilisation par plusieurs casques coordonnés.

“Parce qu’il n’existe rien de tel aujourd’hui, nous avons dû trouver comment construire un tout nouveau type de système du début à la fin”, explique Adib. “En réalité, ce que nous avons proposé est un cadre. Il existe de nombreuses contributions techniques, mais c’est aussi un modèle pour la conception d’un casque AR avec vision par rayons X à l’avenir.”

“Ce document fait un pas en avant significatif dans l’avenir des systèmes AR, en les faisant fonctionner dans des scénarios sans visibilité directe”, déclare Ranveer Chandra, directeur général de la recherche industrielle chez Microsoft, qui n’a pas participé à ce travail. “Il utilise une technique très intelligente consistant à tirer parti de la détection RF pour augmenter les capacités de vision par ordinateur des systèmes AR existants. Cela peut conduire les applications des systèmes AR à des scénarios qui n’existaient pas auparavant, comme dans la vente au détail, la fabrication ou de nouvelles applications de compétences. ”

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.