La vidéo en temps réel de scènes cachées dans les coins est désormais possible

La vidéo en temps réel de scènes cachées dans les coins est désormais possible

Fig. 1 : Pipeline de traitement d’images virtuelles NLOS en temps réel. Le système d’imagerie envoie le signal de champ de phaseur virtuel (PF) au mur visible et capture le signal revenant de la scène cachée vers le mur. Le flux massif de photons bruts est enregistré par la matrice SPAD (Single-Photon Avalanche Diode). Les photons bruts de tous les canaux sont virtuellement remappés dans une ouverture complète. Ensuite, les données remappées sont transformées dans le domaine fréquentiel (Fourier Domain Histogram, FDH) et propagées par l’algorithme rapide de Rayleigh Sommerfeld Diffraction (RSD). Enfin, le moyennage de la trame temporelle produit un SNR constant sur tout le volume reconstruit et le résultat est affiché. Crédit : DOI : 10.1038/s41467-021-26721-x

Alors que Ji Hyun Nam lance lentement un jouet pour chat en peluche dans les airs, une vidéo en temps réel capture la scène ludique d’un clip de webcam du 20e siècle, à peine cinq images par seconde.

La torsion? Nam est caché au coin de la caméra. La vidéo de l’animal en peluche a été créée en capturant la lumière réfléchie par un mur du jouet et a rebondi à nouveau dans une technique de science-fiction devenue réalité connue sous le nom d’imagerie sans visibilité directe.

Et à cinq images par seconde, la vidéo est une amélioration rapide et fulgurante par rapport à l’imagerie récente de scènes cachées qui prenait auparavant quelques minutes pour reconstruire une image stationnaire.

La nouvelle technique utilise de nombreux capteurs de lumière ultra-rapides et très sensibles et un algorithme de reconstruction vidéo amélioré pour accélérer considérablement le temps nécessaire pour afficher les scènes cachées. Les chercheurs de l’Université du Wisconsin-Madison qui ont créé la vidéo affirment que la nouvelle avancée ouvre la technologie à des applications abordables et réelles de scènes proches et lointaines.

Ces futures applications incluent les secours en cas de catastrophe, l’imagerie médicale et les utilisations militaires. La technique pourrait également trouver une utilisation en dehors de l’imagerie de proximité, comme l’amélioration des systèmes d’imagerie de véhicules autonomes. Le travail a été financé par la Advanced Research Projects Agency (DARPA) du département américain de la Défense et la National Science Foundation.

La vidéo en temps réel de scènes cachées dans les coins est désormais possible

Les étudiants diplômés Ji Hyun Nam (à gauche) et Toan Le travaillent avec le professeur adjoint et chercheur principal Andreas Velten dans le laboratoire d’optique informatique. Crédit : Bryce Richter

Andreas Velten, professeur de biostatistique et d’informatique médicale à l’UW School of Medicine and Public Health, et son équipe ont publié leurs conclusions le 11 novembre dans Communications naturelles. Nam, un ancien doctorant du laboratoire Velten, est le premier auteur du rapport. Les chercheurs de l’UW-Madison Eric Brandt et Sebastian Bauer, ainsi que des collaborateurs de l’Université polytechnique de Milan en Italie, ont également contribué à la nouvelle recherche.

Velten et son ancien conseiller ont fait la première démonstration de l’imagerie sans visibilité directe il y a dix ans. Semblable à d’autres images basées sur la lumière ou le son, la technique capture des informations sur une scène en faisant rebondir la lumière sur une surface et en détectant les échos qui reviennent. Mais pour voir dans les coins, la technique se concentre non pas sur le premier écho, mais sur les réflexions de ces échos.

« C’est essentiellement de l’écholocation, mais en utilisant des échos supplémentaires, comme avec la réverbération », explique Velten, qui est également titulaire d’un poste au département de génie électrique et informatique.

En 2019, les membres du laboratoire de Velten ont démontré qu’ils pouvaient tirer parti des algorithmes d’imagerie existants en reconsidérant leur approche des mathématiques du système. Les nouveaux calculs leur ont permis d’utiliser un laser balayant rapidement un mur comme une sorte de « caméra virtuelle » qui offre une visibilité pour la scène cachée.

Les algorithmes qui reconstituent les scènes sont rapides. Brandt, doctorant dans le laboratoire du co-auteur de l’étude Eftychios Sifakis, les a encore améliorés pour le traitement des données de scènes cachées. Mais la collecte de données pour les anciennes techniques d’imagerie sans visibilité directe était douloureusement lente, en partie parce que les capteurs de lumière n’étaient souvent qu’un seul pixel.






Alors que Ji Hyun Nam jette lentement un jouet pour chat en peluche dans les airs, une vidéo en temps réel capture la scène ludique – depuis un coin de rue. Avec des améliorations supplémentaires, la technologie pourrait trouver des utilisations dans la recherche et le sauvetage, la défense et l’imagerie médicale. (Attention : la vidéo contient des lumières clignotantes, ce qui peut être un problème pour certaines personnes, y compris celles qui souffrent d’épilepsie photosensible ou qui ont des antécédents de migraines et de maux de tête.). Crédit : Université du Wisconsin-Madison

Pour passer à la vidéo en temps réel, l’équipe avait besoin de capteurs de lumière spécialisés, et plus encore. Les diodes à avalanche à photon unique, ou SPAD, sont désormais courantes et se retrouvent même dans les derniers iPhones. Capables de détecter des photons individuels, ils offrent la sensibilité nécessaire pour capturer de très faibles réflexions de lumière dans les coins. Mais les SPAD commerciaux sont environ 50 fois trop lents.

En collaboration avec des collègues en Italie, le laboratoire de Velten a passé des années à perfectionner de nouveaux SPAD qui peuvent faire la différence entre des photons arrivant à seulement 50 billions de seconde d’intervalle. Cette résolution temporelle ultra-rapide fournit également des informations sur la profondeur, permettant des reconstructions 3D. Les capteurs peuvent également être activés et désactivés très rapidement, ce qui permet de distinguer les différentes réflexions.

« Si j’envoie une impulsion lumineuse sur un mur, j’obtiens une réflexion très brillante que je dois ignorer. Je dois rechercher la lumière beaucoup plus faible provenant de la scène cachée », explique Velten.

En utilisant 28 pixels SPAD, l’équipe a pu collecter la lumière assez rapidement pour permettre une vidéo en temps réel avec un délai d’une seconde seulement.

Les vidéos résultantes sont monochromes et floues, mais capables de résoudre le mouvement et de distinguer les objets dans l’espace 3D. Dans des scènes successives, Nam démontre que les vidéos peuvent résoudre des lettres d’un pied de largeur et repérer des membres humains lors de mouvements naturels. La caméra virtuelle projetée peut même distinguer avec précision un miroir de ce qu’il reflète, ce qui est un défi technologique pour une vraie caméra.

« Jouer avec notre configuration d’imagerie NLOS (sans visibilité directe) est vraiment divertissant », déclare Nam. « En vous tenant debout dans la scène cachée, vous pouvez danser, sauter, faire des exercices et voir une vidéo de vous-même sur le moniteur en temps réel. »

Alors que la vidéo capture des objets à quelques mètres seulement du mur réfléchissant, les mêmes techniques pourraient être utilisées pour imager des objets à des centaines de mètres, à condition qu’ils soient suffisamment grands pour être vus à cette distance.

« Si vous êtes dans une pièce sombre, la taille de la scène n’est plus limitée », explique Velten. Même avec les lumières de la pièce allumées, le système peut capturer les objets à proximité.

Bien que l’équipe de Velten utilise un équipement personnalisé, le capteur de lumière et la technologie laser requis pour l’imagerie du coin sont omniprésents et abordables. Après d’autres améliorations techniques, la technique pourrait être déployée de manière créative dans de nombreux domaines.

« Aujourd’hui, vous pouvez trouver des capteurs de temps de vol intégrés dans des smartphones comme l’iPhone 12 », explique Nam. « Pouvez-vous imaginer prendre une photo au détour d’un coin simplement sur votre téléphone ? Il y a encore de nombreux défis techniques, mais ce travail nous amène à un niveau supérieur et ouvre des possibilités. »


Les leçons de l’imagerie conventionnelle permettent aux scientifiques de voir dans les coins


Plus d’information:
Ji Hyun Nam et al, Imagerie sans visibilité directe à temps de vol à faible latence à 5 images par seconde, Communication Nature (2021). DOI : 10.1038/s41467-021-26721-x

Fourni par l’Université du Wisconsin-Madison

Citation: La vidéo en temps réel de scènes cachées dans les coins est désormais possible (2021, 12 novembre) récupéré le 12 novembre 2021 à partir de https://techxplore.com/news/2021-11-real-time-video-scenes-hidden-corners. html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.