Le microphone optique nouvellement développé voit le son comme jamais auparavant

Le microphone optique développé par les chercheurs du CMU voit le son comme jamais auparavant

Mark Sheinin (à gauche) et Dorian Chan faisaient partie d’une équipe de recherche CMU qui a développé un système de caméra capable de voir les vibrations sonores avec une telle précision qu’il peut capturer l’audio isolé de guitares séparées jouant en même temps. Crédit : Université Carnegie Mellon

Un système de caméra développé par des chercheurs de l’Université Carnegie Mellon peut voir les vibrations sonores avec une telle précision et un tel détail qu’il peut reconstituer la musique d’un seul instrument dans un groupe ou un orchestre.

Même les microphones les plus puissants et les plus dirigés ne peuvent pas éliminer les sons proches, le bruit ambiant et l’effet de l’acoustique lorsqu’ils capturent l’audio. Le nouveau système développé à l’Institut de robotique (RI) de l’École d’informatique utilise deux caméras et un laser pour détecter les vibrations de surface à grande vitesse et à faible amplitude. Ces vibrations peuvent être utilisées pour reconstruire le son, en capturant un son isolé sans inférence ni microphone.

“Nous avons inventé une nouvelle façon de voir le son”, a déclaré Mark Sheinin, chercheur postdoctoral au Laboratoire d’illumination et d’imagerie (ILIM) du RI. “C’est un nouveau type de système de caméra, un nouveau dispositif d’imagerie, capable de voir quelque chose d’invisible à l’œil nu.”

L’équipe a effectué plusieurs démonstrations réussies de l’efficacité de leur système dans la détection des vibrations et la qualité de la reconstruction sonore. Ils ont capturé le son isolé de guitares distinctes jouant en même temps et de haut-parleurs individuels jouant simultanément de la musique différente. Ils ont analysé les vibrations d’un diapason et ont utilisé les vibrations d’un sac de Doritos près d’un haut-parleur pour capturer le son provenant d’un haut-parleur. Cette démo rend hommage aux travaux antérieurs des chercheurs du MIT qui ont développé l’un des premiers microphones visuels en 2014.






Le système CMU améliore considérablement les tentatives passées de capture du son à l’aide de la vision par ordinateur. Le travail de l’équipe utilise des caméras ordinaires qui coûtent une fraction des versions à grande vitesse utilisées dans les recherches antérieures tout en produisant un enregistrement de meilleure qualité. Le système à double caméra peut capturer les vibrations d’objets en mouvement, tels que les mouvements d’une guitare pendant qu’un musicien en joue, et détecter simultanément des sons individuels à partir de plusieurs points.

“Nous avons rendu le microphone optique beaucoup plus pratique et utilisable”, a déclaré Srinivasa Narasimhan, professeur au RI et directeur de l’ILIM. “Nous avons amélioré la qualité tout en réduisant les coûts.”

Le système fonctionne en analysant les différences de motifs de chatoiement à partir d’images capturées avec un obturateur roulant et un obturateur global. Un algorithme calcule la différence entre les motifs de chatoiement des deux flux vidéo et convertit ces différences en vibrations pour reconstruire le son.

Un motif de chatoiement fait référence à la façon dont la lumière cohérente se comporte dans l’espace après avoir été réfléchie sur une surface rugueuse. L’équipe crée le motif speckle en pointant un laser sur la surface de l’objet produisant les vibrations, comme le corps d’une guitare. Ce motif de chatoiement change lorsque la surface vibre. Un volet roulant capture une image en la balayant rapidement, généralement de haut en bas, produisant l’image en empilant une rangée de pixels au-dessus d’une autre. Un obturateur global capture une image en une seule instance à la fois.

Dorian Chan, titulaire d’un doctorat, a rejoint Sheinin et Narasimhan dans la recherche. étudiant en informatique, et Matthew O’Toole, professeur adjoint au département RI et informatique.

“Ce système repousse les limites de ce qui peut être fait avec la vision par ordinateur”, a déclaré O’Toole. “Il s’agit d’un nouveau mécanisme pour capturer des vibrations à grande vitesse et minuscules, et présente un nouveau domaine de recherche.”

La plupart des travaux en vision par ordinateur se concentrent sur la formation de systèmes pour reconnaître des objets ou les suivre dans l’espace – une recherche importante pour faire progresser des technologies telles que les véhicules autonomes. Le fait que ce travail permette aux systèmes de mieux voir les vibrations imperceptibles à haute fréquence ouvre de nouvelles applications pour la vision par ordinateur.

Le système de détection optique des vibrations à double obturateur de l’équipe pourrait permettre aux ingénieurs du son de surveiller la musique d’instruments individuels sans les interférences du reste de l’ensemble pour affiner le mixage global. Les fabricants pourraient utiliser le système pour surveiller les vibrations de machines individuelles dans une usine afin de repérer les premiers signes d’une maintenance nécessaire.

“Si votre voiture commence à faire un bruit bizarre, vous savez qu’il est temps de la faire examiner”, a déclaré Sheinin. “Imaginez maintenant une usine pleine de machines. Notre système vous permet de surveiller la santé de chacun en détectant leurs vibrations avec une seule caméra fixe.”


Dessiner une forme en fonction de son son


Plus d’information:
Mark Sheinin et al, Détection optique des vibrations à double obturateur, (2022)

Fourni par l’Université Carnegie Mellon

Citation: Le microphone optique nouvellement développé voit le son comme jamais auparavant (2022, 21 juin) récupéré le 21 juin 2022 sur https://techxplore.com/news/2022-06-newly-optical-microphone.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.