Un appareil portable utilise un sonar pour reconstruire les expressions faciales

Les chercheurs de Cornell ont mis au point un écouteur portable – ou « écoutable » – qui fait rebondir le son sur les joues et transforme les échos en un avatar de l’ensemble du visage en mouvement d’une personne, en utilisant la technologie acoustique pour offrir une meilleure intimité.

Une équipe dirigée par Cheng Zhang, maître de conférences en sciences de l’information, et François Guimbretière, professeur de sciences de l’information, a conçu le système, nommé EarIO. Il transmet les mouvements du visage à un smartphone en temps réel et est compatible avec les casques disponibles dans le commerce pour la visioconférence mains libres et sans fil.

Les appareils qui suivent les mouvements du visage à l’aide d’une caméra sont “gros, lourds et gourmands en énergie, ce qui est un gros problème pour les appareils portables”, a déclaré Zhang. “Aussi important, ils capturent beaucoup d’informations privées.”

Le suivi du visage grâce à la technologie acoustique peut offrir une meilleure intimité, un prix abordable, un confort et une autonomie de la batterie, a-t-il déclaré.

L’équipe a décrit son écouteur dans “EarIO : A Low-power Acoustic Sensing Earable for Continuously Tracking Detailed Facial Movements”, publié dans Actes de l’ACM sur les technologies interactives, mobiles, portables et omniprésentes.

L’EarIO fonctionne comme un navire envoyant des impulsions de sonar. Un haut-parleur de chaque côté de l’écouteur envoie des signaux acoustiques sur les côtés du visage et un microphone capte les échos. Lorsque les porteurs parlent, sourient ou haussent les sourcils, la peau bouge et s’étire, modifiant les profils d’écho. Un algorithme d’apprentissage en profondeur développé par les chercheurs utilise l’intelligence artificielle pour traiter en continu les données et traduire les échos changeants en expressions faciales complètes.

“Grâce à la puissance de l’IA, l’algorithme trouve des connexions complexes entre les mouvements musculaires et les expressions faciales que les yeux humains ne peuvent pas identifier”, a déclaré le co-auteur Ke Li, doctorant dans le domaine des sciences de l’information. “Nous pouvons l’utiliser pour déduire des informations complexes qui sont plus difficiles à capturer – tout le devant du visage.”

Les efforts précédents du laboratoire de Zhang pour suivre les mouvements du visage à l’aide d’écouteurs avec une caméra ont recréé le visage entier en fonction des mouvements des joues vus de l’oreille.

En collectant du son au lieu d’images riches en données, l’écouteur peut communiquer avec un smartphone via une connexion Bluetooth sans fil, en gardant les informations de l’utilisateur privées. Avec les images, l’appareil devrait se connecter à un réseau Wi-Fi et envoyer des données dans le cloud, ce qui pourrait le rendre vulnérable aux pirates.

“Les gens ne réalisent peut-être pas à quel point les wearables sont intelligents, ce que ces informations disent de vous et ce que les entreprises peuvent faire avec ces informations”, a déclaré Guimbretière. Avec des images du visage, quelqu’un pourrait également déduire des émotions et des actions. “Le but de ce projet est de s’assurer que toutes les informations, qui sont très précieuses pour votre vie privée, sont toujours sous votre contrôle et calculées localement.”

L’utilisation de signaux acoustiques nécessite également moins d’énergie que l’enregistrement d’images, et l’EarIO utilise 1/25 de l’énergie d’un autre système basé sur une caméra développé précédemment par le laboratoire Zhang. Actuellement, l’écouteur dure environ trois heures sur une batterie d’écouteurs sans fil, mais les recherches futures se concentreront sur l’allongement de la durée d’utilisation.

Les chercheurs ont testé l’appareil sur 16 participants et ont utilisé une caméra de smartphone pour vérifier l’exactitude de ses performances d’imitation de visage. Les premières expériences montrent qu’il fonctionne lorsque les utilisateurs sont assis et se promènent, et que le vent, le bruit de la route et les discussions de fond n’interfèrent pas avec sa signalisation acoustique.

Dans les versions futures, les chercheurs espèrent améliorer la capacité de l’écouteur à s’accorder aux bruits à proximité et autres perturbations.

“La méthode de détection acoustique que nous utilisons est très sensible”, a déclaré le co-auteur Ruidong Zhang, doctorant dans le domaine des sciences de l’information. “C’est bien, parce qu’il est capable de suivre des mouvements très subtils, mais c’est aussi mauvais parce que quand quelque chose change dans l’environnement, ou quand votre tête bouge légèrement, nous le captons aussi.”

Une limitation de la technologie est qu’avant la première utilisation, l’EarIO doit collecter 32 minutes de données faciales pour entraîner l’algorithme. “Nous espérons éventuellement rendre cet appareil plug and play”, a déclaré Zhang.