La caméra à champ lumineux AI lit les expressions faciales en 3D

Une équipe de recherche conjointe dirigée par les professeurs Ki-Hun Jeong et Doheon Lee du département KAIST de génie biologique et cérébral a signalé le développement d’une technique de détection des expressions faciales en fusionnant des techniques de caméra à champ lumineux proche infrarouge avec la technologie de l’intelligence artificielle (IA). .

Contrairement à une caméra conventionnelle, la caméra à champ lumineux contient des matrices de micro-lentilles devant le capteur d’image, ce qui rend la caméra suffisamment petite pour tenir dans un smartphone, tout en lui permettant d’acquérir les informations spatiales et directionnelles de la lumière avec un coup unique. La technique a retenu l’attention car elle peut reconstruire des images de diverses manières, y compris les vues multiples, le recentrage et l’acquisition d’images 3D, donnant lieu à de nombreuses applications potentielles.

Cependant, la diaphonie optique entre les ombres causées par les sources de lumière externes dans l’environnement et la micro-lentille a limité les caméras à champ lumineux existantes dans leur capacité à fournir un contraste d’image précis et une reconstruction 3D.

L’équipe de recherche conjointe a appliqué un laser à émission de surface à cavité verticale (VCSEL) dans la gamme proche infrarouge pour stabiliser la précision de la reconstruction d’images 3D qui dépendait auparavant de la lumière ambiante. Lorsqu’une source de lumière externe est projetée sur un visage à des angles de 0, 30 et 60 degrés, la caméra à champ lumineux réduit de 54 % les erreurs de reconstruction d’image. De plus, en insérant une couche absorbant la lumière pour les longueurs d’onde visibles et proches de l’IR entre les réseaux de micro-lentilles, l’équipe a pu minimiser la diaphonie optique tout en augmentant le contraste de l’image de 2,1 fois.

Grâce à cette technique, l’équipe a pu surmonter les limites des caméras à champ lumineux existantes et a pu développer sa caméra à champ lumineux basée sur le NIR (NIR-LFC), optimisée pour la reconstruction d’images 3D des expressions faciales. À l’aide du NIR-LFC, l’équipe a acquis des images de reconstruction 3D de haute qualité d’expressions faciales exprimant diverses émotions, quelles que soient les conditions d’éclairage de l’environnement environnant.

Les expressions faciales dans les images 3D acquises ont été distinguées grâce à l’apprentissage automatique avec une précision moyenne de 85 %, un chiffre statistiquement significatif par rapport à l’utilisation d’images 2D. De plus, en calculant l’interdépendance des informations de distance qui varient avec l’expression faciale dans les images 3D, l’équipe a pu identifier les informations qu’une caméra à champ lumineux utilise pour distinguer les expressions humaines.

Le professeur Ki-Hun Jeong déclare que “la caméra sous-miniature à champ lumineux développée par l’équipe de recherche a le potentiel de devenir la nouvelle plate-forme pour analyser quantitativement les expressions faciales et les émotions des humains”. Pour souligner l’importance de cette recherche, a-t-il ajouté, “elle pourrait être appliquée dans divers domaines, notamment les soins de santé mobiles, le diagnostic sur le terrain, la cognition sociale et les interactions homme-machine”.

Cette recherche a été publiée dans Systèmes intelligents avancés.

Fourni par KAIST