Imagerie hyperspectrale sur puce intégrée

Les caméras hyperspectrales divisent la lumière réfléchie par un objet en plusieurs bandes spectrales étroites, qu’elles capturent et traitent séparément. De cette façon, ils enregistrent une signature spectrale pour chaque pixel d’une scène. Cette signature est bien plus riche que l’image rouge-vert-bleu que captent nos yeux. Il peut même identifier de manière unique le matériau de l’image puisque chaque molécule interagit avec la lumière d’une manière spécifique, ce qui donne une empreinte spectrale. Ces empreintes digitales uniques sont d’une grande valeur pour l’identification et la classification de toutes sortes de matériaux et d’objets, et elles sont essentielles pour une automatisation plus poussée des processus industriels. Il nous permet, par exemple, de révéler la corrosion sur les éléments structuraux d’un pont.

La mise en œuvre la plus courante de ces caméras est appelée « balai-poussoir », qui scanne une scène ligne par ligne et prend plusieurs secondes, voire minutes. De plus, ces caméras sont assemblées à la main à partir de nombreux composants discrets, y compris des optiques de précision coûteuses et lourdes dans le verre. Cela nécessite un alignement et un calibrage minutieux. Ces facteurs de mise en œuvre signifient que seuls les experts en imagerie hyperspectrale peuvent calibrer, corriger et interpréter les données hyperspectrales en solutions industrielles réelles.

Les balais-pousseurs font un excellent travail dans une situation de tapis roulant mais ont des difficultés avec une caméra ou une scène en mouvement libre. Pensez à une caméra d’inspection dans un robot sonde ou un drone en vol libre. Pour ceux-ci, vous devez numériser des images entières, de préférence à la vitesse de la vidéo, pour observer les changements en temps réel. Par exemple, lorsqu’un robot sort des objets au hasard d’une poubelle, il doit prendre des photos en permanence pour prendre de nouvelles décisions après chaque action. Lorsque l’image est rafraîchie à une vitesse de, par exemple, 30 images par seconde, cela se traduit par une vidéo hyperspectrale. Aujourd’hui, la vidéo hyperspectrale est prête à être utilisée dans une grande variété de contextes industriels : contrôle qualité, tri et détection de matériaux. Alors, comment en sommes-nous arrivés là ? La réponse courte : est la technologie des puces.

En utilisant une infrastructure et une technologie de processus basées sur CMOS dans une salle blanche, imec a développé une puce avec une fonctionnalité hyperspectrale intégrée en construisant des filtres optiques basés sur les interférences au niveau de la tranche, en les déposant et en les modelant directement sur les pixels du capteur d’image. Cette approche a apporté d’importants avantages concurrentiels : les imageurs intégrés peuvent être produits en série à un coût comparable à celui des puces informatiques courantes. De plus, ils sont petits pour pouvoir être insérés dans un appareil photo ordinaire avec des objectifs standard. Une telle caméra est adaptée au montage d’un drone ou d’un petit robot.

La puce hyperspectrale combine la précision de la technologie de balayage traditionnelle avec une commodité accrue, offrant des taux de rafraîchissement rapides de la scène. Il peut balayer jusqu’à 2 880 lignes par seconde, couvrant le champ de vision avec 2048×1088 pixels à une vitesse d’environ 30 ips dans des conditions de lumière du jour et jusqu’à 340 ips à des niveaux d’éclairage plus élevés, comme généralement utilisé dans les applications de vision industrielle. La capacité de fabriquer une fonctionnalité hyperspectrale extrêmement compacte, fiable et rentable sur une puce est essentielle pour amener ce type d’imagerie sur de nouveaux marchés.

Technologie de modelage en mosaïque

La technologie de structuration en mosaïque est utilisée pour obtenir une imagerie hyperspectrale en mode vidéo. Les pixels sont regroupés en tableaux 3×3, 4×4 ou 5×5. Au-dessus de chaque tel groupe de, par exemple, 16 pixels dans le motif de mosaïque 4×4, 16 filtres à bande étroite sont traités, ce qui donne effectivement aux filtres la taille d’un pixel d’imageur. Avec cette conception en mosaïque, il n’y a plus besoin de duplicateur séparé ou de matériel de séparation de faisceau.

Pour les applications industrielles, un niveau scientifique de volume de données n’est pas nécessaire. Il est essentiel d’obtenir les bonnes bandes spectrales requises pour l’application. Les spécifications de l’application peuvent être satisfaites en sélectionnant le bon capteur d’image avec la vitesse, la sensibilité ou le nombre de pixels spécifiques.

Des améliorations sur l’ensemble de l’écosystème

En plus de l’intégration des puces, une collaboration sur l’ensemble de la chaîne de valeur était nécessaire pour aider à combler le fossé entre une technologie prometteuse et son application dans l’industrie : des fabricants de matériel de caméra aux utilisateurs finaux. Dans ce contexte, les chercheurs d’imec se sont associés à Photonfocus pour construire des caméras légères et compactes autour des puces intégrées. De plus, les chercheurs de l’imec valident les performances spectrales de chaque caméra, et les utilisateurs finaux reçoivent une assistance directe et un accès au logiciel. Le résultat? Performances système sans précédent tout en réduisant considérablement la barrière à l’adoption.

En parlant de matériel : nous devons regarder la lumière. Une bonne image multispectrale commence par un éclairage approprié. Après avoir examiné en profondeur différentes sources lumineuses, par exemple les LED, les halogènes et les ampoules, les chercheurs de l’imec ont commencé à co-innover avec Effilux. La rétroaction continue sur la plage spectrale, la puissance et la stabilité a donné une correspondance parfaite avec les capteurs intégrés.

À l’autre bout de la chaîne de valeur, le principal défi pour l’utilisateur final était de pouvoir interpréter des données hyperspectrales, sans avoir besoin d’être un expert en apprentissage automatique ou en imagerie hyperspectrale. Deux éditeurs de logiciels, perClass et Luxflux, ont construit une suite logicielle pour cela, en élaborant sur les API, les logiciels et les algorithmes de traitement de données d’imec, abaissant la barrière d’entrée pour les informations hyperspectrales.

Raccourci du problème à la solution d’imagerie hyperspectrale

Ces améliorations tout au long de la chaîne de valeur ont presque supprimé la phase de R&D pour les clients de l’industrie, réduisant ainsi l’écart entre un problème et sa solution d’imagerie hyperspectrale.

Le rapprochement des connaissances des utilisateurs finaux avec le matériel s’est avéré essentiel pour faire mûrir le marché. De nouvelles applications hyperspectrales et des sociétés de logiciels adjacentes font leur apparition dans les domaines de l’agriculture de précision, de la protection des écosystèmes, de la détection et du traitement de la corrosion, de l’exploitation minière, de l’inspection des aliments et de la détection des fuites de gaz, entre autres. Une technologie prometteuse a été mise au travail.