La peau intelligente vaporisée utilise l’IA pour comprendre rapidement les tâches manuelles

Une nouvelle peau intelligente développée à l’Université de Stanford pourrait prédire un jour où les gens tapent sur des claviers invisibles, identifient des objets uniquement au toucher ou permettent aux utilisateurs de communiquer par des gestes de la main avec des applications dans des environnements immersifs.

Dans un article qui vient d’être publié dans la revue Électronique naturelle les chercheurs décrivent un nouveau type de matériau biocompatible extensible qui est pulvérisé sur le dos de la main, comme un spray solaire. Intégré dans le maillage se trouve un minuscule réseau électrique qui détecte l’étirement et la flexion de la peau et, à l’aide de l’IA, les chercheurs peuvent interpréter une myriade de tâches quotidiennes à partir de mouvements et de gestes de la main. Les chercheurs disent que cela pourrait avoir des applications et des implications dans des domaines aussi variés que les jeux, les sports, la télémédecine et la robotique.

Jusqu’à présent, plusieurs méthodes prometteuses, telles que la mesure des activités électriques musculaires à l’aide de bracelets ou de gants portables, ont été activement explorées pour permettre diverses tâches manuelles et gestes. Cependant, ces dispositifs sont encombrants car plusieurs composants sensoriels sont nécessaires pour identifier les mouvements au niveau de chaque articulation. De plus, une grande quantité de données doit être collectée pour chaque utilisateur et tâche afin de former l’algorithme. Ces défis rendent difficile l’adoption de dispositifs tels que l’électronique d’usage quotidien.

Ce travail est la première approche pratique qui est à la fois suffisamment simple dans sa forme et suffisamment adaptable dans sa fonction pour fonctionner pour pratiquement n’importe quel utilisateur, même avec des données limitées. Les technologies actuelles nécessitent plusieurs composants de capteurs pour lire chaque articulation du doigt, ce qui les rend encombrants. Le nouvel appareil adopte également une approche plus légère du logiciel pour permettre un apprentissage plus rapide. Une telle précision pourrait être essentielle dans les applications de réalité virtuelle pour transmettre des mouvements finement détaillés pour une expérience plus réaliste.

L’innovation habilitante est un réseau maillé électriquement sensible pulvérisable intégré dans du polyuréthane, le même matériau durable mais extensible utilisé pour fabriquer des roues de skateboard et pour protéger les sols en bois dur contre les dommages. Le maillage est composé de millions de nanofils d’argent recouverts d’or qui sont en contact les uns avec les autres pour former des voies électriques dynamiques. Cette maille est électriquement active, biocompatible, respirante et reste en place à moins d’être frottée avec de l’eau et du savon. Il épouse intimement les rides et les plis de chaque doigt humain qui le porte. Ensuite, un module Bluetooth léger peut être simplement attaché au maillage qui peut transférer sans fil les changements de signal.

“Lorsque les doigts se plient et se tordent, les nanofils du maillage se resserrent et s’étirent, modifiant la conductivité électrique du maillage. Ces changements peuvent être mesurés et analysés pour nous dire précisément comment une main, un doigt ou une articulation se déplace. “, a expliqué Zhenan Bao, professeur de génie chimique KK Lee et auteur principal de l’étude.

Les chercheurs ont choisi une approche par pulvérisation directement sur la peau afin que le maillage soit soutenu sans substrat. Cette décision technique clé a éliminé les artefacts de mouvement indésirables et leur a permis d’utiliser une seule trace de maillage conducteur pour générer des informations multi-articulaires des doigts.

La nature vaporisée de l’appareil lui permet de s’adapter à n’importe quelle taille ou forme de main, mais ouvre la possibilité que l’appareil puisse être adapté au visage pour capturer des signaux émotionnels subtils. Cela pourrait permettre de nouvelles approches de l’animation par ordinateur ou conduire à de nouvelles réunions virtuelles dirigées par des avatars avec des expressions faciales et des gestes de la main plus réalistes.

Le machine learning prend alors le relais. Les ordinateurs surveillent l’évolution des modèles de conductivité et cartographient ces changements à des tâches physiques et des gestes spécifiques. Tapez un X sur un clavier, par exemple, et l’algorithme apprend à reconnaître cette tâche à partir des modèles changeants de la conductivité électrique. Une fois l’algorithme correctement formé, le clavier physique n’est plus nécessaire. Les mêmes principes peuvent être utilisés pour reconnaître le langage des signes ou même pour reconnaître des objets en traçant leurs surfaces extérieures.

Et, alors que les technologies existantes sont intensives en calcul et nécessitent de grandes quantités de données qui doivent être laborieusement étiquetées par les humains – à la main, si vous voulez – l’équipe de Stanford a développé un schéma d’apprentissage beaucoup plus efficace en termes de calcul.

“Nous avons apporté les aspects de l’apprentissage humain qui s’adaptent rapidement aux tâches avec seulement une poignée d’essais appelés” méta-apprentissage “. Cela permet à l’appareil de reconnaître rapidement de nouvelles tâches manuelles arbitraires et des utilisateurs avec quelques essais rapides”, a déclaré Kyun Kyu “Richard” Kim, chercheur post-doctoral au laboratoire de Bao, qui est le premier auteur de l’étude.

“De plus, c’est une approche étonnamment simple de ce défi complexe qui signifie que nous pouvons obtenir un temps de traitement de calcul plus rapide avec moins de données car notre nanomesh capture des détails subtils dans ses signaux”, a ajouté Kim. La précision avec laquelle l’appareil peut cartographier les mouvements subtils des doigts est l’une des principales caractéristiques de cette innovation.

Les chercheurs ont construit un prototype qui reconnaît des objets simples au toucher et peut même effectuer une saisie prédictive à deux mains sur un clavier invisible. L’algorithme a pu taper “Aucun héritage n’est aussi riche que l’honnêteté” de William Shakespeare et “Je suis le maître de mon destin, je suis le capitaine de mon âme” du poème “Invictus” de William Ernest Henley.