L’interface informatique du cerveau transforme l’écriture mentale en texte à l’écran

L'interface informatique du cerveau transforme l'écriture mentale en texte à l'écran

Deux minuscules réseaux d’électrodes implantées relayaient les informations de la zone cérébrale qui contrôle les mains et les bras vers un algorithme, qui les traduisit en lettres apparaissant sur un écran. Crédit: F. Willett et al./Nature 2021 / Erika Woodrum

Les scientifiques explorent un certain nombre de façons pour les personnes handicapées de communiquer avec leurs pensées. Le plus récent et le plus rapide revient à un moyen vintage de s’exprimer: l’écriture manuscrite.

Pour la première fois, des chercheurs ont déchiffré l’activité cérébrale associée à la tentative d’écrire des lettres à la main. Travaillant avec un participant paralysé qui a des capteurs implantés dans son cerveau, l’équipe a utilisé un algorithme pour identifier les lettres alors qu’il tentait de les écrire. Ensuite, le système a affiché le texte sur un écran – en temps réel.

L’innovation pourrait, avec le développement ultérieur, permettre aux personnes atteintes de paralysie de taper rapidement sans utiliser leurs mains, déclare Krishna Shenoy, co-auteur de l’étude, chercheur de l’Institut médical Howard Hughes à l’Université de Stanford qui a conjointement supervisé le travail avec Jaimie Henderson, un neurochirurgien de Stanford.

En essayant d’écrire à la main, le participant à l’étude a tapé 90 caractères par minute – plus du double du record précédent pour taper avec une telle « interface cerveau-ordinateur », rapportent Shenoy et ses collègues dans le journal. Nature le 12 mai 2021.

Cette technologie et d’autres similaires ont le potentiel d’aider les personnes souffrant de toutes sortes de handicaps, explique Jose Carmena, ingénieur neuronal à l’Université de Californie à Berkeley, qui n’a pas participé à l’étude. Bien que les résultats soient préliminaires, dit-il, « c’est un grand progrès dans le domaine ».

Les interfaces cerveau-ordinateur transforment la pensée en action, dit Carmena. « Cet article est un parfait exemple: l’interface décode la pensée de l’écriture et produit l’action. »







Deux minuscules réseaux d’électrodes implantées relayaient les informations de la zone cérébrale qui contrôle les mains et les bras vers un algorithme, qui les traduisit en lettres apparaissant sur un écran. Crédit: F. Willett et al./Nature 2021 / Erika Woodrum / Institut médical Howard Hughes

Communication alimentée par la pensée

Lorsqu’une blessure ou une maladie prive une personne de la capacité de bouger, l’activité neuronale du cerveau pour marcher, prendre une tasse de café ou prononcer une phrase demeure. Les chercheurs peuvent profiter de cette activité pour aider les personnes paralysées ou amputées à retrouver des capacités perdues.

Le besoin varie selon la nature du handicap. Certaines personnes qui ont perdu l’usage de leurs mains peuvent toujours utiliser un ordinateur avec la reconnaissance vocale et d’autres logiciels. Pour ceux qui ont des difficultés à parler, les scientifiques ont développé d’autres moyens d’aider les gens à communiquer.

Ces dernières années, l’équipe de Shenoy a décodé l’activité neuronale associée à la parole dans l’espoir de la reproduire. Ils ont également mis au point un moyen pour les participants dotés de capteurs implantés d’utiliser leurs pensées associées aux tentatives de mouvements de bras pour déplacer un curseur sur un écran. Le fait de pointer et de cliquer sur des lettres de cette manière permet aux gens de taper environ 40 caractères par minute, le record de vitesse précédent pour taper avec une interface cerveau-ordinateur (BCI).

Personne, cependant, n’avait examiné l’écriture manuscrite. Frank Willett, un neuroscientifique du groupe de Shenoy, s’est demandé s’il serait possible d’exploiter les signaux cérébraux évoqués en mettant un stylo sur du papier. «Nous voulons trouver de nouvelles façons de permettre aux gens de communiquer plus rapidement», dit-il. Il était également motivé par l’opportunité d’essayer quelque chose de différent.

L’équipe a travaillé avec un participant inscrit à un essai clinique appelé BrainGate2, qui teste la sécurité des BCI qui relaient les informations directement du cerveau d’un participant à un ordinateur. (Le directeur de l’essai est Leigh Hochberg, neurologue et neuroscientifique au Massachusetts General Hospital, à l’Université Brown et au Providence VA Medical Center.) Henderson a implanté deux minuscules capteurs dans la partie du cerveau qui contrôle la main et le bras, ce qui permet la personne doit, par exemple, déplacer un bras robotique ou un curseur sur un écran en essayant de déplacer son propre bras paralysé.







Alors que le participant imaginait écrire une lettre ou un symbole, des capteurs implantés dans son cerveau ont détecté des schémas d’activité électrique, qu’un algorithme interprétait pour tracer le chemin de son stylo imaginaire. Crédit: F. Willett et al./Nature 2021 / Institut médical Howard Hughes

Le participant, qui avait 65 ans au moment de la recherche, avait une blessure à la moelle épinière qui l’a laissé paralysé du cou vers le bas. En utilisant des signaux que les capteurs captaient à partir de neurones individuels lorsque l’homme imaginait l’écriture, un algorithme d’apprentissage automatique a reconnu les modèles que son cerveau produisait avec chaque lettre. Avec ce système, l’homme pouvait copier des phrases et répondre à des questions à un rythme similaire à celui d’une personne de son âge tapant sur un smartphone.

Ce soi-disant «Brain-to-Text» BCI est si rapide parce que chaque lettre suscite un modèle d’activité très distinctif, ce qui permet à l’algorithme de les distinguer relativement facilement les uns des autres, dit Willett.

Un nouveau système

L’équipe de Shenoy envisage d’utiliser une tentative d’écriture manuscrite pour la saisie de texte dans le cadre d’un système plus complet qui comprend également une navigation pointer-cliquer, un peu comme celle utilisée sur les smartphones actuels, et même une tentative de décodage de la parole. « Avoir ces deux ou trois modes et basculer entre eux est quelque chose que nous faisons naturellement », dit-il.

Ensuite, dit Shenoy, l’équipe a l’intention de travailler avec un participant qui ne peut pas parler, comme une personne atteinte de sclérose latérale amyotrophique, un trouble neurologique dégénératif qui entraîne une perte de mouvement et d’élocution.

Le nouveau système pourrait potentiellement aider ceux qui souffrent de paralysie causée par un certain nombre de conditions, ajoute Henderson. Il s’agit notamment d’un accident vasculaire cérébral, qui a affligé Jean-Dominique Bauby, l’auteur du livre The Diving Bell and the Butterfly. «Il a pu écrire ce livre émouvant et magnifique en sélectionnant minutieusement les personnages, un à la fois, en utilisant le mouvement des yeux», explique Henderson. « Imaginez ce qu’il aurait pu faire avec l’interface d’écriture manuscrite de Frank! »


Comment les pensées pourraient un jour contrôler les prothèses électroniques, sans fil


Plus d’information:
Communication cerveau-texte haute performance via l’écriture manuscrite, Nature (2021). DOI: 10.1038 / s41586-021-03506-2

Fourni par Howard Hughes Medical Institute

Citation: L’interface informatique du cerveau transforme l’écriture mentale en texte à l’écran (2021, 12 mai) récupéré le 12 mai 2021 sur https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.