par Alex Huth (à gauche), Shailee Jain (au centre) et Jerry Tang (à droite) se préparent à collecter des données sur l’activité cérébrale au Centre d’imagerie biomédicale de l’Université du Texas à Austin. Les chercheurs ont entraîné leur décodeur sémantique sur des dizaines d’heures de données d’activité cérébrale de participants, collectées dans un scanner IRMf.
Photo : Nolan Zunk/Université du Texas à Austin.
Les scientifiques ont développé un système d’IA non invasif axé sur la traduction de l’activité cérébrale d’une personne en un flux de texte, selon une étude évaluée par des pairs publiée lundi dans la revue Nature Neuroscience.
Le système, appelé décodeur sémantique, pourrait finalement profiter aux patients qui ont perdu leur capacité à communiquer physiquement après avoir souffert d’un accident vasculaire cérébral, d’une paralysie ou d’autres maladies dégénératives.
Des chercheurs de l’Université du Texas à Austin ont développé le système en partie en utilisant un modèle de transformateur, qui est similaire à ceux qui prennent en charge le chatbot Bard de Google et le chatbot ChatGPT d’OpenAI.
Les participants à l’étude ont formé le décodeur en écoutant plusieurs heures de podcasts dans un scanner IRMf, qui est une grande machine qui mesure l’activité cérébrale. Le système ne nécessite aucun implant chirurgical.
DOCTORAT. L’ÉTUDIANT JERRY TANG SE PRÉPARE À COLLECTER DES DONNÉES SUR L’ACTIVITÉ CÉRÉBRALE AU CENTRE D’IMAGERIE BIOMÉDICALE DE L’UNIVERSITÉ DU TEXAS À AUSTIN.
Photo : Nolan Zunk/Université du Texas à Austin.
Une fois le système d’IA formé, il peut générer un flux de texte lorsque le participant écoute ou imagine raconter une nouvelle histoire. Le texte qui en résulte n’est pas une transcription exacte, mais les chercheurs l’ont plutôt conçu dans le but de capturer des pensées ou des idées générales.
Selon un communiqué de presse, le système formé produit un texte qui correspond étroitement ou précisément au sens voulu des mots originaux du participant environ la moitié du temps.
Par exemple, lorsqu’un participant a entendu les mots “Je n’ai pas encore mon permis de conduire” lors d’une expérience, les pensées ont été traduites en “Elle n’a même pas encore commencé à apprendre à conduire”.
“Pour une méthode non invasive, il s’agit d’un véritable bond en avant par rapport à ce qui se faisait auparavant, qui consistait généralement en des mots simples ou des phrases courtes”, a déclaré Alexander Huth, l’un des responsables de l’étude, dans le communiqué. “Nous obtenons le modèle pour décoder le langage continu pendant de longues périodes avec des idées compliquées.”
Les participants ont également été invités à regarder quatre vidéos sans audio dans le scanner, et le système d’IA a pu décrire avec précision “certains événements” d’eux, selon le communiqué.
Depuis lundi, le décodeur ne peut plus être utilisé en dehors d’un laboratoire car il repose sur le scanner IRMf. Mais les chercheurs pensent qu’il pourrait éventuellement être utilisé via des systèmes d’imagerie cérébrale plus portables.
Les principaux chercheurs de l’étude ont déposé une demande de brevet PCT pour la technologie.
rewrite this content and keep HTML tags
Alex Huth (à gauche), Shailee Jain (au centre) et Jerry Tang (à droite) se préparent à collecter des données sur l’activité cérébrale au Centre d’imagerie biomédicale de l’Université du Texas à Austin. Les chercheurs ont entraîné leur décodeur sémantique sur des dizaines d’heures de données d’activité cérébrale de participants, collectées dans un scanner IRMf.
Photo : Nolan Zunk/Université du Texas à Austin.
Les scientifiques ont développé un système d’IA non invasif axé sur la traduction de l’activité cérébrale d’une personne en un flux de texte, selon une étude évaluée par des pairs publiée lundi dans la revue Nature Neuroscience.
Le système, appelé décodeur sémantique, pourrait finalement profiter aux patients qui ont perdu leur capacité à communiquer physiquement après avoir souffert d’un accident vasculaire cérébral, d’une paralysie ou d’autres maladies dégénératives.
Des chercheurs de l’Université du Texas à Austin ont développé le système en partie en utilisant un modèle de transformateur, qui est similaire à ceux qui prennent en charge le chatbot Bard de Google et le chatbot ChatGPT d’OpenAI.
Les participants à l’étude ont formé le décodeur en écoutant plusieurs heures de podcasts dans un scanner IRMf, qui est une grande machine qui mesure l’activité cérébrale. Le système ne nécessite aucun implant chirurgical.
DOCTORAT. L’ÉTUDIANT JERRY TANG SE PRÉPARE À COLLECTER DES DONNÉES SUR L’ACTIVITÉ CÉRÉBRALE AU CENTRE D’IMAGERIE BIOMÉDICALE DE L’UNIVERSITÉ DU TEXAS À AUSTIN.
Photo : Nolan Zunk/Université du Texas à Austin.
Une fois le système d’IA formé, il peut générer un flux de texte lorsque le participant écoute ou imagine raconter une nouvelle histoire. Le texte qui en résulte n’est pas une transcription exacte, mais les chercheurs l’ont plutôt conçu dans le but de capturer des pensées ou des idées générales.
Selon un communiqué de presse, le système formé produit un texte qui correspond étroitement ou précisément au sens voulu des mots originaux du participant environ la moitié du temps.
Par exemple, lorsqu’un participant a entendu les mots “Je n’ai pas encore mon permis de conduire” lors d’une expérience, les pensées ont été traduites en “Elle n’a même pas encore commencé à apprendre à conduire”.
“Pour une méthode non invasive, il s’agit d’un véritable bond en avant par rapport à ce qui se faisait auparavant, qui consistait généralement en des mots simples ou des phrases courtes”, a déclaré Alexander Huth, l’un des responsables de l’étude, dans le communiqué. “Nous obtenons le modèle pour décoder le langage continu pendant de longues périodes avec des idées compliquées.”
Les participants ont également été invités à regarder quatre vidéos sans audio dans le scanner, et le système d’IA a pu décrire avec précision “certains événements” d’eux, selon le communiqué.
Depuis lundi, le décodeur ne peut plus être utilisé en dehors d’un laboratoire car il repose sur le scanner IRMf. Mais les chercheurs pensent qu’il pourrait éventuellement être utilisé via des systèmes d’imagerie cérébrale plus portables.
Les principaux chercheurs de l’étude ont déposé une demande de brevet PCT pour la technologie.
