Un nouveau modèle reconnaît les émotions chez les personnes sourdes en analysant les signaux EEG

Un nouveau modèle pour reconnaître les émotions chez les personnes sourdes en analysant les signaux EEG

La distribution moyenne de PSD de sujets normaux et sourds dans trois types d’émotions avec différentes bandes de fréquences. La barre de couleur montre l’intensité de l’activation cérébrale, allant de -1 à 1. Crédit : Kang et al.

Des chercheurs de l’Université de technologie de Tianjin en Chine ont récemment développé un nouveau cadre basé sur un réseau cérébral pour reconnaître les émotions des personnes sourdes. Ce cadre, présenté dans un article publié dans Journal des capteurs IEEE, est spécifiquement basé sur une technique de calcul connue sous le nom d’apprentissage d’ensemble d’empilement, qui combine les prédictions faites par plusieurs algorithmes d’apprentissage automatique différents.

« Dans la communication quotidienne avec les étudiants sourds, nous avons constaté qu’ils reconnaissaient que les émotions des autres étaient principalement basées sur l’observation visuelle », a déclaré Yu Song, l’un des chercheurs qui a mené l’étude. Tech Xplore. « Par rapport aux personnes normales, il existe également certaines différences dans la perception des émotions par les sourds, ce qui peut provoquer certains problèmes tels que des déviations psychologiques dans la vie quotidienne. »

La plupart des études antérieures visant à développer des modèles de reconnaissance des émotions ont été menées sur des individus sans déficience sensorielle. Song et ses collègues ont entrepris de combler cette lacune dans la littérature, en développant un cadre qui peut spécifiquement classer les émotions des personnes sourdes.

Tout d’abord, les chercheurs ont examiné les différences d’activité cérébrale et de connectivité fonctionnelle entre les sujets sans déficience auditive et les personnes sourdes lorsqu’elles se trouvent dans trois états émotionnels différents (positif, neutre et négatif). Pour ce faire, ils ont recruté 15 étudiants sourds à l’Université de technologie de Tianjin et ont collecté des enregistrements cérébraux similaires à ceux de l’ensemble de données SEED, un ensemble de données renommé contenant plusieurs signaux EEG de sujets sans déficience auditive.

« En règle générale, les caractéristiques EEG sont extraites du domaine temporel, du domaine fréquentiel et du domaine temps-fréquence pour la reconnaissance des émotions », a expliqué Song. « C’est parce que la théorie des neurosciences suggère que les processus cognitifs sont reflétés par la propagation de l’information dans le cerveau et les interactions entre différentes régions du cerveau. Nous avons donc décidé de développer un nouveau modèle d’apprentissage d’ensemble d’empilement de réseaux cérébraux pour la reconnaissance des émotions qui combine les informations recueillies par différents algorithmes. »

Dans leur expérience initiale, Song et ses collègues ont découvert que la sélection de la valeur seuil jouait un rôle important dans leur construction du réseau cérébral. Pour réduire les fausses connexions et conserver les valides, ils ont donc proposé d’utiliser des seuils allant du double au binaire dans la matrice de connexion de la valeur de verrouillage de phase (PLV). Le PLV est une mesure de la synchronie de phase entre deux séries temporelles différentes qui est largement utilisée pour examiner la connectivité cérébrale grâce à l’analyse de données d’imagerie, telles que les scans MEG et EEG.

« Nous avons ensuite extrait les caractéristiques globales et les caractéristiques locales du réseau cérébral et utilisé le cadre d’apprentissage d’ensemble d’empilement que nous avons développé pour classer les caractéristiques extraites », a déclaré Song. « Nos résultats expérimentaux montrent que le modèle proposé peut apprendre des caractéristiques EEG discriminantes et robustes au domaine pour améliorer la précision de la reconnaissance des émotions. Contrairement à l’apprentissage en profondeur, notre modèle convient également à de petits échantillons de données et peut réduire efficacement le risque de surapprentissage. »

Dans leurs expériences, Song et ses collègues ont découvert que leur modèle pouvait reconnaître les émotions des personnes sourdes avec une précision bien plus grande qu’il ne reconnaissait les émotions des personnes sans déficience auditive. Une explication possible à cela est que les personnes sourdes ont une compréhension plus simple des émotions en raison de l’absence d’un canal associé à l’acquisition des émotions.

Un nouveau modèle pour reconnaître les émotions chez les personnes sourdes en analysant les signaux EEG

Connexions entre les canaux dans la matrice d’adjacence (w≥0.5, w_red>w_blue), sous différents états émotionnels respectivement. Les lignes continues rouges indiquent des liens plus forts par rapport aux lignes continues bleues. Crédit : Kang et al.

Remarquablement, le modèle des chercheurs a nettement surpassé les autres modèles de pointe pour la reconnaissance des émotions. En outre, l’équipe a découvert que les différences d’activité cérébrale et de connectivité fonctionnelle entre les sujets sourds et non malentendants étaient plus évidentes dans les états chargés émotionnellement que dans les conditions neutres.

« Pour les sujets normaux, nous avons constaté que les lobes préfrontal et temporaux gauches sont probablement la zone d’information émotionnelle la plus abondante en étudiant l’activité cérébrale », a déclaré Song. « Pour les sujets sourds, les lobes frontaux, temporaux et occipitaux sont probablement la zone d’information de reconnaissance des émotions la plus abondante. »

L’étude a fourni des informations précieuses sur les différences entre l’activité cérébrale des personnes sourdes et entendantes dans différents états émotionnels. Par exemple, Song et ses collègues ont observé que par rapport aux sujets entendants, les sujets sourds présentent une activation plus élevée dans les lobes occipital et pariétal, et une activation plus faible dans le lobe temporal. Ces différences pourraient être liées au mécanisme de compensation dans le cerveau des participants sourds lorsqu’ils regardaient les clips vidéo émotionnels qui leur étaient montrés pendant l’expérience.

« Nous avons constaté que pour les sujets normaux, les relations intercanaux locales entre les lobes frontaux peuvent fournir des informations utiles pour la reconnaissance des émotions, et les relations intercanaux globales entre les lobes frontaux, pariétaux et occipitaux peuvent également fournir des informations utiles », a déclaré Song. « Pour les sujets sourds, d’autre part, les relations inter-canaux globales entre les lobes frontaux, temporaux et occipitaux sont d’une grande importance pour la reconnaissance des émotions, ainsi que les relations inter-canaux entre les hémisphères droit et gauche du cerveau peuvent également fournir informations utiles. »

L’étude pourrait avoir plusieurs implications importantes. Premièrement, les travaux pourraient améliorer la compréhension actuelle de la façon dont les états émotionnels se manifestent dans le cerveau des personnes sourdes et en quoi cela diffère du traitement émotionnel chez les personnes sans déficience auditive.

De plus, le modèle de reconnaissance des émotions qu’ils ont développé pourrait être utilisé pour identifier les émotions des personnes sourdes dans les contextes quotidiens et cliniques. De plus, les travaux des chercheurs pourraient éclairer le développement de stratégies visant à réduire les différences de cognition émotionnelle entre les personnes sourdes et entendantes.

Le modèle peut actuellement atteindre une précision d’environ 60 % pour tous les sujets lorsqu’il est appliqué aux 15 participants sourds qu’ils ont recrutés. À l’avenir, Song et ses collègues espèrent améliorer les performances de leur modèle et sa capacité à bien se généraliser sur différents individus.

« Récemment, nous avons également commencé à recruter davantage de sujets sourds pour participer à l’expérience de reconnaissance des émotions EEG, et les catégories d’émotions incluent l’amusement, l’encouragement, le calme, la tristesse, la colère et la peur », a ajouté Song. « Nous continuerons à étendre notre ensemble de données et à le fournir gratuitement aux chercheurs du monde entier dans le cadre de travaux ultérieurs afin qu’ils puissent étudier le mécanisme nerveux du cerveau des sujets sourds dans différents états émotionnels. »


Un modèle de réseau de neurones montre pourquoi les personnes autistes lisent différemment les expressions faciales


Plus d’information:
Reconnaissance des émotions à partir de signaux EEG sourds à l’aide d’un cadre d’apprentissage d’ensemble d’empilement basé sur un nouveau réseau cérébral. Journal des capteurs IEEE (2021). DOI : 10.1109 / JSEN.2021.3108471

© 2021 Réseau Science X

Citation: Un nouveau modèle reconnaît les émotions chez les personnes sourdes en analysant les signaux EEG (2021, 28 septembre) récupéré le 28 septembre 2021 à partir de https://techxplore.com/news/2021-09-emotions-deaf-individuals-eeg.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.