Qu’est-ce qui fait qu’un réseau de neurones se souvient ?

Les modèles informatiques sont un outil important pour étudier comment le cerveau fabrique et stocke des souvenirs et d’autres types d’informations complexes. Mais créer de tels modèles est une entreprise délicate. D’une manière ou d’une autre, une symphonie de signaux – à la fois biochimiques et électriques – et un enchevêtrement de connexions entre les neurones et d’autres types de cellules créent le matériel nécessaire pour que les souvenirs s’installent. Pourtant, parce que les neuroscientifiques ne comprennent pas entièrement la biologie sous-jacente du cerveau, coder le processus dans un modèle informatique afin de l’étudier plus avant a été un défi.

Aujourd’hui, des chercheurs de l’Institut des sciences et technologies d’Okinawa (OIST) ont modifié un modèle informatique de mémoire couramment utilisé appelé réseau Hopfield de manière à améliorer les performances en s’inspirant de la biologie. Ils ont découvert que non seulement le nouveau réseau reflète mieux la façon dont les neurones et les autres cellules se connectent dans le cerveau, mais qu’il peut également contenir beaucoup plus de souvenirs.

La complexité ajoutée au réseau est ce qui le rend plus réaliste, explique Thomas Burns, titulaire d’un doctorat. étudiant dans le groupe du professeur Tomoki Fukai, qui dirige l’unité Neural Coding and Brain Computing de l’OIST. “Pourquoi la biologie aurait-elle toute cette complexité? La capacité de mémoire pourrait être une raison”, explique M. Burns.

Les réseaux de Hopfield stockent les souvenirs sous forme de modèles de connexions pondérées entre différents neurones du système. Le réseau est “formé” pour encoder ces modèles, puis les chercheurs peuvent tester sa mémoire en présentant une série de modèles flous ou incomplets et en voyant si le réseau peut les reconnaître comme étant déjà connus. Dans les réseaux de Hopfield classiques, cependant, les neurones du modèle se connectent réciproquement à d’autres neurones du réseau pour former une série de ce qu’on appelle des connexions “par paires”.

Les connexions par paires représentent la façon dont deux neurones se connectent à une synapse, un point de connexion entre deux neurones dans le cerveau. Mais en réalité, les neurones ont des structures ramifiées complexes appelées dendrites qui fournissent de multiples points de connexion, de sorte que le cerveau s’appuie sur un arrangement beaucoup plus complexe de synapses pour accomplir son travail cognitif. De plus, les connexions entre les neurones sont modulées par d’autres types de cellules appelées astrocytes.

“Il n’est tout simplement pas réaliste que seules des connexions par paires entre les neurones existent dans le cerveau”, explique M. Burns. Il a créé un réseau Hopfield modifié dans lequel non seulement des paires de neurones, mais des ensembles de trois, quatre neurones ou plus pourraient également se connecter, comme cela pourrait se produire dans le cerveau par le biais d’astrocytes et d’arbres dendritiques.

Bien que le nouveau réseau autorise ces connexions dites “par ensemble”, il contenait globalement le même nombre total de connexions qu’auparavant. Les chercheurs ont découvert qu’un réseau contenant un mélange de connexions par paires et par ensemble fonctionnait mieux et conservait le plus grand nombre de souvenirs. Ils estiment que cela fonctionne plus que doublement aussi bien qu’un réseau Hopfield traditionnel.

“Il s’avère que vous avez en fait besoin d’une combinaison de fonctionnalités dans un certain équilibre”, déclare M. Burns. “Vous devriez avoir des synapses individuelles, mais vous devriez aussi avoir des arbres dendritiques et des astrocytes.”

Les réseaux de Hopfield sont importants pour la modélisation des processus cérébraux, mais ils ont également d’autres utilisations puissantes. Par exemple, des types de réseaux très similaires appelés Transformers sous-tendent des outils linguistiques basés sur l’IA tels que ChatGPT, de sorte que les améliorations identifiées par M. Burns et le professeur Fukai peuvent également rendre ces outils plus robustes.

M. Burns et ses collègues prévoient de continuer à travailler avec leurs réseaux Hopfield modifiés pour les rendre encore plus puissants. Par exemple, dans le cerveau, les forces des connexions entre les neurones ne sont normalement pas les mêmes dans les deux sens, alors M. Burns se demande si cette caractéristique d’asymétrie pourrait également améliorer les performances du réseau.

De plus, il aimerait explorer les moyens de faire interagir les souvenirs du réseau les uns avec les autres, comme ils le font dans le cerveau humain. “Nos souvenirs sont multiples et vastes”, déclare M. Burns. “Nous avons encore beaucoup à découvrir.”

L’étude sera présentée sous forme de document de conférence intitulé “Simplicial Hopfield networks”, lors de la Conférence internationale sur les représentations d’apprentissage, du 1er au 5 mai 2023