Vers une IA de type cerveau avec calcul hyperdimensionnel

IA

Crédit: CC0 Public Domain

Le cerveau humain a toujours été à l’étude pour l’inspiration des systèmes informatiques. Bien qu’il reste un très long chemin à parcourir jusqu’à ce que nous puissions parvenir à un système informatique qui corresponde à l’efficacité du cerveau humain pour les tâches cognitives, plusieurs paradigmes informatiques inspirés du cerveau sont en cours de recherche. Les réseaux de neurones convolutifs sont une approche d’apprentissage automatique largement utilisée pour les applications liées à l’IA en raison de leurs performances significatives par rapport aux approches basées sur des règles ou symboliques. Néanmoins, pour de nombreuses tâches, l’apprentissage automatique nécessite de grandes quantités de données et de formation pour converger vers un niveau de performance acceptable.

Un doctorat. étudiant de l’Université de Khalifa, Eman Hasan, étudie une autre méthodologie de calcul de l’IA appelée «calcul hyperdimensionnel», qui peut éventuellement rapprocher les systèmes d’IA de la cognition de type humain. Le travail est supervisé par le Dr Baker Mohammad, professeur agrégé et directeur de le System on Chip Center (SOCC) et le Dr Yasmin Halawani, stagiaire postdoctoral.

Le travail de Hasan, qui a été publié récemment dans la revue Accès IEEE, analyse différents modèles de calcul hyperdimensionnel et met en évidence les avantages de ce paradigme informatique. Le calcul hyperdimensionnel, ou HDC, est un paradigme relativement nouveau pour le calcul utilisant de grands vecteurs (comme 10000 bits chacun) et s’inspire des modèles d’activité neuronale dans le cerveau humain. Les moyens par lesquels peuvent permettre aux systèmes informatiques basés sur l’IA de conserver la mémoire peuvent réduire leurs demandes de calcul et de puissance.

Les vecteurs HDC, par nature, sont également extrêmement robustes contre le bruit, tout comme le système nerveux central de l’homme. L’intelligence nécessite la détection, le stockage, la liaison et la suppression des modèles bruyants, et le HDC est bien adapté à la gestion des modèles bruyants. Inspiré par une représentation abstraite des circuits neuronaux dans le cerveau humain, le développement d’une architecture HDC implique des étapes d’encodage, d’entraînement et de comparaison.

Le cerveau humain est excellent pour reconnaître des modèles et utiliser ces modèles pour déduire des informations sur d’autres choses. Par exemple, les humains comprennent généralement que ce n’est pas parce qu’il manque un pied à une chaise que ce n’est plus une chaise. Un système d’IA peut examiner cette chaise à trois pieds et décider qu’il s’agit d’un objet complètement nouveau qui nécessite une nouvelle classification. Les vecteurs HDC offrent cependant une certaine marge d’erreur. Avec HDC, la reconnaissance de certaines caractéristiques générera un vecteur suffisamment similaire à une chaise pour que l’ordinateur puisse déduire que l’objet est une chaise à partir de sa mémoire de ce à quoi ressemble une chaise. Par conséquent, la chaise à trois pieds restera une chaise en informatique hyperdimensionnelle alors que dans la reconnaissance d’objets traditionnelle, c’est une tâche difficile.

«Dans un vecteur HD, nous pouvons représenter les données de manière holistique, ce qui signifie que la valeur d’un objet est répartie entre de nombreux points de données», a expliqué Hasan. « Par conséquent, nous pouvons reconstruire la signification du vecteur tant que nous avons 60% de son contenu. »

La structure des vecteurs conduit à l’un des avantages les plus importants de l’approche HDC, qui est qu’elle peut tolérer des erreurs et constitue donc une excellente option pour les applications de calcul approximatives. Cela provient de la représentation des hyper vecteurs, où une valeur de bit est indépendante de son emplacement dans la séquence de bits.

Le HDC est également puissant en ce qu’il est centré sur la mémoire, ce qui le rend capable d’effectuer des calculs complexes tout en nécessitant moins de puissance de calcul. Ce type de calcul est particulièrement utile pour l’informatique «de pointe», qui fait référence au calcul effectué à la source des données ou à proximité. Dans un nombre croissant d’appareils, y compris dans les véhicules autonomes, les calculs doivent être effectués immédiatement et au point de collecte des données, au lieu de s’appuyer sur des calculs effectués dans le cloud dans un centre de données.

«Le calcul hyperdimensionnel est un modèle prometteur pour les périphériques de périphérie car il n’inclut pas l’étape d’entraînement exigeante en termes de calcul trouvée dans le réseau neuronal convolutif largement utilisé», a expliqué Hasan. « Cependant, l’informatique hyperdimensionnelle présente ses propres défis, car le codage à lui seul prend environ 80% du temps d’exécution de son apprentissage et certains algorithmes de codage font que les données codées atteignent vingt fois leur taille d’origine. »

Hasan a étudié le paradigme HDC et ses principaux algorithmes dans des applications unidimensionnelles et bidimensionnelles. La recherche a montré que le HDC surpasse les réseaux de neurones numériques dans les applications de jeux de données unidimensionnelles, telles que la reconnaissance vocale, mais la complexité augmente une fois qu’elle est étendue aux applications 2D.

« HDC a montré des résultats prometteurs pour des applications unidimensionnelles, utilisant moins d’énergie et avec une latence plus faible que les réseaux neuronaux profonds simples de pointe », a expliqué Hasan. « Mais dans les applications 2D, les réseaux de neurones convolutifs atteignent toujours une plus grande précision de classification, mais au détriment de plus de calculs. »


Brain-on-a-chip aurait besoin de peu de formation


Plus d’information:
Eman Hassan et coll. Défis et opportunités du calcul hyper-dimensionnel pour les applications d’IA, Accès IEEE (2021). DOI: 10.1109 / ACCESS.2021.3059762

Fourni par l’Université de Khalifa

Citation: Toward a brain-like AI with hyperdimensional computing (2021, 5 mai) récupéré le 5 mai 2021 sur https://techxplore.com/news/2021-05-brain-like-ai-hyperdimensional.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.