Les programmes de traitement du langage peuvent attribuer de nombreux types d’informations à un seul mot, comme le cerveau humain

Les programmes de traitement du langage peuvent attribuer de nombreux types d'informations à un seul mot, comme le cerveau humain

Les vecteurs de mots dans la catégorie “animaux” (cercles bleus) sont projetés orthogonalement (lignes bleu clair) sur le sous-espace caractéristique pour “taille” (ligne rouge), défini comme la différence vectorielle entre grand et petit (cercles rouges). Les trois dimensions de cette figure sont arbitraires et ont été choisies via une analyse en composantes principales pour améliorer la visualisation ; l’incorporation de mots GloVe d’origine a 300 dimensions et la projection se produit dans cet espace. Crédit : laboratoire Fedorenko

Des moteurs de recherche aux assistants vocaux, les ordinateurs comprennent mieux ce que nous voulons dire. C’est grâce à des programmes de traitement du langage qui donnent un sens à un nombre impressionnant de mots, sans jamais savoir explicitement ce que ces mots signifient. De tels programmes déduisent plutôt le sens par le biais de statistiques – et une nouvelle étude révèle que cette approche informatique peut attribuer de nombreux types d’informations à un seul mot, tout comme le cerveau humain.

L’étude, publiée le 14 avril dans la revue Nature Comportement humain, a été codirigé par Gabriel Grand, un étudiant diplômé en génie électrique et en informatique affilié au laboratoire d’informatique et d’intelligence artificielle du MIT, et Idan Blank Ph.D. ’16, professeur adjoint à l’Université de Californie à Los Angeles. Le travail a été supervisé par le chercheur du McGovern Institute for Brain Research, Ev Fedorenko, un neuroscientifique cognitif qui étudie comment le cerveau humain utilise et comprend le langage, et Francisco Pereira de l’Institut national de la santé mentale. Fedorenko dit que la richesse des connaissances que son équipe a pu trouver dans les modèles de langage informatique montre à quel point on peut apprendre sur le monde grâce au langage seul.

L’équipe de recherche a commencé son analyse des modèles de traitement du langage basés sur les statistiques en 2015, lorsque l’approche était nouvelle. De tels modèles dérivent le sens en analysant la fréquence à laquelle des paires de mots coexistent dans les textes et en utilisant ces relations pour évaluer les similitudes des significations des mots. Par exemple, un tel programme pourrait conclure que « pain » et « pomme » sont plus similaires l’un à l’autre qu’ils ne le sont avec « carnet », parce que « pain » et « pomme » se trouvent souvent à proximité de mots comme « manger » ou “snack”, alors que “notebook” ne l’est pas.

Les modèles étaient clairement bons pour mesurer la similarité globale des mots les uns avec les autres. Mais la plupart des mots contiennent de nombreux types d’informations, et leurs similitudes dépendent des qualités évaluées. “Les humains peuvent proposer toutes ces différentes échelles mentales pour aider à organiser leur compréhension des mots”, explique Grand, un ancien chercheur de premier cycle du laboratoire Fedorenko. Par exemple, dit-il, “les dauphins et les alligators peuvent être de taille similaire, mais l’un est beaucoup plus dangereux que l’autre”.

Grand et Blank, qui était alors étudiant diplômé à l’Institut McGovern, voulaient savoir si les modèles capturaient cette même nuance. Et si tel était le cas, comment l’information était-elle organisée ?

Pour savoir comment les informations contenues dans un tel modèle s’empilaient sur la compréhension des mots par les humains, l’équipe a d’abord demandé à des volontaires humains de noter les mots sur différentes échelles : les concepts que ces mots véhiculaient étaient-ils grands ou petits, sûrs ou dangereux, humides ou secs ? Ensuite, après avoir cartographié où les gens positionnent différents mots sur ces échelles, ils ont cherché à voir si les modèles de traitement du langage faisaient de même.

Grand explique que les modèles sémantiques distributionnels utilisent des statistiques de cooccurrence pour organiser les mots dans une énorme matrice multidimensionnelle. Plus les mots sont similaires les uns aux autres, plus ils sont proches dans cet espace. Les dimensions de l’espace sont vastes et il n’y a pas de sens inhérent à sa structure. “Dans ces incorporations de mots, il y a des centaines de dimensions, et nous n’avons aucune idée de ce que signifie n’importe quelle dimension”, dit-il. “Nous essayons vraiment de regarder dans cette boîte noire et de dire : ‘y a-t-il une structure ici ?'”

Plus précisément, ils ont demandé si les échelles sémantiques qu’ils avaient demandé à leurs volontaires d’utiliser étaient représentées dans le modèle. Ils ont donc cherché à voir où les mots dans l’espace s’alignaient le long de vecteurs définis par les extrêmes de ces échelles. Où les dauphins et les tigres sont-ils passés de “grands” à “petits”, par exemple ? Et étaient-ils plus proches le long de cette ligne qu’ils ne l’étaient sur une ligne représentant le danger (« sûr » à « dangereux ») ?

À travers plus de 50 ensembles de catégories mondiales et d’échelles sémantiques, ils ont découvert que le modèle avait organisé les mots de manière très similaire aux volontaires humains. Les dauphins et les tigres ont été jugés similaires en termes de taille, mais éloignés sur des échelles mesurant le danger ou l’humidité. Le modèle avait organisé les mots d’une manière qui représentait de nombreux types de sens – et il l’avait fait entièrement en se basant sur les cooccurrences des mots.

Cela, dit Fedorenko, nous dit quelque chose sur le pouvoir du langage. “Le fait que nous puissions récupérer une grande partie de cette riche information sémantique à partir de ces simples statistiques de cooccurrence de mots suggère qu’il s’agit d’une source très puissante d’apprentissage sur des choses avec lesquelles vous n’avez peut-être même pas d’expérience perceptuelle directe.”


Les concepts de « personne » ou de « peuple » sont-ils neutres en termes de genre ? Une nouvelle étude révèle une inclinaison masculine dans l’analyse de milliards de mots


Plus d’information:
Gabriel Grand et al, La projection sémantique récupère une riche connaissance humaine des multiples caractéristiques de l’objet à partir des incorporations de mots, Nature Comportement humain (2022). DOI : 10.1038 / s41562-022-01316-8

Fourni par le Massachusetts Institute of Technology

Citation: Les programmes de traitement du langage peuvent attribuer de nombreux types d’informations à un seul mot, comme le cerveau humain (2022, 4 mai) récupéré le 4 mai 2022 sur https://techxplore.com/news/2022-05-language-assign-kinds- mot-humain.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.