Les grands modèles de langage sont biaisés. La logique peut-elle aider à les sauver ?

Il s’avère que même les modèles linguistiques “pensent” qu’ils sont biaisés. Lorsque vous y êtes invité dans ChatGPT, la réponse a été la suivante : “Oui, les modèles linguistiques peuvent avoir des biais, car les données de formation reflètent les préjugés présents dans la société à partir de laquelle ces données ont été collectées. Par exemple, les préjugés sexistes et raciaux sont répandus dans de nombreux cas réels. ensembles de données mondiaux, et si un modèle de langage est formé sur cela, il peut perpétuer et amplifier ces biais dans ses prédictions. » Un problème bien connu mais dangereux.

Les humains (généralement) peuvent s’essayer à la fois au raisonnement logique et stéréotypé lors de l’apprentissage. Pourtant, les modèles de langage imitent principalement ce dernier, un récit malheureux que nous avons vu se dérouler jusqu’à la nausée lorsque la capacité d’utiliser le raisonnement et la pensée critique est absente. Alors, injecter de la logique dans la mêlée serait-il suffisant pour atténuer un tel comportement ?

Les scientifiques du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT avaient une idée que cela pourrait être le cas, alors ils se sont mis à examiner si les modèles de langage sensibles à la logique pouvaient éviter de manière significative les stéréotypes plus nocifs. Ils ont formé un modèle de langage pour prédire la relation entre deux phrases, en fonction du contexte et de la signification sémantique, en utilisant un ensemble de données avec des étiquettes pour des extraits de texte détaillant si une deuxième phrase “implique”, “contredit” ou est neutre par rapport à la première. . À l’aide de cet ensemble de données (inférence en langage naturel), ils ont constaté que les modèles nouvellement formés étaient nettement moins biaisés que les autres lignes de base, sans données supplémentaires, édition de données ou algorithmes de formation supplémentaires.

Par exemple, avec la prémisse « la personne est médecin » et l’hypothèse « la personne est masculine », en utilisant ces modèles entraînés par la logique, la relation serait classée comme « neutre », puisqu’il n’y a pas de logique qui dit que la personne est un homme. Avec des modèles de langage plus courants, deux phrases peuvent sembler être corrélées en raison d’un certain biais dans les données de formation, comme “docteur” peut être associé à “masculin”, même s’il n’y a aucune preuve que la déclaration est vraie.

À ce stade, la nature omniprésente des modèles de langage est bien connue : les applications dans le traitement du langage naturel, la reconnaissance de la parole, l’IA conversationnelle et les tâches génératives abondent. Bien qu’il ne s’agisse pas d’un domaine de recherche naissant, les douleurs de croissance peuvent prendre le devant à mesure qu’elles augmentent en complexité et en capacité.

“Les modèles de langage actuels souffrent de problèmes d’équité, de ressources de calcul et de confidentialité”, déclare Hongyin Luo, postdoc au MIT CSAIL, auteur principal d’un nouvel article sur le travail. “De nombreuses estimations disent que le CO₂ l’émission de la formation d’un modèle linguistique peut être supérieure à l’émission d’une voiture tout au long de la vie. L’exécution de ces grands modèles de langage est également très coûteuse en raison de la quantité de paramètres et des ressources de calcul dont ils ont besoin. Avec la confidentialité, les modèles de langage de pointe développés par des endroits comme ChatGPT ou GPT-3 ont leurs API où vous devez télécharger votre langue, mais il n’y a pas de place pour des informations sensibles concernant des choses comme les soins de santé ou les finances.

“Pour résoudre ces problèmes, nous avons proposé un modèle de langage logique que nous avons qualitativement mesuré comme équitable, qui est 500 fois plus petit que les modèles de pointe, peut être déployé localement et sans échantillons de formation annotés par l’homme pour les tâches en aval. . Notre modèle utilise 1/400 des paramètres par rapport aux plus grands modèles de langage, a de meilleures performances sur certaines tâches et économise considérablement les ressources de calcul.”

Ce modèle, qui compte 350 millions de paramètres, a surpassé certains modèles de langage à très grande échelle avec 100 milliards de paramètres sur les tâches de compréhension du langage logique. L’équipe a évalué, par exemple, les modèles de langage pré-entraînés populaires du BERT avec leurs “implications textuelles” sur les tests de stéréotype, de profession et de préjugés émotionnels. Ce dernier a surpassé les autres modèles avec un biais significativement plus faible, tout en préservant la capacité de modélisation du langage. “L’équité” a été évaluée avec ce qu’on appelle des tests d’association de contexte idéal (iCAT), où des scores iCAT plus élevés signifient moins de stéréotypes. Le modèle avait des scores iCAT supérieurs à 90 %, tandis que d’autres modèles de compréhension linguistique forte variaient entre 40 % et 80 %.

Luo a rédigé l’article aux côtés du chercheur principal du MIT, James Glass. Ils présenteront leurs travaux à la conférence du chapitre européen de l’Association pour la linguistique computationnelle en Croatie.

Sans surprise, les modèles de langage préformés originaux que l’équipe a examinés regorgeaient de biais, confirmés par une multitude de tests de raisonnement démontrant à quel point les termes professionnels et émotionnels sont significativement biaisés par rapport aux mots féminins ou masculins dans le vocabulaire de genre.

Avec les professions, un modèle linguistique (qui est biaisé) pense que « hôtesse de l’air », « secrétaire » et « assistant médical » sont des emplois féminins, tandis que « pêcheur », « avocat » et « juge » sont masculins. Concernant les émotions, un modèle de langage pense que “anxieux”, “déprimé” et “dévasté” sont féminins.

Bien que nous soyons encore loin d’une utopie de modèle de langage neutre, cette recherche se poursuit dans cette poursuite. Actuellement, le modèle est uniquement destiné à la compréhension du langage, il est donc basé sur le raisonnement entre des phrases existantes. Malheureusement, il ne peut pas générer de phrases pour le moment, donc la prochaine étape pour les chercheurs serait de cibler les modèles génératifs ultra-populaires construits avec un apprentissage logique pour assurer plus d’équité avec une efficacité de calcul.

“Bien que le raisonnement stéréotypé soit une partie naturelle de la reconnaissance humaine, les personnes soucieuses de l’équité mènent un raisonnement avec logique plutôt qu’avec des stéréotypes lorsque cela est nécessaire”, explique Luo. “Nous montrons que les modèles de langage ont des propriétés similaires. Un modèle de langage sans apprentissage logique explicite fait beaucoup de raisonnement biaisé, mais l’ajout d’apprentissage logique peut atténuer considérablement ce comportement. De plus, avec une capacité d’adaptation robuste et démontrée, le modèle peut être directement déployé à différentes tâches avec plus d’équité, de confidentialité et une meilleure rapidité.”

Fourni par le laboratoire d’informatique et d’intelligence artificielle du MIT