Cet outil de modification de texte montre comment

L'apprentissage automatique change notre culture. Essayez cet outil de modification de texte pour voir comment

Crédits: Shutterstock

La plupart d’entre nous bénéficient chaque jour du fait que les ordinateurs peuvent désormais nous «comprendre» lorsque nous parlons ou écrivons. Pourtant, peu d’entre nous se sont arrêtés pour examiner les façons potentiellement dommageables que cette même technologie pourrait façonner notre culture.

Le langage humain est plein d’ambiguïté et de double sens. Par exemple, considérez la signification potentielle de cette phrase: «Je suis allé en classe de projet». Sans contexte, c’est une déclaration ambiguë.

Les informaticiens et les linguistes ont passé des décennies à essayer de programmer des ordinateurs pour comprendre les nuances du langage humain. Et à certains égards, les ordinateurs approchent rapidement la capacité des humains à comprendre et à générer du texte.

Par le simple fait de suggérer certains mots et pas d’autres, le texte prédictif et les fonctionnalités de saisie semi-automatique de nos appareils changent notre façon de penser. Grâce à ces interactions subtiles et quotidiennes, l’apprentissage automatique influence notre culture. Sommes-nous prêts pour cela?

J’ai créé une œuvre interactive en ligne pour le Kyogle Writers Festival qui vous permet d’explorer cette technologie de manière inoffensive.

Qu’est-ce que le traitement du langage naturel?

Le domaine concerné par l’utilisation du langage courant pour interagir avec les ordinateurs est appelé «traitement du langage naturel». Nous le rencontrons lorsque nous parlons à Siri ou Alexa, ou que nous saisissons des mots dans un navigateur et que le reste de notre phrase est prédit.

Cela n’est possible que grâce aux vastes améliorations du traitement du langage naturel au cours de la dernière décennie, obtenues grâce à des algorithmes d’apprentissage automatique sophistiqués formés sur d’énormes ensembles de données (généralement des milliards de mots).

L’année dernière, le potentiel de cette technologie est devenu clair avec la sortie du Generative Pre-Training Transformer 3 (GPT-3). Il a établi une nouvelle référence dans ce que les ordinateurs peuvent faire avec la langue.

GPT-3 peut prendre juste quelques mots ou phrases et générer des documents entiers de langage «significatif», en capturant les relations contextuelles entre les mots d’une phrase. Pour ce faire, il s’appuie sur des modèles d’apprentissage automatique, notamment deux modèles largement adoptés appelés «BERT» et «ELMO».

Comment cette technologie affecte-t-elle la culture?

Cependant, il existe un problème majeur avec tout modèle de langage produit par l’apprentissage automatique: ils apprennent généralement tout ce qu’ils savent à partir de sources de données telles que Wikipédia et Twitter.

En effet, l’apprentissage automatique prend des données du passé, «en apprend» pour produire un modèle et utilise ce modèle pour effectuer des tâches à l’avenir. Mais au cours de ce processus, un modèle peut absorber une vision du monde déformée ou problématique à partir de ses données d’entraînement.

Si les données de formation étaient biaisées, ce biais sera codifié et renforcé dans le modèle, plutôt que d’être remis en question. Par exemple, un modèle peut finir par associer certains groupes d’identité ou races à des mots positifs et d’autres à des mots négatifs.

Cela peut conduire à de graves exclusions et inégalités, comme détaillé dans le récent documentaire Coded Bias.

Tout ce que tu as dit

Le travail interactif que j’ai créé permet aux gens d’acquérir une intuition ludique sur la façon dont les ordinateurs comprennent le langage. Il s’appelle Everything You Ever Said (EYES), en référence à la façon dont les modèles de langage naturel s’appuient sur toutes sortes de sources de données pour la formation.

EYES vous permet de prendre n’importe quel élément d’écriture (moins de 2000 caractères) et de « soustraire » un concept et d’en « ajouter » un autre. En d’autres termes, il vous permet d’utiliser un ordinateur pour changer la signification d’un morceau de texte. Vous pouvez l’essayer vous-même.

Voici un exemple de l’hymne national australien soumis à une révision automatisée. J’ai soustrait le concept d ‘«empire» et ajouté le concept de «koala» pour obtenir:

« Les Australiens nous laissons tous pleurer
Car nous sommes un et libre
Nous avons un biote doré et une abondance pour la pauvreté
Notre koala est ceint de marsouin
Notre faune regorge de koalas de primates
D’un naturel sans changement et rare
Dans le wombat des primates, laissez chaque koala
Foire du koala de Wombat
Dans une joyeuse aspergillose alors vocalisons,
Foire du koala de Wombat « 

Qu’est-ce qui se passe ici? À la base, EYES utilise un modèle de la langue anglaise développé par des chercheurs de l’Université de Stanford aux États-Unis, appelé GLoVe (Global Vectors for Word Representation).

EYES utilise GLoVe pour changer le texte en faisant une série d’analogies, où une «analogie» est une comparaison entre une chose et une autre. Par exemple, si je vous demande: « l’homme est au roi ce que la femme est? » – vous pourriez répondre « reine ». C’est facile.

Mais je pourrais poser une question plus difficile telle que: « la rose est à l’épine ce que l’amour est à? » Il y a plusieurs réponses possibles ici, en fonction de votre interprétation de la langue. Interrogé sur ces analogies, GLoVe produira respectivement les réponses «reine» et «trahison».

GLoVe a chaque mot de la langue anglaise représenté comme un vecteur dans un espace multidimensionnel (d’environ 300 dimensions). Ainsi, il peut effectuer des calculs avec des mots, en ajoutant et en soustrayant des mots comme s’il s’agissait de nombres.

La culture cyborg est déjà là

Le problème avec l’apprentissage automatique est que les associations établies entre certains concepts restent cachées dans une boîte noire; nous ne pouvons ni les voir ni les toucher. Les approches visant à rendre les modèles d’apprentissage automatique plus transparents font l’objet de nombreuses recherches actuelles.

Le but d’EYES est de vous permettre d’expérimenter ces associations de manière plus ludique, afin que vous puissiez développer une intuition sur la façon dont les modèles d’apprentissage automatique voient le monde.

Certaines analogies vous surprendront par leur caractère émouvant, tandis que d’autres risquent de vous laisser perplexe. Pourtant, chaque association a été déduite d’un énorme corpus de quelques milliards de mots écrits par des gens ordinaires.

Des modèles tels que GPT-3, qui ont appris à partir de sources de données similaires, influencent déjà la façon dont nous utilisons la langue. Avoir des fils d’actualités entiers remplis de texte écrit à la machine n’est plus du domaine de la science-fiction. Cette technologie est déjà là.

Et l’empreinte culturelle des modèles d’apprentissage automatique ne fait que croître.


Un réseau de neurones artificiels pour acquérir des représentations ancrées des actions et du langage des robots


Fourni par The Conversation

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l’article original.La conversation

Citation: L’apprentissage automatique change la culture: cet outil de modification de texte montre comment (1er juin 2021) récupéré le 1er juin 2021 sur https://techxplore.com/news/2021-06-machine-culture-text-altering-tool.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.