Un modèle auto-supervisé qui peut apprendre diverses représentations de dialogue efficaces

Un modèle auto-supervisé qui peut apprendre diverses représentations de dialogue efficaces

Visualisation TSNE des représentations de dialogue fournies par TOD-BERT, SimCSE et DSE. À gauche : chaque couleur indique une catégorie d’intention, tandis que les cercles noirs représentent les échantillons hors champ. À droite : les éléments de la même couleur représentent les paires requête-réponse, où les triangles représentent les requêtes. Les cercles noirs représentent des réponses échantillonnées au hasard. Crédit : Zhou et al.

L’intelligence artificielle (IA) et les techniques d’apprentissage automatique se sont avérées très prometteuses pour accomplir de nombreuses tâches, y compris celles qui impliquent le traitement et la génération de langage. Les modèles d’apprentissage automatique liés au langage ont permis la création de systèmes capables d’interagir et de converser avec les humains, notamment des chatbots, des assistants intelligents et des haut-parleurs intelligents.

Pour s’attaquer aux tâches orientées dialogue, les modèles de langage doivent être capables d’apprendre des représentations de dialogue de haute qualité. Ce sont des représentations qui résument les différentes idées exprimées par deux parties qui conversent sur des sujets spécifiques et comment ces dialogues sont structurés.

Des chercheurs de la Northwestern University et d’AWS AI Labs ont récemment développé un modèle d’apprentissage auto-supervisé qui peut apprendre des représentations de dialogue efficaces pour différents types de dialogues. Ce modèle, introduit dans un article pré-publié sur arXiv, pourrait être utilisé pour développer des systèmes de dialogue plus polyvalents et plus performants en utilisant une quantité limitée de données d’apprentissage.

“Nous introduisons l’intégration de phrases de dialogue (DSE), une méthode d’apprentissage contrastive auto-supervisée qui apprend des représentations de dialogue efficaces adaptées à un large éventail de tâches de dialogue”, Zhihan Zhou, Dejiao Zhang, Wei Xiao, Nicholas Dingwall, Xiaofei Ma, Andrew Arnold, et Bing Xiang ont écrit dans leur article. “DSE apprend des dialogues en prenant des énoncés consécutifs du même dialogue comme des paires positives pour un apprentissage contrastif.”

DSE, le modèle d’apprentissage auto-supervisé développé par Zhou et ses collègues, s’inspire des efforts de recherche antérieurs axés sur les modèles de dialogue. Comme les dialogues sont essentiellement des phrases ou des énoncés consécutifs qui sont sémantiquement liés les uns aux autres, l’équipe a développé un modèle qui apprend les représentations des dialogues en associant des énoncés consécutifs au sein du même dialogue.

Ces paires sont utilisées pour former le modèle, via une approche connue sous le nom d’apprentissage contrastif. L’apprentissage contrastif est une technique d’apprentissage auto-supervisée qui utilise des augmentations de données d’entrée pour concevoir plusieurs représentations de données similaires.

“Malgré sa simplicité, DSE offre des capacités de représentation nettement meilleures que les autres modèles de représentation de dialogue et de représentation de phrase universelle”, expliquent les chercheurs dans leur article.

Zhou et ses collègues ont évalué les performances de leur modèle sur cinq tâches de dialogue différentes, chacune se concentrant sur différents aspects sémantiques des représentations de dialogue. Ils ont ensuite comparé les performances du modèle à celles d’autres approches existantes, notamment les modèles TOD-BERT et SimCSE.

“Les expériences dans des paramètres à quelques coups et à zéro coup montrent que le DSE surpasse largement les lignes de base”, ont écrit les chercheurs dans leur article. “Par exemple, il réalise une amélioration moyenne des performances de 13 % par rapport à la base de référence non supervisée la plus solide dans la classification d’intention à un coup sur 6 ensembles de données.”

Lors des premiers tests, le nouveau modèle d’apprentissage des représentations de dialogue a atteint des performances remarquables. À l’avenir, il pourrait ainsi être utilisé pour améliorer les performances des chatbots et autres systèmes de dialogue.

Dans leur article, Zhou et ses collègues décrivent également les limites et les applications potentielles de leur modèle. Des travaux futurs pourraient continuer à perfectionner leur approche, pour pallier certaines de ses lacunes.

“Nous pensons que DSE peut servir de remplacement direct du modèle de représentation de dialogue (par exemple, l’encodeur de texte) pour un large éventail de systèmes de dialogue”, ont ajouté les chercheurs.


Comment le langage figuratif confond les chatbots


Plus d’information:
Zhihan Zhou et al, Apprentissage des représentations de dialogue à partir d’énoncés consécutifs. arXiv:2205.13568v1 [cs.CL]arxiv.org/abs/2205.13568

© 2022 Réseau Science X

Citation: Un modèle auto-supervisé qui peut apprendre diverses représentations de dialogue efficaces (16 juin 2022) récupéré le 16 juin 2022 sur https://techxplore.com/news/2022-06-self-supervised-effective-dialog-representations.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.