Comment le langage figuré déroute les chatbots

Vous voulez vous débarrasser de votre chatbot ?  Utiliser un langage figuré

Les chercheurs ont écrit un script simple qui identifie les phrases figuratives et les remplace par leur sens littéral. En conséquence, les performances des systèmes de dialogue se sont améliorées jusqu’à 15 %. Crédit : Université de Californie à San Diego

Des informaticiens ont récemment examiné les performances des systèmes de dialogue, tels que les assistants personnels et les chatbots conçus pour interagir avec les humains. L’équipe a découvert que lorsque ces systèmes sont confrontés à un dialogue comprenant des expressions idiomatiques ou des comparaisons, leurs performances chutent entre 10 et 20 %.

L’équipe de recherche a également développé un remède partiel. Ils ont écrit un script simple qui identifie les phrases figuratives et les remplace par leur sens littéral. En conséquence, les performances des systèmes de dialogue se sont améliorées jusqu’à 15 %.

Les chercheurs présentent leurs résultats à la conférence 2021 sur les méthodes empiriques dans le traitement du langage naturel, qui se tiendra du 7 au 11 novembre 2021.

Les applications pour ce travail incluent non seulement des assistants personnels, mais également des systèmes conçus pour résumer des informations, comme la boîte résumant les résultats de recherche en haut d’une page Google. Les systèmes automatisés qui doivent répondre à des questions, par exemple lorsqu’une facture doit être payée ou un rendez-vous à prendre, bénéficieraient également de ce travail.

« Nous voulons permettre des conversations plus naturelles entre les personnes et les systèmes de dialogue », a déclaré Harsh Jhamtani, le premier auteur de l’article.

Jhamtani est titulaire d’un doctorat. étudiant à l’Université Carnegie Mellon et travaille actuellement en tant que chercheur invité avec l’auteur principal Taylor Berg-Kirkpatrick, membre du corps professoral du département d’informatique et d’ingénierie de l’UC San Diego.

L’étude a été inspirée par les propres luttes de Jhamtani avec le langage figuratif. Il est de langue maternelle hindi et parle également l’anglais, l’autre langue officielle de l’Inde. Mais il a dû apprendre les nombreux idiomes et métaphores américains utilisés par ses collègues.

Par exemple, il a paniqué lorsqu’un collègue a dit qu’ils mouraient de faim parce qu’en hindi, cela pourrait indiquer une urgence médicale. Son collègue a ensuite expliqué que cela signifiait simplement qu’il avait faim. À ce moment-là, Jhamtani se demandait si les systèmes de dialogue artificiels auraient le même problème que lui.

Vous voulez vous débarrasser de votre chatbot ?  Utiliser un langage figuré

Crédit : Université de Californie à San Diego

Dans l’étude, les chercheurs ont testé cinq systèmes différents conçus pour parler avec les humains, y compris GPT-2, qui est formé pour prédire le mot suivant dans 40 Go de texte Internet et a été développé par la société de recherche OpenAI.

Les chercheurs ont d’abord fait fonctionner les systèmes de dialogue à travers un ensemble de données de 13,1 000 conversations sur des sujets familiers comme le tourisme, la santé, etc. Ils ont ensuite extrait les conversations qui incluaient un langage figuratif de l’ensemble de données et n’ont fait passer les systèmes qu’à travers celles-ci. Ils ont observé une baisse des performances allant de 10 à 20 pour cent.

Ils ont ensuite écrit un script qui a permis aux systèmes de vérifier rapidement les dictionnaires qui traduisent le discours figuré en discours littéral. C’est plus rapide et plus efficace que les systèmes de recyclage pour apprendre le contenu complet de ces dictionnaires. Les chercheurs ont observé que les performances s’amélioraient jusqu’à 15 %.

Les chercheurs devaient encore s’appuyer en partie sur des observateurs humains pour identifier le langage figuré dans l’ensemble de données, avant que le texte ne puisse être converti. Une étude plus approfondie est nécessaire dans ce domaine.

Il faudra plusieurs itérations avant que les algorithmes développés par les chercheurs soient prêts à être mis en œuvre. Par exemple, ils ont découvert que dans de rares cas, le remplacement du langage figuré par le langage littéral déformait la grammaire d’une phrase au point que les systèmes de dialogue ne pouvaient plus comprendre.


CaSiNo : une collection de dialogues basés sur les campings pour développer des systèmes de négociation automatique


Plus d’information:
Conférence : 2021.emnlp.org/

Fourni par l’Université de Californie – San Diego

Citation: Comment le langage figuratif confond les chatbots (2021, 8 novembre) récupéré le 8 novembre 2021 sur https://techxplore.com/news/2021-11-figurative-language-chatbots.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.