Le bot donne la parole aux locuteurs non natifs en visioconférence

Les locuteurs natifs dominent souvent la discussion dans les réunions en ligne multilingues, mais l’ajout d’un participant automatisé qui interrompt périodiquement la conversation peut aider les locuteurs non natifs à s’exprimer, selon une nouvelle étude de Cornell.

Xiaoyan Li, doctorant dans le domaine des sciences de l’information, a utilisé des groupes multilingues pour tester le bot utile, appelé agent conversationnel, qui a été programmé pour intervenir après que les locuteurs natifs aient pris six tours consécutifs. L’agent a permis aux locuteurs non natifs d’entrer dans la conversation, augmentant leur participation de 12 % à 17 % de tous les mots prononcés.

Alors que les personnes qui n’avaient pas l’anglais comme première langue trouvaient généralement l’agent utile, les locuteurs natifs pensaient que les intrusions étaient gênantes et inutiles.

“Les locuteurs non natifs ont apprécié d’avoir un espace pour réfléchir à la conversation et l’opportunité de poser des questions”, a déclaré Li. “De plus, étant invités à prendre la parole, ils avaient l’impression que leurs partenaires de communication valorisaient leurs points de vue.”

Li a présenté l’étude, “Améliorer la participation des locuteurs non natifs avec un agent automatique dans les groupes multilingues”, le 9 janvier à la conférence internationale de l’Association for Computing Machinery (ACM) sur le soutien au travail de groupe. Le papier est publié dans Actes de l’ACM sur l’interaction homme-machine.

L’inspiration pour l’étude a frappé Li lorsqu’elle était une nouvelle étudiante à Cornell, essayant de contribuer aux discussions de groupe dans son séminaire sur les communications. Bien qu’il parle couramment l’anglais, Li a eu du mal à identifier les lacunes naturelles dans la discussion et à battre les locuteurs natifs aux ouvertures.

“Lorsque les locuteurs non natifs ne parlent pas en classe, les gens supposent que c’est simplement parce qu’ils n’avaient rien à dire”, a déclaré la co-auteure Susan Fussell, professeure au Département des sciences de l’information du Cornell Ann S. Bowers College. d’informatique et des sciences de l’information, et au département de communication du Collège d’agriculture et des sciences de la vie. “Personne ne pense jamais que c’est parce qu’ils ont des problèmes pour obtenir la parole.”

Pour l’étude, Li a recruté 48 volontaires et les a répartis en groupes de trois, avec deux locuteurs natifs anglais et un locuteur natif japonais se réunissant par vidéoconférence. Les groupes ont effectué trois exercices de survie, qui impliquaient de discuter de scénarios de catastrophe imaginaires et de classer les objets (par exemple, hache, boussole, journal, etc.) récupérés d’un bateau, d’un avion ou d’un vaisseau spatial qui seraient utiles pour la survie.

Un exercice impliquait l’agent automatisé et pour un autre, les groupes étaient seuls. Dans un troisième exercice, les locuteurs non natifs pouvaient secrètement activer l’agent lorsqu’ils voulaient parler, au lieu d’attendre qu’il intervienne. Les locuteurs japonais ont cependant rarement utilisé cette option, de peur d’interrompre la conversation au mauvais moment.

L’agent utilisait le logiciel de reconnaissance vocale automatique IBM Watson pour savoir qui parlait, clignait des yeux et faisait signe de la main pour signaler une interruption imminente. La co-auteure Naomi Yamashita, chercheuse distinguée à la Nippon Telegraph and Telephone Corporation (NTT), a construit l’agent.

Les efforts précédents pour surmonter les barrières linguistiques, tels que la fourniture de transcriptions de réunions, la traduction automatique de la langue et des graphiques indiquant le niveau de participation de chacun, ont échoué. En revanche, l’agent s’est avéré remarquablement efficace, augmentant la participation des locuteurs non natifs de 40 %.

Lors d’entretiens après les exercices de survie, des locuteurs non natifs ont déclaré que l’agent n’interrompait pas toujours au bon moment, mais qu’être mis sur la sellette les obligeait à moins se soucier de leur grammaire, afin qu’ils puissent se concentrer sur la communication de leurs idées.

Les locuteurs natifs, cependant, avaient une opinion moins positive de l’agent. “Les locuteurs non natifs parlaient beaucoup moins, mais les locuteurs natifs n’en étaient pas conscients”, a déclaré Li. “Alors ils ont reproché à l’agent de les avoir interrompus alors qu’ils pensaient que la conversation était égale.”

Le groupe de Fussell a récemment développé son propre agent et a plusieurs améliorations proposées à tester.

“Ce serait bien si l’agent n’intervenait que lorsque le locuteur non natif avait quelque chose à dire, au lieu de simplement le mettre sur la sellette”, a déclaré Fussell.

Ils peuvent utiliser des signaux plus subtils indiquant qu’il est temps de céder la parole, tels que des messages privés aux locuteurs natifs, ou ils peuvent utiliser l’intelligence artificielle ou des biocapteurs pour déterminer quand un locuteur non natif est prêt pour un écart.