Le grave défaut de la modération de contenu IA « multilingue »

Trois parties bosniaque texte. Treize pièces kurde. Cinquante-cinq parties swahili. Onze mille parties en anglais.

Cela fait partie de la recette des données du nouveau grand modèle linguistique de Facebook, qui, selon la société, est capable de détecter et de maîtriser les contenus préjudiciables dans plus de 100 langues. Bumble utilise une technologie similaire pour détecter les messages grossiers et indésirables dans au moins 15 langues. Google l’utilise pour tout, de la traduction au filtrage des sections de commentaires des journaux. Tous ont des recettes comparables et le même ingrédient dominant : des données en anglais.

Pendant des années, les entreprises de médias sociaux ont concentré leurs efforts de détection et de suppression automatiques de contenu davantage sur le contenu en anglais que sur les 7 000 autres langues du monde. Facebook a laissé près de 70 % de la désinformation Covid en italien et en espagnol non signalée, contre seulement 29 % de la désinformation similaire en anglais. Des documents divulgués révèlent que les messages en arabe sont régulièrement signalés à tort comme des discours de haine. La modération médiocre du contenu en langue locale a contribué aux violations des droits de l’homme, notamment le génocide au Myanmar, la violence ethnique en Éthiopie et la désinformation électorale au Brésil. À grande échelle, les décisions d’héberger, de rétrograder ou de retirer du contenu affectent directement les droits fondamentaux des personnes, en particulier ceux des personnes marginalisées qui n’ont que peu d’autres moyens de s’organiser ou de s’exprimer librement.

Le problème est en partie un problème de volonté politique, mais c’est aussi un défi technique. Il est déjà difficile de créer des systèmes capables de détecter les spams, les discours de haine et d’autres contenus indésirables dans toutes les langues du monde. Ce qui rend les choses plus difficiles est le fait que de nombreuses langues sont “à faibles ressources”, ce qui signifie qu’elles disposent de peu de données textuelles numérisées pour former des systèmes automatisés. Certaines de ces langues à faibles ressources ont des locuteurs et des internautes limités, mais d’autres, comme l’hindi et l’indonésien, sont parlées par des centaines de millions de personnes, multipliant les dommages causés par des systèmes errants. Même si les entreprises étaient prêtes à investir dans la création d’algorithmes individuels pour chaque type de contenu préjudiciable dans chaque langue, elles ne disposeraient peut-être pas de suffisamment de données pour faire fonctionner ces systèmes efficacement.

Une nouvelle technologie appelée “grands modèles linguistiques multilingues” a fondamentalement changé la façon dont les entreprises de médias sociaux abordent la modération de contenu. Les modèles linguistiques multilingues – comme nous le décrivons dans un nouvel article – sont similaires au GPT-4 et à d’autres grands modèles linguistiques (LLM), sauf qu’ils apprennent des règles linguistiques plus générales en s’entraînant sur des textes dans des dizaines ou des centaines de langues différentes. Ils sont conçus spécifiquement pour établir des liens entre les langues, leur permettant d’extrapoler à partir des langues pour lesquelles ils ont beaucoup de données d’entraînement, comme l’anglais, pour mieux gérer celles pour lesquelles ils ont moins de données d’entraînement, comme le bosniaque.

Ces modèles se sont avérés capables de tâches sémantiques et syntaxiques simples dans un large éventail de langues, comme l’analyse de la grammaire et l’analyse des sentiments, mais il n’est pas clair dans quelle mesure ils sont capables de la tâche beaucoup plus spécifique à la langue et au contexte de la modération de contenu, en particulier dans langues dans lesquelles ils sont à peine formés. Et en plus des articles de blog occasionnels d’auto-félicitations, les entreprises de médias sociaux ont révélé peu de choses sur le fonctionnement de leurs systèmes dans le monde réel.

Pourquoi le multilingue les modèles sont-ils moins capables d’identifier les contenus préjudiciables que ne le suggèrent les sociétés de médias sociaux ?

L’une des raisons est la qualité des données sur lesquelles ils s’entraînent, en particulier dans les langues à faibles ressources. Dans les grands ensembles de données textuelles souvent utilisés pour former des modèles multilingues, les langues les moins représentées sont également celles qui contiennent le plus souvent du texte offensant, pornographique, mal traduit automatiquement ou simplement du charabia. Les développeurs essaient parfois de compenser les données médiocres en comblant le vide avec du texte traduit par machine, mais encore une fois, cela signifie que le modèle aura toujours du mal à comprendre le langage tel que les gens le parlent réellement. Par exemple, si un modèle linguistique n’a été formé que sur du texte traduit automatiquement de l’anglais vers le cebuano, une langue parlée par 20 millions de personnes aux Philippines, le modèle peut ne pas avoir vu le terme « kuan », argot utilisé par les locuteurs natifs, mais celui qui n’a pas de terme comparable dans d’autres langues.

rewrite this content and keep HTML tags

Trois parties bosniaque texte. Treize pièces kurde. Cinquante-cinq parties swahili. Onze mille parties en anglais.

Cela fait partie de la recette des données du nouveau grand modèle linguistique de Facebook, qui, selon la société, est capable de détecter et de maîtriser les contenus préjudiciables dans plus de 100 langues. Bumble utilise une technologie similaire pour détecter les messages grossiers et indésirables dans au moins 15 langues. Google l’utilise pour tout, de la traduction au filtrage des sections de commentaires des journaux. Tous ont des recettes comparables et le même ingrédient dominant : des données en anglais.

Pendant des années, les entreprises de médias sociaux ont concentré leurs efforts de détection et de suppression automatiques de contenu davantage sur le contenu en anglais que sur les 7 000 autres langues du monde. Facebook a laissé près de 70 % de la désinformation Covid en italien et en espagnol non signalée, contre seulement 29 % de la désinformation similaire en anglais. Des documents divulgués révèlent que les messages en arabe sont régulièrement signalés à tort comme des discours de haine. La modération médiocre du contenu en langue locale a contribué aux violations des droits de l’homme, notamment le génocide au Myanmar, la violence ethnique en Éthiopie et la désinformation électorale au Brésil. À grande échelle, les décisions d’héberger, de rétrograder ou de retirer du contenu affectent directement les droits fondamentaux des personnes, en particulier ceux des personnes marginalisées qui n’ont que peu d’autres moyens de s’organiser ou de s’exprimer librement.

Le problème est en partie un problème de volonté politique, mais c’est aussi un défi technique. Il est déjà difficile de créer des systèmes capables de détecter les spams, les discours de haine et d’autres contenus indésirables dans toutes les langues du monde. Ce qui rend les choses plus difficiles est le fait que de nombreuses langues sont “à faibles ressources”, ce qui signifie qu’elles disposent de peu de données textuelles numérisées pour former des systèmes automatisés. Certaines de ces langues à faibles ressources ont des locuteurs et des internautes limités, mais d’autres, comme l’hindi et l’indonésien, sont parlées par des centaines de millions de personnes, multipliant les dommages causés par des systèmes errants. Même si les entreprises étaient prêtes à investir dans la création d’algorithmes individuels pour chaque type de contenu préjudiciable dans chaque langue, elles ne disposeraient peut-être pas de suffisamment de données pour faire fonctionner ces systèmes efficacement.

Une nouvelle technologie appelée “grands modèles linguistiques multilingues” a fondamentalement changé la façon dont les entreprises de médias sociaux abordent la modération de contenu. Les modèles linguistiques multilingues – comme nous le décrivons dans un nouvel article – sont similaires au GPT-4 et à d’autres grands modèles linguistiques (LLM), sauf qu’ils apprennent des règles linguistiques plus générales en s’entraînant sur des textes dans des dizaines ou des centaines de langues différentes. Ils sont conçus spécifiquement pour établir des liens entre les langues, leur permettant d’extrapoler à partir des langues pour lesquelles ils ont beaucoup de données d’entraînement, comme l’anglais, pour mieux gérer celles pour lesquelles ils ont moins de données d’entraînement, comme le bosniaque.

Ces modèles se sont avérés capables de tâches sémantiques et syntaxiques simples dans un large éventail de langues, comme l’analyse de la grammaire et l’analyse des sentiments, mais il n’est pas clair dans quelle mesure ils sont capables de la tâche beaucoup plus spécifique à la langue et au contexte de la modération de contenu, en particulier dans langues dans lesquelles ils sont à peine formés. Et en plus des articles de blog occasionnels d’auto-félicitations, les entreprises de médias sociaux ont révélé peu de choses sur le fonctionnement de leurs systèmes dans le monde réel.

Pourquoi le multilingue les modèles sont-ils moins capables d’identifier les contenus préjudiciables que ne le suggèrent les sociétés de médias sociaux ?

L’une des raisons est la qualité des données sur lesquelles ils s’entraînent, en particulier dans les langues à faibles ressources. Dans les grands ensembles de données textuelles souvent utilisés pour former des modèles multilingues, les langues les moins représentées sont également celles qui contiennent le plus souvent du texte offensant, pornographique, mal traduit automatiquement ou simplement du charabia. Les développeurs essaient parfois de compenser les données médiocres en comblant le vide avec du texte traduit par machine, mais encore une fois, cela signifie que le modèle aura toujours du mal à comprendre le langage tel que les gens le parlent réellement. Par exemple, si un modèle linguistique n’a été formé que sur du texte traduit automatiquement de l’anglais vers le cebuano, une langue parlée par 20 millions de personnes aux Philippines, le modèle peut ne pas avoir vu le terme « kuan », argot utilisé par les locuteurs natifs, mais celui qui n’a pas de terme comparable dans d’autres langues.

Laisser un commentaire