Le texte est-il vrai ou faux ? Faites la différence avec l’aide de la science

Les outils technologiques d’IA tels que ChatGPT font la une des journaux. De l’écriture de poésie dans un style rappelant l’Angleterre du XVIe siècle à la rédaction d’articles de recherche universitaires, les chatbots conçus pour les services du monde réel ne vont nulle part.

En fait, ces acteurs pas si mauvais ne feront que s’améliorer de plus en plus dans leur métier. Arrivera-t-on à ne pas se laisser berner par ces modèles de traitement du langage naturel qui deviennent un pilier de notre société ?

Trompez moi une fois

Une équipe de recherche de l’école d’ingénierie et de sciences appliquées de l’Université de Pennsylvanie aux États-Unis a mené la plus grande étude humaine jamais réalisée sur la détection de l’IA pour apporter son aide. Ils ont recueilli des données à partir du jeu de formation en ligne Real or Fake Text? créé par l’université elle-même.

Les résultats sont présentés dans un article lors d’une réunion de l’Association pour l’avancement de l’intelligence artificielle en février. L’étude a démontré que nous pouvons apprendre à détecter le texte écrit par l’homme et généré par la machine.

“Nous avons montré que les gens peuvent s’entraîner à reconnaître des textes générés par des machines”, a déclaré Chris Callison-Burch, professeur agrégé au Département d’informatique et des sciences de l’information (CIS) dans un article de presse. “Les gens commencent avec un certain ensemble d’hypothèses sur le type d’erreurs qu’une machine ferait, mais ces hypothèses ne sont pas nécessairement correctes. Au fil du temps, avec suffisamment d’exemples et d’instructions explicites, nous pouvons apprendre à détecter les types d’erreurs qui les machines fabriquent actuellement.”

Un peu de formation va un long chemin

“L’IA est aujourd’hui étonnamment bonne pour produire des textes très fluides et très grammaticaux”, a expliqué le co-auteur de l’étude, Liam Dugan, titulaire d’un doctorat. étudiant au CIS. “Mais il fait des erreurs. Nous prouvons que les machines font des types d’erreurs distincts – erreurs de bon sens, erreurs de pertinence, erreurs de raisonnement et erreurs logiques, par exemple – que nous pouvons apprendre à repérer.”

“Les gens s’inquiètent de l’IA pour des raisons valables”, a ajouté le professeur Callison-Burch, qui a dirigé la recherche. “Notre étude donne des éléments de preuve pour apaiser ces angoisses. Une fois que nous pourrons exploiter notre optimisme à propos des générateurs de texte IA, nous pourrons nous concentrer sur la capacité de ces outils à nous aider à écrire des textes plus imaginatifs et plus intéressants.”

“Mon sentiment pour le moment est que ces technologies sont les mieux adaptées à l’écriture créative”, a-t-il poursuivi. “Les reportages, les dissertations ou les conseils juridiques sont de mauvais cas d’utilisation car il n’y a aucune garantie de factualité.”

Dugan voit le positif dans tout cela : « Il y a des directions positives passionnantes dans lesquelles vous pouvez pousser cette technologie. Les gens sont obsédés par les exemples inquiétants, comme le plagiat et les fausses nouvelles, mais nous savons maintenant que nous pouvons nous entraîner à devenir de meilleurs lecteurs. et écrivains.”

Alors, à quel point êtes-vous bon ? Pour le savoir, jouez à l’une des quatre catégories du jeu (histoires courtes, articles de presse, recettes, discours présidentiels) contenant des milliers de textes ! Et rappelez-vous, tout en perfectionnant vos compétences en reconnaissance, vous contribuez également à la recherche universitaire.

L’étude est publiée sur le arXiv serveur de préimpression.