Logiciel de détection de contenu IA : peuvent-ils détecter ChatGPT ?

Nous vivons à une époque où les technologies d’intelligence artificielle sont en plein essor et le monde a été pris d’assaut avec l’introduction de ChatGPT.

ChatGPT est capable d’accomplir un large éventail de tâches, mais celle qu’il fait particulièrement bien est la rédaction d’articles. Et bien qu’il y ait de nombreux avantages évidents à cela, cela présente également un certain nombre de défis.

À mon avis, le plus grand obstacle que pose le contenu écrit généré par l’IA pour l’industrie de l’édition est la diffusion de désinformation.

ChatGPT, ou tout autre outil d’IA, peut générer des articles qui peuvent contenir des erreurs factuelles ou qui sont tout simplement incorrects.

Imaginez quelqu’un qui n’a aucune expertise en médecine créant un blog médical et utilisant ChatGPT pour écrire du contenu pour ses articles.

Leur contenu peut contenir des erreurs qui ne peuvent être identifiées que par des médecins professionnels. Et si le contenu de ce blog commence à se répandre sur les réseaux sociaux, ou peut-être même se classe dans la recherche, cela pourrait nuire aux personnes qui le lisent et suivent des conseils médicaux erronés.

Un autre défi potentiel que pose ChatGPT est de savoir comment les étudiants pourraient l’exploiter dans leur travail écrit.

Si l’on peut écrire un essai simplement en exécutant une invite (et sans avoir à faire de travail réel), cela diminue considérablement la qualité de l’éducation – car apprendre un sujet et exprimer ses propres idées est la clé de la rédaction d’un essai.

Même avant l’introduction de ChatGPT, de nombreux éditeurs généraient déjà du contenu à l’aide de l’IA. Et si certains le divulguent honnêtement, d’autres non.

En outre, Google a récemment modifié sa formulation concernant le contenu généré par l’IA, de sorte qu’il n’est pas nécessairement contraire aux directives de l’entreprise.

Nous n'avons pas dit que le contenu de l'IA était mauvais de Danny SullivanImage de Twitter, novembre 2022

C’est pourquoi j’ai décidé d’essayer les outils existants pour comprendre où en est l’industrie technologique lorsqu’il s’agit de détecter le contenu généré par ChatGPT, ou l’IA en général.

J’ai exécuté les invites suivantes dans ChatGPT pour générer du contenu écrit, puis j’ai exécuté ces réponses via différents outils de détection.

  • « Qu’est-ce que le référencement local ? Pourquoi est-ce important ? Meilleures pratiques de référencement local.
  • “Écrivez un essai sur l’invasion de l’Égypte par Napoléon Bonaparte.”
  • “Quelles sont les principales différences entre l’iPhone et le Samsung Galaxy ?”

Voici comment chaque outil a fonctionné.

1. Writer.com

Pour la réponse de la première invite, Writer.com échoue, identifiant le contenu de ChatGPT comme étant à 94 % généré par l’homme.

Résultats de Writer.comCapture d’écran de writer.com, janvier 2023

Pour la deuxième invite, cela a fonctionné et l’a détecté comme un contenu écrit par l’IA.

Résultat du test Writer.comCapture d’écran de writer.com, janvier 2023

Pour la troisième invite, cela a de nouveau échoué.

Exemple de résultatCapture d’écran de writer.com, janvier 2023

Cependant, lorsque j’ai testé du vrai texte écrit par l’homme, Writer.com l’a identifié comme étant 100% généré par l’homme avec beaucoup de précision.

2. Fuites de copie

Copyleaks a fait un excellent travail en détectant les trois invites comme écrites par l’IA.

Exemple de résultatCapture d’écran de Copyleaks, janvier 2023

3. Contentatscale.ai

Contentatscale.ai a fait un excellent travail en détectant les trois invites comme écrites par l’IA, même si la première invite a donné un score humain de 21 %.

Contentscale.aiCapture d’écran de Contentscale.ai, janvier 2023

4. Originalité.ai

Originality.ai a fait un excellent travail sur les trois invites, les détectant avec précision comme écrites par l’IA.

De plus, lorsque j’ai vérifié avec du vrai texte écrit par l’homme, il l’a identifié comme étant 100% généré par l’homme, ce qui est essentiel.

Originalité.aiCapture d’écran de Originality.ai, janvier 2023

Vous remarquerez que Originality.ai ne détecte aucun problème de plagiat. Cela pourrait changer à l’avenir.

Au fil du temps, les gens utiliseront les mêmes invites pour générer du contenu écrit par l’IA, ce qui entraînera probablement un certain nombre de réponses très similaires. Lorsque ces articles seront publiés, ils seront alors détectés par des outils anti-plagiat.

5. GPTZéro

Cet outil non commercial a été créé par Edward Tian et spécialement conçu pour détecter les articles générés par ChatGPT. Et c’est exactement ce qu’il a fait pour les trois invites, en les reconnaissant comme générées par l’IA.

GPTZéroCapture d’écran de GPTZero, janvier 2023

Contrairement à d’autres outils, il donne une analyse plus détaillée des problèmes détectés, comme les analyses phrase par phrase.

phrase par phrase texte perplexitéCapture d’écran de GPTZero, janvier 2023

Classificateur de texte IA d’OpenAI

Et enfin, voyons comment OpenAi détecte ses propres réponses générées.

Pour les 1ère et 3ème invites, il a détecté qu’une IA est impliquée en la classant comme “probablement générée par une IA”.

Classificateur de texte IA.  Probablement généré par l'IAClassificateur de texte IA. Probablement généré par l’IA

Mais étonnamment, il a échoué pour la 2e invite et l’a classé comme “peu probable généré par l’IA”. J’ai joué avec différentes invites et j’ai constaté que, pour le moment, lors de la vérification, peu des outils ci-dessus détectent le contenu de l’IA avec une plus grande précision que le propre outil d’OpenAi.

Classificateur de texte IA.  Généré par l'IA peu probableClassificateur de texte IA. Généré par l’IA peu probable

Au moment de cette vérification, ils l’avaient sorti la veille. Je pense qu’à l’avenir, ils l’affineront et cela fonctionnera beaucoup mieux.

Conclusion

Les outils de génération de contenu IA actuels sont en bon état et sont capables de détecter le contenu généré par ChatGPT (avec plus ou moins de succès).

Il est toujours possible pour quelqu’un de générer une copie via ChatGPT, puis de la paraphraser pour la rendre indétectable, mais cela peut nécessiter presque autant de travail que d’écrire à partir de zéro – les avantages ne sont donc pas aussi immédiats.

Si vous envisagez de classer un article dans Google écrit par ChatGPT, réfléchissez un instant : si les outils que nous avons examinés ci-dessus étaient capables de les reconnaître comme générés par l’IA, alors pour Google, les détecter devrait être un jeu d’enfant.

En plus de cela, Google dispose d’évaluateurs de qualité qui entraîneront leur système à reconnaître encore mieux les articles écrits par l’IA en les marquant manuellement au fur et à mesure qu’ils les trouvent.

Donc, mon conseil serait de ne pas construire votre stratégie de contenu sur le contenu généré par ChatGPT, mais de l’utiliser simplement comme un outil d’assistance.

Davantage de ressources:


Image en vedette : /Shutterstock

Laisser un commentaire