Ce que mesure un détecteur
Un détecteur n'a accès ni à ton historique, ni à une éventuelle conversation avec ChatGPT. Il analyse seulement le texte final. Trois grandes méthodes existent :
- La prévisibilité (perplexité). Un modèle de langage estime à quel point chaque mot était attendu. Un texte très prévisible ressemble à ce qu'une IA aurait produit. Le problème : un texte scolaire, juridique ou simplement clair est lui aussi prévisible.
- La variation (burstiness). Les humains alternent phrases courtes et longues, les IA écrivent de façon plus homogène. GPTZero, qui a popularisé ces deux mesures, explique ne plus s'appuyer uniquement sur elles depuis 2023.
- Les classifieurs. Des modèles entraînés à distinguer des textes humains de textes d'IA. Ils fonctionnent sur des textes proches de leurs données d'entraînement, beaucoup moins sur les autres : nouveaux modèles, autres langues, textes retouchés.
Il existe aussi des filigranes : des marques statistiques que le modèle glisse volontairement dans ses textes. Ils ne marchent que si l'éditeur du modèle les active, et des reformulations successives suffisent souvent à les effacer.
Ce que disent les études
Une limite théorique
Des chercheurs de l'université du Maryland ont montré qu'une paraphrase répétée fait chuter tous les types de détecteurs, filigranes compris. Ils relient aussi mathématiquement la performance du meilleur détecteur possible à l'écart entre textes humains et textes d'IA : plus les IA écrivent comme nous, plus la détection se rapproche du hasard.
Le biais contre les non-natifs, un débat ouvert
En 2023, une équipe de Stanford a montré que des détecteurs courants classaient comme « IA » plus de la moitié des rédactions d'étudiants non anglophones (examen TOEFL). Ce biais est discuté : en 2026, une étude sur le tchèque ne le retrouve pas avec des détecteurs plus récents. Le risque reste à surveiller, surtout pour les textes au vocabulaire simple.
Des universités renoncent
L'université de Waterloo, au Canada, a désactivé en septembre 2025 la détection d'IA de Turnitin. Ses raisons : un outil jugé peu fiable, biaisé envers les étudiants dont l'anglais n'est pas la langue maternelle, et qui a classé « à 100 % IA » des textes écrits par des humains. Elle préfère consacrer ce temps à l'enseignement plutôt qu'à la surveillance.
Même les éditeurs de Wikipédia, qui traquent les textes générés au quotidien, rappellent que les signes d'écriture IA ne prouvent rien à eux seuls et que des outils comme GPTZero ont des taux d'erreur non négligeables.
Les pièges classiques
Les faux positifs : un humain accusé à tort
- Les textes formels. Le style d'un arrêt, d'une fiche de cours ou d'un rapport administratif est régulier et prévisible. L'exemple de la Déclaration des droits de l'homme de 1789, sur la page d'accueil, le montre.
- La méthodologie scolaire. La dissertation juridique pousse à enchaîner les connecteurs (« En outre », « Par ailleurs »), à annoncer un plan et à conclure en résumant. Exactement ce que font les IA.
- Les textes relus par un outil. Un correcteur ou un outil de reformulation efface les fautes et lisse les phrases, ce qui fait disparaître des signes humains.
- Les textes courts. Sous une centaine de mots, il n'y a pas assez d'indices pour conclure quoi que ce soit.
Les faux négatifs : une IA qui passe
- Un texte d'IA reformulé à la main, traduit ou passé dans un outil dit « humaniseur » échappe souvent aux détecteurs.
- Une IA à qui l'on demande d'écrire « comme un étudiant », avec quelques fautes, trompe aussi les indices stylistiques.
Les textes mélangés
Beaucoup de textes sont co-écrits : un plan proposé par une IA, des paragraphes rédigés à la main, une relecture automatique. Un score global ne dit pas quelle partie vient de qui.
Une cible qui bouge
Les tics d'écriture changent avec les modèles. Le guide de Wikipédia note que le fameux « delve » de ChatGPT a reculé à partir de 2025. Un détecteur réglé sur les modèles d'hier rate ceux d'aujourd'hui.
Et ce site ?
Ce détecteur n'échappe pas à ces limites. Il combine 19 indices stylistiques, tirés du guide de Wikipédia et d'études sur le vocabulaire des IA, avec l'avis d'un modèle de langage (Llama 3.3 70B) qui n'est pas un détecteur spécialisé. Ses réglages ont été calibrés sur un petit nombre de textes, pas validés sur des milliers d'exemples.
C'est pour cela qu'il affiche une fourchette d'incertitude, qu'il ne dit jamais 0 ni 100, qu'il signale quand ses deux analyses se contredisent et qu'il explique chaque indice. Tu peux ainsi vérifier toi-même, phrase par phrase, ce qui a pesé dans le résultat.
Que faire à la place ?
- Pour un enseignant : discuter du texte avec son auteur, lui demander d'expliquer son raisonnement à l'oral, regarder ses brouillons. Les chercheurs recommandent de n'utiliser les détecteurs que de façon non punitive, comme point de départ d'une discussion.
- Pour un étudiant : garde l'historique des versions de tes documents (Word, Google Docs), tes brouillons et tes notes de recherche. C'est ta meilleure protection. Si l'on t'accuse, lis la page Tes droits.
- Pour tout le monde : un signe d'écriture IA n'est pas une preuve, un score de détecteur non plus.
Sources
- OpenAI (2023), New AI classifier for indicating AI-written text, note de retrait du 20 juillet 2023
- Perkins et al. (2024), GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education
- Weber-Wulff et al. (2023), Testing of Detection Tools for AI-Generated Text
- Dugan et al. (2024), RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors, ACL 2024
- Sadasivan et al. (2023, révisé en 2024), Can AI-Generated Text be Reliably Detected?
- Liang et al. (2023), GPT detectors are biased against non-native English writers
- Al Ali, Helcl et Libovický (2026), Different Time, Different Language: Revisiting the Bias Against Non-Native Speakers in GPT Detectors
- University of Waterloo (2025), Discontinuing use of AI detection functionality in Turnitin
- GPTZero, Perplexity and burstiness: what is it?
- Wikipédia (anglais), Signs of AI writing, WikiProject AI Cleanup