Détecteur IA : ce qu’il mesure vraiment, et ses limites

Un détecteur IA ne lit pas une signature cachée dans le texte — il n’y en a pas. Il mesure des régularités statistiques : la variation de longueur des phrases, la prévisibilité du mot suivant, la répétition de certaines tournures. Un modèle de langage produit ces régularités plus souvent qu’un auteur humain, en moyenne. « En moyenne » est le mot qui manque dans la plupart des présentations de ces outils, et c’est exactement là que les erreurs commencent.

Ce qu’un score veut dire — et ce qu’il ne veut pas dire

• —Un score de 80 % ne signifie pas que 80 % du texte est généré. Il signifie que l’outil estime, avec une marge d’erreur rarement publiée, qu’une rédaction par IA est probable.
• —Deux outils différents donnent souvent deux scores différents pour le même texte, parce qu’ils ont été entraînés sur des échantillons différents.
• —Le score répond à « ce texte ressemble-t-il statistiquement à une sortie de modèle ? », jamais à « qui l’a écrit ? ». Les deux questions se ressemblent, mais seule la première a une réponse fiable.

Les deux erreurs, et pourquoi elles ne se compensent pas

Un détecteur se trompe dans deux directions, pas une seule. Le faux positif : un texte humain très structuré, écrit dans une langue seconde, ou simplement sobre, peut recevoir un score élevé sans avoir été généré — l’outil réagit à des régularités, pas à une preuve d’origine. Le faux négatif : un texte généré puis retravaillé à la main, même légèrement, passe souvent sans alerte, parce que la retouche brise exactement les régularités que l’outil cherche.

Ces deux erreurs ne se compensent pas : réduire l’une tend à augmenter l’autre, selon le seuil choisi par l’outil. Aucun détecteur gratuit ne publie une marge d’erreur assez précise pour fonder seul une décision qui a une vraie conséquence pour quelqu’un.

Un exemple de bout en bout

Situation : un recruteur reçoit cinquante lettres de motivation et utilise un détecteur gratuit pour écarter celles jugées « trop IA ». Usage faible : coller chaque lettre, retenir toute lettre sous un certain score, écarter le reste sans autre vérification. Résultat probable : des candidats qui écrivent naturellement de façon structurée, ou qui ne sont pas francophones de naissance, sont écartés à tort — exactement le profil que ces outils signalent le plus souvent par erreur.

Usage complet : traiter le score comme un indice de tri parmi d’autres, jamais comme un motif d’exclusion automatique. Pour les lettres au score élevé, chercher un second indice avant toute décision — un entretien téléphonique de cinq minutes révèle en général plus qu’un score sur la capacité réelle de la personne. Le score déclenche une vérification ; il ne la remplace pas.

Un détecteur IA pose une question statistique. La question qu’on veut vraiment poser — cette personne sait-elle faire le travail ? — n’a jamais été celle-là.

À quoi ces outils servent, honnêtement

Utile : un premier tri grossier sur un très grand volume, suivi d’une vérification humaine sur les cas signalés — jamais une décision finale basée sur le score seul. Utile aussi : repérer un changement brusque de style chez une personne dont vous connaissez déjà l’écriture habituelle, ce qui est un signal plus fiable que le score d’un outil générique.

Pas utile : une sanction académique, un refus de recrutement ou toute décision disciplinaire fondée sur un seul score, sans second indice. Les recommandations de l’ANSSI posent le même principe pour tout système automatisé : un résultat produit par un outil reste une ébauche à vérifier, pas une donnée déjà validée. La CNIL rappelle, pour l’IA générative en général, que la vérification humaine fait partie de l’usage responsable — une règle qui s’applique tout autant à l’outil qui prétend détecter cette même IA.

À quelle vitesse les modèles génératifs changent de version, le Stanford AI Index le documente chaque année — et chaque nouvelle génération oblige les détecteurs à se recalibrer, ce qui explique qu’un même score, obtenu à six mois d’écart, ne mesure pas tout à fait la même chose. Combien d’entreprises utilisent déjà ce type d’outil au quotidien, le baromètre France Num le mesure chaque année, sans distinguer un usage prudent d’un usage qui traite un score comme une preuve.

Savoir lire un score sans le confondre avec une preuve fait partie des compétences que le marché valorise déjà : le PwC AI Jobs Barometer observe une prime salariale précisément pour les personnes capables de distinguer ce qu’un outil mesure réellement de ce qu’il semble mesurer.

Ce que vous pouvez essayer lundi

1. 01Avant d’utiliser un score pour exclure quelqu’un ou quelque chose, demandez-vous quelle serait la conséquence d’un faux positif — et si elle est acceptable.
2. 02Ne retenez jamais un seuil unique comme règle automatique ; traitez un score élevé comme un signal à vérifier, pas comme une conclusion.
3. 03Cherchez un second indice indépendant du score — un historique d’écriture connu, un entretien, une version antérieure du document.
4. 04Si le résultat a une vraie conséquence pour une personne, documentez pourquoi vous l’avez retenu au-delà du seul score.

Si le document à analyser est un PDF plutôt qu’un texte collé, Détecteur IA gratuit PDF détaille l’étape supplémentaire d’extraction et ses propres pièges. Dans un contexte de mémoire ou de thèse, Étude IA applique la même exigence de vérification à un travail de recherche. Si le besoin inverse se pose — écrire une lettre de motivation qui ne sonne pas comme un brouillon généré — Lettre de motivation IA détaille comment partir d’informations réelles plutôt que d’un prompt vague. Et pour reconnaître ce qui trahit vraiment un texte généré, au-delà du score d’un outil, Humaniser un texte IA détaille les indices qui comptent davantage.

Cette même discipline — ne jamais confondre un score plausible avec une preuve — est ce que Coursium enseigne en leçons courtes sur mobile. Gardez une longueur d’avance sur l’IA avec des exercices construits sur de vraies tâches plutôt que sur des démonstrations. Plus de détails à propos de Coursium.