Test ChatGPT : la méthode avant de lui faire confiance

Tester ChatGPT, dans la plupart des recherches, veut dire une chose précise : savoir si l’outil peut être réellement utile sur une tâche de travail, pas seulement s’il répond vite. Un seul échange qui semble correct ne le prouve pas — une réponse qui sonne juste et une réponse qui est juste ne sont pas la même chose, et ChatGPT ne signale jamais de lui-même laquelle des deux vous venez d’obtenir. Le test qui compte n’est donc pas « est-ce que ça marche », mais « est-ce que ça marche de façon fiable sur ma tâche, plusieurs fois ».

Trois tests simples avant de vous fier à un résultat

• —Le test de répétition : posez exactement la même question à deux moments différents. Une réponse qui change nettement d’une fois à l’autre, sur un point factuel, signale une base peu stable plutôt qu’une vraie certitude.
• —Le test de la réponse connue : demandez quelque chose dont vous connaissez déjà la bonne réponse — un chiffre de votre métier, une date de votre entreprise. Si l’outil se trompe sur un point que vous pouvez vérifier, méfiez-vous de la même confiance sur un point que vous ne pouvez pas vérifier.
• —Le test du détail piégeux : glissez un détail inhabituel ou une exception dans votre question, comme une date limite déjà passée ou un nom de produit qui n’existe pas. Un outil fiable sur cette tâche précise le signale, au lieu de construire une réponse autour d’un détail inventé.

Ces trois tests prennent dix minutes et en disent plus sur votre tâche réelle qu’un classement général trouvé en ligne — l’écart entre une réponse qui sonne juste et une réponse qui l’est vraiment continue d’être mesuré chaque année par les chercheurs, précisément parce qu’il ne se referme pas tout seul avec chaque nouvelle version.

Un exemple complet

Une gestionnaire de paie veut faire extraire par ChatGPT les montants d’une dizaine de notes de frais scannées, pour gagner du temps sur une saisie répétitive.

1. 01Premier test : elle fournit la même note de frais deux fois, à quelques minutes d’écart, et compare les montants extraits. Les deux résultats concordent — bon signe, mais encore insuffisant à lui seul.
2. 02Deuxième test : elle choisit une note de frais dont elle connaît déjà le montant total par cœur, et vérifie que le chiffre extrait correspond exactement, pas à un euro près.
3. 03Troisième test : elle glisse volontairement une note de frais avec une ligne barrée et un montant corrigé à la main, pour voir si l’outil repère la correction ou s’il prend le chiffre barré.
4. 04Elle ne généralise le processus à l’ensemble des notes de frais qu’après ces trois vérifications — et continue à faire relire un échantillon aléatoire chaque mois, pas seulement lors du premier test.

Un résultat qui sonne juste et un résultat qui est juste ne sont pas la même chose. Le test sert à ne jamais confondre les deux par habitude.

Ce qu’un seul essai ne révèle jamais

Un essai isolé ne dit rien sur la régularité dans le temps, ni sur ce qui se passe avec une variante légèrement différente de la même tâche — un document plus long, une écriture moins nette, un format inhabituel. Les lignes directrices de l’OCDE sur l’IA rappellent sur ce point un principe simple : la supervision humaine reste nécessaire quel que soit le nombre de tests déjà passés avec succès, pas seulement au début de l’utilisation d’un outil. La CNIL formule la même idée dans sa foire aux questions sur l’IA générative : un résultat convaincant à l’écran n’équivaut jamais à une vérification.

La qualité de la question posée pèse aussi dans le résultat du test lui-même. OpenAI explique, de façon générale pour ses modèles, qu’une instruction précise et détaillée donne une réponse plus fiable qu’une question vague — tester ChatGPT avec une question mal posée revient à tester la question, pas l’outil. Comment formuler une demande précise par tâche, avec des exemples concrets, est détaillé dans Que demander à ChatGPT.

À essayer dès lundi

1. 01Choisissez une tâche que vous faites déjà régulièrement, pas un exemple inventé pour l’occasion.
2. 02Posez la même question à deux moments différents et comparez les deux réponses sur les points factuels.
3. 03Glissez un détail que vous connaissez déjà, ou une exception inhabituelle, et vérifiez si l’outil la traite correctement.
4. 04Ne généralisez l’usage à toute la tâche qu’après ces vérifications, et gardez un échantillon relu régulièrement par la suite.

Pour une première prise en main structurée avant même d’en arriver au test, Comment utiliser ChatGPT détaille la méthode contexte-tâche-vérification pas à pas. Savoir reconnaître une vraie fiabilité plutôt qu’une impression de fiabilité est justement la compétence que le PwC AI Jobs Barometer associe à la prime salariale mesurée chez les profils qui maîtrisent ces outils. Si vous préférez apprendre cette méthode de façon structurée plutôt qu’en testant seul dans votre coin, Formation ChatGPT explique comment reconnaître une formation qui l’enseigne vraiment. Et si le résultat du test dépend surtout de la façon dont la question est posée, Comment parler à ChatGPT détaille ce qui change vraiment une réponse.

C’est exactement cette méthode — tester avant de généraliser, vérifier avant de vous fier — que Coursium fait pratiquer en petites leçons sur votre téléphone, sur des tâches réelles plutôt que des démonstrations. Gardez une longueur d’avance sur l’IA en commençant ici, ou lisez d’abord à propos de Coursium.