ChatGPT se trompe souvent : comment vérifier ses réponses (prompt à copier, testé)

01Pourquoi ChatGPT a l’air sûr de lui quand il se trompe

En septembre 2025, trois chercheurs d’OpenAI et un chercheur de Georgia Tech ont publié Why Language Models Hallucinate. Leur explication est simple : les modèles sont entraînés et notés d’une façon qui récompense une réponse devinée avec assurance plus qu’un honnête « je ne sais pas ».

Les modèles de langage hallucinent parce que l’entraînement et l’évaluation récompensent le fait de deviner plutôt que de reconnaître l’incertitude.

Kalai, Nachum, Vempala et Zhang, arXiv, 4 septembre 2025 (notre traduction)

Demander « tu es sûr ? » dans la même conversation n’est donc pas une vraie vérification : l’IA n’a rien de nouveau à comparer. Une vraie vérification demande une source, et une preuve que vous pouvez voir.

02Notre test : une lettre, un résumé, trois affirmations

Nous avons écrit une lettre fictive d’une école sur une sortie de 4e année, puis un résumé « à la manière d’une IA ». Nous y avons glissé trois sortes d’affirmations : une juste, une avec la mauvaise date, et une que la lettre ne dit jamais. La lettre et le résumé sont fictifs. Les réponses ci-dessous sont réelles.

03Le prompt (à copier)

Vérifie la RÉPONSE ci-dessous en te basant uniquement sur la SOURCE ci-dessous.

1. Découpe la RÉPONSE en affirmations distinctes, un fait par ligne.
2. Donne une seule étiquette à chaque affirmation :
   VÉRIFIÉ = la SOURCE dit la même chose.
   FAUX = la SOURCE dit autre chose.
   INVÉRIFIABLE = la SOURCE n’en parle pas.
3. Pour chaque étiquette, cite les mots exacts de la SOURCE. Pas de citation, pas de VÉRIFIÉ.
4. Pour chaque affirmation FAUSSE, écris la version corrigée, à partir de la SOURCE seulement.
N’utilise aucune connaissance extérieure. N’ajoute aucun fait nouveau.
Réponds avec un tableau : Affirmation | Étiquette | Citation exacte de la SOURCE | Correction

RÉPONSE :
[COLLE LA RÉPONSE DE L’IA]

SOURCE :
[COLLE LA PAGE, LE COURRIEL OU LE DOCUMENT FIABLE]

1. 1
   Collez la réponse

   Copiez la réponse de l’IA sous RÉPONSE, telle quelle.

2. 2
   Collez la source

   Sous SOURCE, collez la page, le courriel ou le document fiable. Pas une autre réponse d’IA.

3. 3
   Lisez les étiquettes

   FAUX vient avec une correction. INVÉRIFIABLE veut dire que votre source n’en parle pas. VÉRIFIÉ vient avec une citation.

4. 4
   Retrouvez les citations vous-même

   Cherchez chaque citation dans votre source (Ctrl+F ou Cmd+F). Si vous ne la trouvez pas, ce n’est pas vérifié.

04Les vraies réponses (18 octobre 2026)

Nous avons envoyé le prompt exact, avec la lettre et le résumé, à deux modèles, dans une session neuve, sans accès au Web et sans mémoire.

Claude Opus 5.5 (nouvelle conversation, sans outils)

| Affirmation | Étiquette | Citation exacte de la SOURCE | Correction |
|---|---|---|---|
| La sortie de 4e année se fait au centre des sciences. | VÉRIFIÉ | « Nos classes de 4e année visiteront le centre des sciences » | — |
| La sortie a lieu le vendredi 30 octobre. | FAUX | « le jeudi 29 octobre » | La sortie a lieu le jeudi 29 octobre. |
| Le formulaire d'autorisation signé est à remettre au plus tard le lundi 26 octobre. | VÉRIFIÉ | « Merci de retourner le formulaire d'autorisation signé et 12 $ au plus tard le lundi 26 octobre. » | — |
| Les 12 $ sont à remettre au plus tard le lundi 26 octobre. | VÉRIFIÉ | « Merci de retourner le formulaire d'autorisation signé et 12 $ au plus tard le lundi 26 octobre. » | — |
| Les parents sont invités à accompagner le groupe comme bénévoles. | INVÉRIFIABLE | Aucune : la SOURCE ne parle ni de parents bénévoles ni d'accompagnateurs. | — (la SOURCE ne permet pas de corriger cette phrase ; il faut la retirer du résumé) |

GPT-6.1 par OpenAI Codex (pas l’application ChatGPT)

| Affirmation | Étiquette | Citation exacte de la SOURCE | Correction |
|---|---|---|---|
| Les classes de 4e année visiteront le centre des sciences. | VÉRIFIÉ | « Nos classes de 4e année visiteront le centre des sciences le jeudi 29 octobre. » | — |
| La sortie a lieu le vendredi 30 octobre. | FAUX | « Nos classes de 4e année visiteront le centre des sciences le jeudi 29 octobre. » | La sortie a lieu le jeudi 29 octobre. |
| Le formulaire d’autorisation signé est à remettre au plus tard le lundi 26 octobre. | VÉRIFIÉ | « Merci de retourner le formulaire d’autorisation signé et 12 $ au plus tard le lundi 26 octobre. » | — |
| Les 12 $ sont à remettre au plus tard le lundi 26 octobre. | VÉRIFIÉ | « Merci de retourner le formulaire d’autorisation signé et 12 $ au plus tard le lundi 26 octobre. » | — |
| Les parents sont invités à accompagner le groupe comme bénévoles. | INVÉRIFIABLE | Aucune citation disponible : la SOURCE ne parle pas de parents accompagnateurs. | — |

Les deux modèles ont tout repéré : la mauvaise date, avec la bonne citée ; l’échéance, vérifiée mot pour mot ; et la phrase sur les bénévoles, marquée INVÉRIFIABLE. Claude a découpé le résumé en cinq affirmations, GPT-6.1 aussi. Mêmes verdicts.

05Pas de document à coller ? Trouvez la source d’abord

1. 1
   Demandez les sources

   Demandez : « Pour chaque affirmation, donne-moi la source, avec un lien. »

2. 2
   Ouvrez chaque lien

   Un lien peut exister et ne pas dire ce que la réponse affirme.

3. 3
   Copiez le paragraphe

   Copiez le passage de la page qui compte.

4. 4
   Relancez le même prompt

   Collez ce passage comme SOURCE. Vous vérifiez maintenant la page, pas la mémoire de l’IA.

06Quand ça vaut deux minutes

Pas pour une idée de souper. Faites-le quand une réponse sert à quelque chose : une date dans votre agenda, un courriel que vous allez envoyer, un chiffre que vous allez répéter, tout ce sur quoi vous allez agir. Et lisez INVÉRIFIABLE comme « pas encore » : l’affirmation est peut-être vraie, mais votre source ne le dit pas. Vérifiez avant de vous en servir.

D’autres prompts testés, en français et en anglais : la bibliothèque de prompts de Lucarne.