Peut-on se fier aux réponses d'une IA, et où se trompe-t-elle le plus ?

Un modèle de langage écrit la suite la plus probable d'un texte. Quand l'information est dans le texte qu'on lui donne, il la reformule ; quand elle n'y est pas, il la reconstitue à partir de ce qu'il a lu pendant son entraînement, et il peut écrire une réponse plausible et fausse. Les chercheurs appellent ces erreurs des « hallucinations ». Des chercheurs d'OpenAI et de Georgia Tech y voient, dans une prépublication, une conséquence de l'entraînement et des évaluations, qui récompensent une réponse devinée plutôt qu'un aveu d'ignorance. Le taux d'erreur dépend donc surtout de ce qu'on demande au modèle.

Résumer un texte fourni est l'usage le plus sûr. Le classement de Vectara fait résumer plus de 7 700 articles à chaque modèle, avec la consigne de n'utiliser que le texte, et compte les résumés qui ajoutent un fait absent : de 3 à 15 % pour la plupart des modèles courants. Les modèles qui raisonnent ne font pas mieux sur cet exercice : 18,6 % pour o4-mini, 23,3 % pour o3-pro.

Répondre avec une recherche sur le web donne les taux les plus bas publiés par OpenAI. Dans un échantillon de conversations réelles de ChatGPT, recherche activée, 4,5 % des affirmations de GPT-5 Thinking contiennent une erreur, mineure ou majeure, contre 9,6 % pour le modèle rapide de GPT-5 et 12,9 % pour GPT-4o. De 4,8 % (GPT-5 Thinking) à 20,6 % (GPT-4o) des réponses contiennent au moins une erreur majeure. Ces taux sont notés par un autre modèle, qui vérifie chaque affirmation sur le web, et publiés par l'éditeur sur ses propres modèles.

Répondre de mémoire à une question précise est moins sûr. Le test SimpleQA d'OpenAI pose environ 4 000 questions factuelles à réponse courte. Sans recherche, GPT-5 Thinking répond faux à 40 % des questions, le modèle rapide de GPT-5 à 47 %, GPT-4o à 52 %. Un modèle qui dit qu'il ne sait pas fait baisser ce taux : une question sans réponse ne compte pas comme une erreur. gpt-5-thinking-mini descend ainsi à 26 % en s'abstenant sur la moitié des questions.

L'actualité et les sources sont les plus fragiles. L'Union européenne de radio-télévision et 22 médias de service public de 18 pays ont évalué plus de 3 000 réponses de ChatGPT, Copilot, Gemini et Perplexity à des questions sur l'actualité, en 14 langues : près de la moitié des réponses avaient au moins un problème important, un tiers environ un grave problème de sources, un cinquième un grave problème d'exactitude, dont des informations dépassées. Le Tow Center de l'université Columbia a demandé à 8 moteurs de recherche par IA de retrouver le titre, l'éditeur, la date et l'adresse d'articles à partir d'un extrait : plus de 60 % des réponses étaient incorrectes, de 37 % pour Perplexity à 94 % pour Grok 3. Les assistants testés dans ces 2 études cherchaient sur le web : la recherche ne suffit pas quand la question porte sur l'actualité ou sur une source précise.

Des sources inventées ou cassées. Dans le test du Tow Center, plus de la moitié des réponses de Gemini et de Grok 3 citaient des adresses inventées ou mortes ; 154 citations de Grok 3 sur 200 menaient à une page d'erreur. Demander ses sources à une IA ne suffit donc pas : il faut ouvrir les liens.

Des références qui n'existent pas. La base tenue par Damien Charlotin, chercheur à HEC Paris, recense 2 292 décisions de justice au 12 novembre 2026 où le tribunal a relevé, ou soupçonné, des contenus inventés par une IA dans les écritures d'une partie, le plus souvent des jurisprudences ou des citations qui n'existent pas. Ce décompte des cas découverts ne donne pas de taux.

Des informations dépassées. Un modèle ne sait que ce qu'il a lu avant la fin de son entraînement ; sans recherche, il répond sur l'actualité avec des faits anciens, une des causes des erreurs d'exactitude relevées par l'UER.

Ce qui les fait baisser. La recherche sur le web, quand on la compare sur une même épreuve. Sur des biographies de personnalités (FActScore), la part d'affirmations erronées de GPT-5 Thinking passe de 3,7 % sans recherche à 1,0 % avec, et celle d'o3 de 24,2 % à 5,7 %, d'après la fiche de GPT-5. Aucune mesure publique trouvée ne compare les mêmes questions avec et sans texte fourni. Dans la même fiche, GPT-5 Thinking fait 2 fois moins d'affirmations erronées que le modèle rapide de GPT-5, 4,5 % contre 9,6 % ; ce sont 2 modèles différents, et o3, qui raisonne aussi, en fait 12,7 %, autant que GPT-4o.

Ce qui les fait monter. Les questions de connaissance sur des personnes : sur le test PersonQA d'OpenAI, o1 a un taux d'hallucination de 16 %, o3 de 33 %, o4-mini de 48 %. OpenAI note que les petits modèles connaissent moins de choses et se trompent davantage sur ces questions, et que o3, qui fait plus d'affirmations, en fait plus de justes et plus de fausses ; le raisonnement ne réduit donc pas les erreurs dans tous les cas. Sur le résumé, l'effet de la taille s'inverse : chez OpenAI, le plus petit modèle de la famille GPT-5.4 fait 3,1 % de résumés erronés et le plus grand 8,3 % (Vectara).

Le raisonnement a aussi un coût en électricité : un modèle qui raisonne écrit un brouillon caché avant de répondre ; notre explication dit pourquoi cela consomme davantage, et notre analyse sur le choix du modèle met la fiabilité et la consommation en regard, tâche par tâche.