Comprendre · Le modèle de langage

Comment fonctionne un modèle de langage ? Ce que ChatGPT fait vraiment de votre question

Un modèle de langage comme celui qui fait tourner ChatGPT ne consulte pas un annuaire d’entreprises pour vous répondre. Il fabrique sa réponse morceau par morceau, en tirant chaque morceau au sort parmi les suites les plus probables du texte, à partir de ce qu’il a appris pendant son entraînement. C’est pourquoi il peut être très utile et, dans la même phrase, parfaitement sûr de lui en se trompant.

Cette page explique le mécanisme, sans jargon et sans raccourci. Chaque affirmation est soit une mécanique de base que nous énonçons telle quelle, soit un point documenté par les éditeurs eux-mêmes ou par la recherche publiée, avec la source en fin de page.

Que fait la machine, concrètement, quand je pose une question ?

Votre question n’entre pas dans la machine sous forme de mots. Elle est d’abord découpée en petits morceaux appelés jetons, ou tokens en anglais. Un jeton peut être un mot entier, un fragment de mot ou même un simple caractère. Anthropic indique que, pour ses modèles et pour l’anglais, un jeton représente environ 3,5 caractères. La documentation précise que ce nombre varie selon la langue ; nous ne le transposons donc pas au français.

Le modèle reçoit cette suite de jetons et produit une seule chose à la fois : le jeton suivant, tiré au sort parmi les suites les plus probables. Puis il recommence, en tenant compte du jeton qu’il vient d’écrire, et il recommence encore. Une réponse de trois cents mots est le résultat de plusieurs centaines de ces décisions enchaînées. La documentation d’Anthropic décrit exactement ce mécanisme pour la phase d’entraînement initiale : le modèle est pré-entraîné à prédire le mot suivant, à partir du texte qui précède dans le document.

Cette capacité repose sur des travaux publiés en 2017 par huit chercheurs, dans un article intitulé « Attention Is All You Need ». Cet article a introduit le transformeur, une architecture bâtie autour d’un mécanisme d’attention qui permet au modèle de peser l’importance relative de chaque partie du texte qu’il a sous les yeux. Le rapport technique de GPT-4, publié par OpenAI en 2023, décrit ce modèle comme fondé sur le transformeur et pré-entraîné à prédire le jeton suivant dans un document.

Ce que le modèle a « sous les yeux » porte un nom : la fenêtre de contexte. Anthropic la définit comme l’ensemble du texte que le modèle peut consulter pour produire sa réponse, réponse comprise, et précise qu’il s’agit d’une mémoire de travail, distincte du grand corpus sur lequel le modèle a été entraîné. Ce qui n’est pas dans cette fenêtre, le modèle ne peut pas le consulter : il ne lui reste que ce que son entraînement lui a laissé, sans pouvoir le relire ni le vérifier.

Pourquoi dit-on que ces modèles sont « génératifs » ?

Parce que la réponse est produite, et non retrouvée. Il n’y a pas, quelque part, une fiche préparée à l’avance que la machine irait chercher et vous afficher. Chaque phrase que vous lisez a été composée à l’instant, jeton après jeton, pour vous.

La conséquence est facile à observer vous-même : posez deux fois la même question ouverte, dans deux conversations neuves, et la formulation obtenue peut changer d’une fois à l’autre. Ce n’est pas un défaut, c’est la nature du procédé. Anthropic documente le paramètre qui gouverne cette variabilité, la température, et précise que même réglée au minimum, elle ne rend pas les résultats totalement déterministes : des entrées identiques peuvent produire des sorties différentes d’un appel à l’autre.

Deux fois la même question, deux réponses : qu’est-ce que cela change pour une entreprise ?

Une réponse d’IA est un tirage, pas un classement. Elle est composée au moment où la question est posée, elle peut différer à la question suivante, et elle n’existe nulle part sous la forme d’une liste stable que l’on pourrait consulter, acheter ou faire corriger.

Trois conséquences en découlent pour une entreprise. Une citation obtenue une fois ne prouve rien à elle seule : elle ne devient une information que si la même question est reposée et que chaque essai est daté. Une absence constatée une fois ne prouve rien non plus, pour la même raison. Et un chiffre annoncé sans la question exacte, sans la date et sans le nombre d’essais ne se vérifie pas. C’est la raison d’être des règles 03 et 07 de notre charte de mesure.

Reste la question que se pose tout dirigeant : quelqu’un pilote-t-il ce que la machine dit de mon entreprise ? Il n’existe pas de fiche à corriger. Un éditeur entraîne son modèle et encadre ses réponses, mais il ne décide pas ce que celui-ci dira de votre entreprise à la prochaine question : Anthropic documente pour ses propres modèles que des entrées identiques peuvent produire des sorties différentes d’un appel à l’autre. Aucun prestataire ne peut donc vous garantir d’être cité ; ce qu’il peut engager, c’est le travail et la mesure.

Pourquoi la machine peut-elle affirmer des choses fausses avec assurance ?

Parce que rien, dans le mécanisme décrit plus haut, ne vérifie quoi que ce soit. Le modèle compose une suite plausible du texte. Une suite plausible et une suite vraie ne sont pas la même chose, et le modèle ne dispose d’aucun moyen interne de les distinguer.

Il y a une seconde raison, moins intuitive et mieux documentée qu’on ne le croit. Une équipe comprenant des chercheurs d’OpenAI a publié en septembre 2025 un article intitulé « Why Language Models Hallucinate ». Sa thèse tient en une ligne : les procédures d’entraînement et d’évaluation récompensent le fait de deviner plutôt que le fait de reconnaître son incertitude. Un modèle évalué comme un candidat à un examen à choix multiples a intérêt à répondre au hasard plutôt qu’à laisser la case vide. Le ton assuré n’est donc pas un accident de surface, il est encouragé par la manière dont ces systèmes sont mesurés.

La réponse de l’industrie à ce problème est l’ancrage : faire chercher le modèle sur le web, puis lui faire composer sa réponse à partir des pages effectivement récupérées, avec les liens. OpenAI décrit son outil de recherche web comme permettant aux modèles d’accéder à des informations à jour et de fournir des réponses avec des citations sourcées, les citations en ligne étant présentes par défaut. Anthropic décrit le même principe pour Claude et précise que les citations de sources sont toujours activées pour la recherche web.

C’est là que le sujet cesse d’être théorique pour une entreprise : quand la machine cherche, elle ne peut reprendre que ce qu’elle trouve. Nous publions la méthode que nous employons pour mesurer ces réponses dans notre charte de mesure.

Qu’est-ce qu’un modèle de langage ne fait pas ?

Quatre malentendus reviennent souvent quand on parle de ces modèles avec un dirigeant. Voici ces quatre malentendus, chacun suivi de ce que le modèle fait réellement.

Il ne contient pas de base de données d’entreprises. Il n’existe pas de fiche « votre société » stockée dans le modèle et que l’on pourrait corriger. Ce que le modèle a retenu de vos activités, s’il a retenu quelque chose, est diffus dans ses paramètres et n’est pas consultable.
Il ne va pas systématiquement sur le web. La recherche est un outil, pas un réflexe. Anthropic écrit que Claude décide de chercher selon la demande, et qu’il répond directement, sans chercher, quand la question relève de connaissances stables. La même documentation range les prix courants et les informations sur des organisations ou des produits parmi les cas où le modèle cherche, et les faits établis parmi les cas où il répond directement.
Il ne raisonne pas sur votre cas comme le ferait un conseiller. Il n’y a personne derrière la réponse qui aurait un avis sur votre entreprise, une préférence pour vous ou pour votre concurrent, ni la conscience d’avoir raison ou tort au moment où il écrit.
Il ne connaît pas l’actualité par défaut. Son entraînement s’arrête à une date. Anthropic présente d’ailleurs la recherche web comme le moyen de répondre avec des informations à jour au-delà de cette date de coupure. Sans recherche, une nouveauté de la semaine dernière lui est invisible.

Retenir ces quatre limites suffit à écarter la plupart des promesses invérifiables que l’on entend sur le sujet.

Questions fréquentes

Est-ce que ChatGPT va lire mon site pour répondre ?

Seulement s’il déclenche une recherche, et seulement si votre page fait partie de ce que la recherche remonte. Quand il ne cherche pas, il répond de mémoire, et aucune page n’est consultée ni citée.

Pourquoi deux personnes obtiennent-elles deux réponses différentes à la même question ?

Parce que la réponse est générée à chaque fois. Anthropic précise que même à température nulle, des entrées identiques peuvent produire des sorties différentes. S’y ajoutent le compte, la mémoire de la conversation et la localisation.

Le modèle « connaît-il » mon entreprise ?

La question est mal posée. Il n’y a pas de fiche à consulter. Il y a des probabilités de texte apprises pendant l’entraînement, et, s’il cherche, des pages récupérées au moment de la réponse.

Qu’est-ce que la fenêtre de contexte, en une phrase ?

C’est la mémoire de travail du modèle : tout le texte qu’il peut consulter pour produire sa réponse, distinct du corpus sur lequel il a été entraîné.

Ce que décrit cette page vaut-il pour Claude, Gemini ou Perplexity ?

Le mécanisme de fond, découpage en jetons puis prédiction du suivant, est commun aux modèles de langage actuels. Nous ne citons ici que des documents que nous avons vérifiés, publiés par OpenAI, par Anthropic ou par la recherche, et nous n’avançons aucun chiffre relatif aux autres éditeurs.

Sources

Ashish Vaswani et al., « Attention Is All You Need », 2017, arXiv:1706.03762 : https://arxiv.org/abs/1706.03762. Article qui introduit l’architecture transformeur.
OpenAI, « GPT-4 Technical Report », mars 2023, arXiv:2303.08774 : https://arxiv.org/abs/2303.08774. Le résumé décrit GPT-4 comme un modèle fondé sur le transformeur et pré-entraîné à prédire le jeton suivant dans un document.
Anthropic, glossaire de la documentation : https://platform.claude.com/docs/en/about-claude/glossary. Définitions des jetons (environ 3,5 caractères anglais), du pré-entraînement à prédire le mot suivant, de la fenêtre de contexte et de la température.
Anthropic, « Context windows » : https://platform.claude.com/docs/en/build-with-claude/context-windows. La fenêtre de contexte comme mémoire de travail, distincte du corpus d’entraînement.
Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, « Why Language Models Hallucinate », 4 septembre 2025, arXiv:2509.04664 : https://arxiv.org/pdf/2509.04664. La première page de l’article porte les affiliations : OpenAI pour Kalai, Nachum et Zhang, Georgia Tech pour Vempala. Entraînement et évaluation récompensent le fait de deviner plutôt que de reconnaître son incertitude.
OpenAI, guide « Web search » : https://developers.openai.com/api/docs/guides/tools-web-search. Accès à des informations à jour et réponses avec citations sourcées, citations en ligne par défaut.
Anthropic, « Web search tool » : https://platform.claude.com/docs/en/agents-and-tools/tool-use/web-search-tool. Le modèle décide de chercher selon la demande, répond directement sur les connaissances stables, et les citations de sources sont toujours activées.

Toutes ces adresses ont été consultées et vérifiées le 16 août 2026.

Page publiée le 16 août 2026 ; mise à jour lorsque les faits changent.