Comprendre · Les chiffres de visibilité IA

Que valent les chiffres de visibilité IA ? Ce que mesurent vraiment les outils du marché, et le nôtre

Un chiffre de visibilité IA ne décrit jamais votre entreprise : il décrit une procédure de mesure, et il ne vaut que ce que vaut cette procédure. Deux études honnêtes peuvent donc annoncer des résultats très éloignés sans qu’aucune des deux ne se trompe, simplement parce qu’elles n’ont pas mesuré le même objet. Cette page explique comment lire ces chiffres, y compris les nôtres, et quelles questions poser avant de payer pour l’un d’eux.

Nous écrivons cette page parce que nous vendons de la mesure. Un lecteur a donc le droit de nous suspecter, et la seule réponse acceptable consiste à publier la méthode, les limites et les sources, puis à le laisser juger. Chaque adresse citée ici a été ouverte et vérifiée pendant la rédaction.

Que mesure exactement un outil de visibilité IA ?

Quand un outil vous annonce une « visibilité IA » de 42, il a pris au moins quatre décisions à votre place, et aucune des quatre n’est neutre.

La première décision porte sur la surface interrogée. Un moteur de réponse s’atteint par plusieurs portes : l’application que votre client utilise dans son navigateur, une interface de programmation, c’est-à-dire le canal technique par lequel un logiciel s’adresse au moteur sans passer par cet écran, ou encore les outils en ligne de commande que les éditeurs distribuent eux-mêmes. Ces portes ne donnent pas les mêmes réponses, et la section suivante montre à quel point l’écart peut être large.

La deuxième décision porte sur les questions. Trente questions d’achat ne mesurent pas la même chose que trente questions de conseil. Lors de notre relevé de la nuit du 14 au 15 août 2026, l’application ChatGPT n’a déclenché une recherche web que sur 11 des 30 questions posées : sur les 19 autres, elle a répondu de mémoire, sans citer personne, ni nous, ni un concurrent. Un outil qui choisit surtout des questions où le moteur ne cherche pas mesurera surtout des zéros, et un outil qui choisit surtout des questions d’achat mesurera surtout des citations. Les deux auront raison, et aucun ne vous aura renseigné.

La troisième décision porte sur le nombre d’essais. Une réponse d’IA est un tirage, pas un classement : la même question posée deux fois peut donner deux réponses différentes. Un chiffre obtenu en un seul passage n’est donc pas une mesure, c’est un échantillon de taille un.

La quatrième décision porte sur ce que l’on accepte d’appeler une citation. Être utilisé comme source, être nommé au passage dans le texte et être recommandé à un acheteur sont trois situations distinctes, que la règle 05 de notre charte de mesure oblige à séparer. Un outil qui les additionne produit mécaniquement un chiffre plus flatteur qu’un outil qui les distingue.

Ces quatre décisions se lisent dans le dénominateur, et c’est pour cette raison que nous publions toujours le nôtre. Dans notre diagnostic public de Real French, le même résultat s’écrit de deux façons : 6 réponses sur 270, et 4 combinaisons question par moteur sur 90. Les deux fractions décrivent la même mesure, elles ne racontent pas la même histoire, et un chiffre unique sans son dénominateur ne se vérifie pas.

Une étude anglophone conclut que l’interface de programmation et l’application sont deux moteurs différents : que répondons-nous ?

Le 13 août 2026, la société parisienne H Company a publié une étude signée Antonio Ventura, intitulée « Learning From the User : GEO Using Computer-Use Agents vs. API limitations ». Elle compare, sur 30 questions d’achat réelles et plusieurs passages par question, ce que renvoie l’interface de programmation d’OpenAI avec sa recherche web et ce que montre l’application ChatGPT à un utilisateur.

Ses résultats méritent d’être lus entiers. Environ 18 % des produits mis en avant par l’application se retrouvent dans les réponses de l’interface de programmation, soit moins d’un sur cinq. Le recouvrement des liens cités tombe à environ 2,5 %, alors même que l’interface de programmation cite à peu près deux fois plus de liens et propose plus de produits par question, 6,2 contre 3,6 en moyenne. Les sources ne sont pas non plus du même genre : du côté de l’interface de programmation, près de 78 % des preuves viennent de contenus éditoriaux tiers, quand l’application puise davantage dans les sites de marque et dans les discussions de communauté. Les auteurs concluent en une phrase que nous reproduisons dans leur langue : « API and UI behaved like two different web research engines, with different retrieval behavior and meaningfully different evidence pools ».

Sur son terrain, cette étude a raison, et nous n’avons aucune envie de l’atténuer. Elle établit un fait que beaucoup d’acheteurs ignorent : brancher un outil sur une interface de programmation et présenter le résultat comme « ce que ChatGPT montre à vos clients » est une équivalence que personne n’avait vérifiée, et qui ne tient pas sur les questions d’achat testées par cette étude. Un lecteur qui s’apprête à s’abonner à un outil de suivi devrait la lire avant de signer.

Voici ce qu’elle ne dit pas, et il faut le dire aussi précisément. Elle compare deux surfaces : l’interface de programmation et l’application. Elle ne compare pas les outils en ligne de commande que les éditeurs distribuent eux-mêmes, qui forment une troisième porte, et par lesquels passent nos propres relevés. Aucun éditeur ne documente publiquement si la recherche web de son outil en ligne de commande partage l’infrastructure de son application ; nous ne le savons donc pas plus qu’un autre, et nous nous garderons d’affirmer que ce résultat ne nous concerne pas.

Ce que nous avons fait, c’est mesurer le résultat au lieu d’en débattre. Dans la nuit du 14 au 15 août 2026, nous avons posé les 30 questions figées du diagnostic Real French des deux côtés, la même nuit : un humain dans l’application ChatGPT, et notre instrument de relevé. Les deux surfaces ont rendu le même verdict de présence sur 30 questions sur 30. Le protocole, la divergence unique, les limites et les preuves sont publiés dans notre étude de concordance, et le relevé sera rejoué chaque trimestre.

Les deux résultats sont vrais ensemble, et la section suivante explique pourquoi. Nous ajoutons une précaution qui vaut dans les deux sens : H Company vend une plateforme de mesure par agents, et nous vendons de la mesure. Aucune des deux maisons n’est un tiers neutre, et c’est précisément pour cette raison qu’il faut juger chaque étude sur sa méthode publiée plutôt que sur sa conclusion.

Comment deux mesures honnêtes peuvent-elles donner trente sur trente et dix-huit pour cent ?

Parce qu’elles ne comptent pas la même chose. Une seule différence produit tout l’écart, et elle se comprend sans statistiques savantes.

H Company mesure un recouvrement entre deux listes. Prenez la liste des produits recommandés par l’application, prenez celle de l’interface de programmation, et regardez quelle proportion se retrouve dans les deux. C’est une mesure fine, et elle est sévère par construction : il suffit que la seconde liste propose d’autres marques, ou d’autres articles de comparaison, pour que le recouvrement s’effondre. Les auteurs ont d’ailleurs utilisé une mesure de ce type, la similarité de Jaccard, pour évaluer la stabilité de leurs propres passages.

Notre relevé mesure autre chose : un verdict de présence, pour une seule marque nommée, question par question. Real French est-elle citée en source, mentionnée dans le texte, ou absente ? La réponse tient en un mot, et les deux surfaces ont donné le même mot trente fois de suite. Deux moteurs peuvent parfaitement citer des sites entièrement différents et s’accorder à dire que votre entreprise n’y figure pas.

Prenez une question où l’application cite huit sources et notre instrument huit autres sources, sans aucune en commun. Le recouvrement vaut zéro, et le verdict de présence est identique des deux côtés, puisque la marque cherchée est absente des seize sources. Le même relevé produit donc 0 % et 100 % d’accord selon la question posée aux données. Un lecteur qui traduit « 18 % de recouvrement » par « cet instrument est juste à 18 % » a changé d’objet en cours de route.

Reste une objection que nous nous faisons nous-mêmes, et qui est la bonne. Un taux d’accord élevé sur un événement rare est facile à obtenir. Si une marque est absente de presque toutes les réponses, deux instruments qui répondent « absente » les yeux fermés s’accorderont à près de 100 %. En 1960, Jacob Cohen a adressé exactement cette critique au simple taux d’accord, incapable selon lui de tenir compte de l’accord obtenu par hasard, et il a proposé pour cette raison un coefficient corrigé. Notre 30 sur 30 démontre solidement que notre instrument n’invente pas de visibilité. Il ne démontre pas encore qu’il voit une citation quand une citation existe vraiment.

Qu’est-ce que notre propre étude ne démontre pas encore ?

Cinq limites sont écrites sur la page de l’étude, et nous les répétons ici parce qu’elles comptent plus que le résultat.

La marque testée est presque toujours absente. Le relevé teste donc surtout la spécificité de l’instrument, c’est-à-dire sa capacité à ne pas signaler une présence qui n’existe pas. Il teste mal sa sensibilité, c’est-à-dire sa capacité à repérer une marque réellement citée.
L’application n’a été interrogée qu’une fois par question. Une réponse d’application est une distribution, avec sa mémoire, sa localisation et les tests en cours chez l’éditeur ; nous en avons prélevé un point par question, sur un seul compte et une seule nuit.
Le contrôle ne couvre qu’une famille de moteurs. Il porte sur la surface OpenAI. Nos instruments pour Claude et pour Gemini restent à contrôler de la même façon, et nous ne prétendons rien à leur sujet tant que ce n’est pas fait.
L’instrument a changé depuis. Depuis le 16 août 2026, notre sonde interroge le modèle servi aux abonnés payants de ChatGPT. Le contrôle publié compare la configuration précédente à l’application : il reste vrai pour cette configuration, et il ne décrit plus celle qui est en service.
Le coefficient d’accord n’est pas encore calculable. Tous les verdicts tombant dans la même classe, un coefficient comme celui de Cohen n’y est même pas définissable. Il le deviendra sur un panel contrasté, et c’est l’objet du relevé de novembre 2026, qui couvrira des marques toujours citées, parfois citées et jamais citées, avec sensibilité et spécificité chiffrées.

Une dernière limite dépasse notre instrument et s’applique à tous. Le 7 août 2026, sur la question « one-on-one French immersion homestay in France », Real French était citée aux trois passages, en positions 3, 6 et 7 des sources. Une semaine plus tard, dans la nuit du 14 au 15 août, plus aucune surface interrogée ne la citait. Une citation peut donc apparaître et disparaître en sept jours, sans que rien n’ait changé sur le site. Aucun outil, quel que soit son prix, ne transforme une photographie en acquis : seule une mesure répétée et datée informe.

Nous publions ces limites parce qu’un chiffre dont on ignore les limites ne vaut rien. Nous appliquons la même règle à notre propre nom : au relevé du 11 août 2026, HENUSSE n’était retenu dans aucune des 30 réponses portant sur les questions où un acheteur cherche un prestataire, et ce zéro est publié tel quel sur notre Baromètre.

Quelles questions poser à un éditeur d’outil avant de s’abonner ?

Voici les sept questions que nous poserions à notre place, à n’importe quel éditeur d’outil de suivi de visibilité IA. Elles servent le lecteur même s’il n’achète rien chez nous, et nous les recommandons contre nous aussi : si nos réponses vous semblent faibles, c’est par là qu’il faut commencer l’échange.

Quelle surface interrogez-vous, et l’écrivez-vous sur chaque relevé ? L’application, une interface de programmation, un outil en ligne de commande : la réponse doit être un nom, pas la mention « ChatGPT ». C’est la question que l’étude de H Company rend incontournable.
Quel modèle exact a répondu, et à quelle date ? Les modèles changent en quelques jours, et un relevé sans son modèle ni sa date ne se refait pas. Un éditeur sérieux vous dira aussi ce qu’il a fait le jour où le modèle a changé.
Combien de fois la même question a-t-elle été posée ? Vous devez lire une fraction, « cité 2 fois sur 3 », et non un état binaire. Un seul passage ne mesure rien, puisque la réponse suivante peut différer.
Qu’appelez-vous une citation ? Demandez la séparation entre être cité en source, être mentionné dans le texte et être recommandé à un acheteur. Un outil qui refuse de séparer les trois vend un chiffre plus haut, pas une information plus juste.
Puis-je lire les réponses brutes et refaire le test ? Un éditeur qui conserve les réponses complètes, les pages utilisées, l’heure et le fuseau vous permet de recompter derrière lui. Un tableau de bord qui ne montre que des courbes ne se vérifie pas.
Avez-vous publié un contrôle entre votre outil et l’application, avec ses limites ? Un taux d’accord seul ne suffit pas : demandez sur quelles marques il a été établi, et exigez la sensibilité en plus de la spécificité. Un accord parfait obtenu sur des marques absentes partout se démontre facilement, et nous sommes les premiers concernés par cette remarque.
Vos questions étaient-elles figées avant la mesure, et les zéros sont-ils publiés ? Choisir ses questions après avoir vu les réponses fabrique n’importe quel résultat. La publication des zéros est le meilleur indice qu’un éditeur ne trie pas ses chiffres.

Un point mérite d’être connu, parce qu’il situe l’état du métier. Dans un domaine mûr, un instrument qui rend un verdict se décrit selon une liste publiée : en médecine, le rapport d’une étude de précision diagnostique suit la grille STARD, trente points publiés qui obligent à nommer le test évalué, l’étalon auquel on le compare, la population testée, le sort des résultats manquants et les limites de l’étude. Son tout premier point exige que le rapport annonce au moins une mesure de justesse, sensibilité ou spécificité par exemple. Rien de tel n’existe encore pour la visibilité IA. En attendant, ces sept questions en tiennent lieu, et la seule chose qu’un acheteur puisse exiger aujourd’hui est que chaque chiffre arrive avec sa surface, sa date, sa fraction et sa définition.

Ces questions portent sur l’outil de mesure. Celles qu’il faut poser au prestataire qui vous accompagne sont différentes, et nous publions les nôtres, avec nos réponses, sur la page des questions à poser avant de signer.

Questions fréquentes

L’étude de H Company invalide-t-elle vos chiffres ?

Non, parce qu’elle ne mesure pas le même objet. Elle compare le recouvrement de deux listes de produits et de liens, quand notre relevé compare un verdict de présence pour une marque nommée. Les deux résultats tiennent ensemble, et son résultat nous impose une obligation que nous acceptons : continuer de contrôler notre instrument contre l’application, à dates publiées.

Faut-il préférer un outil qui mesure directement dans l’application ?

Cette surface a une qualité évidente, puisqu’elle est celle de votre client, et un défaut de mesure tout aussi réel : une réponse d’application dépend du compte qui pose la question, de sa mémoire, de son historique et de sa localisation, ce qui la rend difficile à rejouer à l’identique. La bonne question n’est donc pas de choisir un camp, mais de demander à chaque éditeur ce qu’il a mesuré de l’écart entre sa surface et celle de votre client.

Un accord de 100 % suffit-il à valider un instrument ?

Non, et c’est la limite principale de notre propre étude. Un accord élevé obtenu sur une marque presque toujours absente prouve que l’instrument n’invente rien, pas qu’il repère une citation quand elle existe. Il faut pour cela un panel de marques contrastées, et c’est ce que nous publierons en novembre 2026.

Ces chiffres valent-ils pour mon entreprise ?

Aucun des chiffres cités sur cette page ne vaut pour votre entreprise, et cela vaut aussi pour ceux de H Company. Chacun porte sur un jeu de questions précis, sur une surface précise et à une date précise. Le seul chiffre qui vous concerne est celui obtenu sur vos questions d’acheteur, figées avant la mesure.

Que ferez-vous si votre relevé de novembre vous donne tort ?

Nous le publierons chiffré sur la même page, et nous ajusterons l’instrument. La règle est écrite dans notre charte de mesure : les questions sont figées avant le test, chaque fraction porte sa date, et un zéro s’écrit zéro.

Sources

H Company, Antonio Ventura, « Learning From the User : GEO Using Computer-Use Agents vs. API limitations » : https://hcompany.ai/geo-using-computer-use-agents-vs-api-limitations. Porte les 30 questions d’achat, les passages multiples, le recouvrement d’environ 18 % sur les produits et 2,5 % sur les liens, les 6,2 produits contre 3,6, la part de 78 % de sources éditoriales, l’usage de la similarité de Jaccard et la phrase de conclusion citée dans le texte. Consultée et vérifiée le 16 août 2026. L’en-tête de la page affiche une date de février 2026, alors que la page a été mise en ligne le 13 août 2026 : elle ne figure pas dans l’index du blog de l’éditeur, construit ce même 13 août quelques minutes plus tôt. Nous retenons la date de mise en ligne et nous signalons l’écart plutôt que de le taire.
HENUSSE, étude de concordance entre l’application ChatGPT et notre instrument : https://henusse.com/reference-ia/diagnostic/etude-correlation/. Porte le 30 sur 30 du relevé de la nuit du 14 au 15 août 2026, les 11 questions sur 30 où l’application a déclenché une recherche, les limites reprises ici, le changement d’instrument du 16 août 2026 et le cas de la citation disparue entre le 7 et le 14 août 2026.
HENUSSE, charte de mesure honnête : https://henusse.com/reference-ia/charte-mesure/. Porte les neuf règles citées, dont la séparation entre cité, mentionné et recommandé, la répétition des questions, la date obligatoire et la publication des zéros.
HENUSSE, diagnostic public de Real French : https://henusse.com/reference-ia/diagnostic/exemple/. Porte les deux écritures du même résultat, 6 réponses sur 270 et 4 combinaisons sur 90, ainsi que le détail question par question.
HENUSSE, Baromètre : https://henusse.com/barometre/. Porte le relevé du 11 août 2026 et le 0 sur 30 publié sur notre propre nom.
Mary L. McHugh, « Interrater reliability : the kappa statistic », Biochemia Medica, 2012 : https://pmc.ncbi.nlm.nih.gov/articles/PMC3900052/. Porte la critique adressée par Jacob Cohen en 1960 au simple taux d’accord, incapable de tenir compte de l’accord obtenu par hasard, et la proposition d’un coefficient corrigé.
EQUATOR Network, grille STARD 2015 pour le rapport des études de précision diagnostique, Bossuyt et al., BMJ 2015 ;351 :h5527 : https://www.equator-network.org/reporting-guidelines/stard/. Porte l’existence d’une liste publiée d’éléments obligatoires pour rendre compte d’un instrument qui produit un verdict. La grille elle-même, disponible en PDF, compte 30 points, dont le point 1 sur la mesure de justesse annoncée, les points 10a et 10b sur le test évalué et son étalon, les points 6 à 9 sur la population testée, le point 16 sur les résultats manquants et le point 26 sur les limites.

Toutes les adresses citées ci-dessus ont été ouvertes et vérifiées le 16 août 2026.

Page publiée le 16 août 2026. Les études et les relevés cités portent chacun leur propre date ; les moteurs changent vite, et un chiffre de cette page ne dit rien d’une mesure postérieure. Si l’un des documents cités évolue, cette page sera corrigée et la correction datée.