L’accès des robots ne suffit pas : pourquoi un site ouvert reste non cité

Pourquoi mon site est-il accessible aux robots IA mais jamais cité ?

Une page de tarifs peut être ouverte aux robots IA et rester absente des réponses. L’autorisation de lecture ne garantit ni son utilité pour la question posée ni sa sélection comme source. Pour le référencement auprès des moteurs de réponse, la question reste entière : qu’apporte cette page à la réponse recherchée ?

Aggarwal et al. (2024) ont formalisé, dans une étude présentée à KDD 2024, l’optimisation de contenu pour les moteurs de recherche génératifs et proposé des méthodes dont ils ont mesuré l’effet sur la visibilité.

Qu’est-ce qui prouve qu’un robot a réellement consulté votre page ?

L’autorisation donnée par votre fichier robots.txt ne prouve aucun passage. La preuve vient d’une requête attribuable au robot dans les journaux du serveur. Pour établir ce que le serveur lui a servi, il faut aussi examiner la réponse enregistrée. La RFC 9309, publiée par Koster et al. (2022), normalise le Robots Exclusion Protocol et définit notamment l’interprétation des directives User-agent, Allow et Disallow : ces règles permettent de comprendre les consignes adressées aux robots, mais leur présence dans un fichier ne documente aucune visite effective sur une adresse précise. Les journaux du serveur consignent les requêtes reçues. Une entrée correspondant à la page recherchée, avec sa date et les informations disponibles sur le demandeur, donne une trace à examiner. Cette trace en dit plus que la seule configuration.

La portée de cette trace reste limitée. Une requête reçue peut aboutir à une erreur ou à une redirection. Le nom que déclare le demandeur ne suffit pas, à lui seul, à authentifier le robot. La RFC 9110, publiée par Fielding et al. (2022), normalise la sémantique HTTP, dont les codes d’état et les redirections ; ces informations servent à qualifier la réponse du serveur, sans établir que le contenu a été retenu. Google publie de son côté la liste de ses robots des moteurs, avec les noms sous lesquels ils se présentent lors de leurs visites. La trace s’arrête à cet échange.

Demandez un extrait des journaux à la personne qui gère votre hébergement. Précisez l’adresse exacte de la page et la période examinée. Conservez les informations nécessaires pour vérifier l’identité du robot, ainsi que le code d’état renvoyé. Une capture du seul fichier robots.txt ne répond pas à cette demande. Faites préciser si le serveur a servi la page demandée ou renvoyé le robot vers une autre adresse. En cas de redirection, cherchez également une requête vers la destination. Sans cette vérification, ne concluez pas que le robot a consulté le contenu final. Si aucune entrée correspondante n’apparaît, consignez « passage non établi sur la période examinée ». Vérifiez que les journaux couvrent bien cette période avant d’affirmer que le robot n’est jamais venu.

Votre page répond-elle à la question que votre client pose ?

Une page détaille votre offre d’accompagnement. Elle décrit précisément le déroulement de la prestation et les compétences mobilisées. Mais elle n’explique pas ce que le client doit préparer avant le premier rendez-vous. La question « Quels documents dois-je fournir pour commencer ? » reste sans réponse. La présentation de l’offre laisse ici une information manquante. Pour vérifier votre propre page, inscrivez une question précise reçue d’un client. Recopiez en face le passage censé y répondre. Gardez uniquement les mots publiés. N’ajoutez pas les explications que vous donnez habituellement à l’oral. Elles peuvent combler pour vous une lacune qui reste entière pour une personne découvrant votre offre. Relisez ensuite cet extrait seul. Le client dispose-t-il des informations nécessaires pour agir ? Dans cet exemple, le passage devrait préciser les documents attendus. Ou indiquer explicitement qu’aucun document préalable n’est nécessaire, si cela correspond à votre pratique. Une formule comme « un accompagnement adapté à vos besoins » laisse la question ouverte. Le lecteur doit encore vous contacter pour obtenir la réponse.

Que permet de vérifier le spécimen de diagnostic publié ?

Le spécimen de diagnostic publié permet de vérifier ce que les observations présentées établissent à leur date, dans le périmètre examiné. Il ne prédit pas les citations que votre entreprise pourrait obtenir, même lorsqu’un cas paraît proche du vôtre. La ressemblance ne suffit pas. Pour lire ce document comme une preuve, rattachez chaque conclusion au passage qui la justifie. Une observation concernant le site étudié conserve cette portée précise, même si vous y reconnaissez une difficulté de votre entreprise et souhaitez en tirer une décision.

HENUSSE déclare ses résultats sous forme de fractions N/M datées, plutôt que sous la forme d’un score sur 100. Cette présentation demande de lire le nombre de cas retenus au regard de l’ensemble observé. Il faut donc vérifier ce que le rapport compte effectivement. Avant de juger une fraction bonne ou mauvaise, cherchez la définition de son numérateur et de son dénominateur. Les lettres seules ne disent pas précisément ce que le calcul compte ou laisse de côté. Ne citez jamais une fraction sans son dénominateur. Si vous reprenez une mesure de citation IA issue du spécimen dans une note de direction, gardez auprès du résultat sa date et la définition de l’ensemble observé. La personne qui lit votre note doit pouvoir comprendre la portée du chiffre, sans lui attribuer une valeur générale que le cas publié ne démontre pas.

Examinez ensuite le lien entre le constat et la conclusion proposée. Lorsqu’un diagnostic recommande une modification, que montre le document ? Seulement la raison de la proposer ? Ou aussi une observation après sa mise en œuvre ? Ces éléments autorisent des conclusions différentes sur le cas étudié. Pour juger ce que le spécimen vous permet de décider, retenez seulement les conclusions dont vous retrouvez l’appui dans le document. Laissez ouvertes les questions qu’il ne tranche pas.

Qui confirme vos affirmations en dehors de votre site ?

Un article publié ailleurs qui reprend votre présentation commerciale ne confirme pas vos affirmations de façon indépendante. Pour parler de corroboration extérieure, il faut identifier ce que son auteur a vérifié lui-même, et à quelle affirmation précise cette vérification se rapporte. La provenance du texte compte. Si une publication reprend un résultat annoncé dans votre communiqué sans expliquer comment elle l’a contrôlé, le lecteur retrouve votre déclaration sur un autre site, avec une autre mise en page. Votre entreprise reste la seule origine de l’information. De même, un témoignage favorable sur la qualité de vos échanges laisse entière une affirmation concernant les résultats de votre prestation. Une confirmation vaut pour le point exact qu’elle permet d’étayer.

Avant de conserver une mention comme corroboration publique, placez votre affirmation à côté du passage extérieur censé la confirmer. Cherchez sur quoi l’auteur s’appuie. Un compte rendu décrivant une expérience vécue peut soutenir les faits de cette expérience. Sa portée s’arrête à ce que son auteur a effectivement constaté. Si le passage renvoie seulement à vos propres déclarations, classez cette mention comme une reprise. Écartez-la des confirmations indépendantes, même si le titre vous met en valeur et que vous aimeriez afficher le nom du site parmi vos références. Si une source apporte une confirmation limitée, réduisez la portée de l’affirmation associée. Gardez, par exemple, un témoignage sur l’accompagnement pour parler de cet accompagnement. Toute promesse de résultat que ce témoignage ne documente pas reste sans confirmation extérieure.

Comment savoir si votre mesure de citation IA permet une comparaison ?

Les questions diffèrent de la mesure précédente ? Votre mesure de citation IA ne permet pas une comparaison à questions constantes. Conservez leur formulation exacte. Consignez les moteurs utilisés, ainsi que les conditions et la date de chaque essai. Le périmètre compte autant que le résultat. Pour suivre votre référencement auprès des moteurs de réponse, fixez ces règles avant la première mesure. Gardez ensuite une trace de chaque écart au protocole.

1. Figez les questions. Conservez une liste de référence. Reprenez chaque formulation mot pour mot lors de la mesure suivante. Une reformulation constitue une nouvelle question dans votre suivi, même si son intention vous paraît identique. Gardez les ajouts dans une série distincte. Vous pourrez ainsi comparer les résultats des questions communes aux deux dates.
2. Décrivez les conditions de l’essai. Notez le moteur et le mode utilisé. Indiquez notamment si l’essai utilise la recherche sur le Web. Précisez la langue et indiquez si la conversation commence à neuf ou contient déjà des échanges. Si l’interface affiche une version du modèle, relevez-la. Une information indisponible reste indiquée comme telle : ne la reconstituez pas de mémoire.
3. Archivez chaque réponse avec sa date. Gardez le texte complet et les liens de sources associés, y compris lorsque votre site est absent. Prévoyez le même nombre de passages par question à chaque mesure. Conservez tous les résultats obtenus. Retenir seulement la réponse qui vous cite rendrait le bilan dépendant de votre sélection.
4. Fixez ce que vous comptez. Décidez à l’avance si votre indicateur retient un lien vers votre site ou une simple mention de votre nom. Comptez ces deux éléments séparément si vous souhaitez les suivre tous les deux. Présentez chaque total avec le nombre de réponses examinées. Signalez ensuite les questions manquantes et les essais interrompus.

Si le protocole change, limitez la comparaison à la partie restée commune ou établissez un nouveau point de départ. Même à protocole constant, une hausse observée ne suffit pas à attribuer les citations à une modification précise de votre site. Le relevé établit un écart. Sa cause reste à vérifier.

Que vérifier maintenant pour comprendre pourquoi votre site ouvert aux robots reste non cité ?

Même si votre site autorise les robots, vérifiez d’abord qu’aucun défaut d’accès ne reste à corriger. Ce contrôle précède le travail sur les pages de réponse et leurs corroborations extérieures. Examinez ensuite les lacunes des contenus accessibles pour choisir une modification dont vous pourrez vérifier l’effet. Après cette modification, reprenez la mesure de citation IA avec les mêmes questions. Conservez le protocole. N’attribuez pas automatiquement à votre intervention toute variation observée.