Google: il est logique pour noindex llms.txt

John Mueller de Google a déclaré qu'il peut être logique de noter votre fichier LLMS.TXT. De cette façon, le fichier n'est pas indexé par les moteurs de recherche, puis un utilisateur atterrit en quelque sorte et est confus.

John a écrit sur Bluesky: « Cela dit, l'utilisation de Noindex pourrait avoir un sens, car les sites pourraient s'y connecter et cela pourrait autrement devenir indexé, ce qui serait bizarre pour les utilisateurs. »

La question était:

Google Affichera-t-il les fichiers LLMS.TXT comme du contenu en double? Il semble du cou raide pour le faire, étant donné qu'ils savent que ce n'est pas le cas, et à quoi cela sert vraiment.

Dois-je ajouter un en-tête «noindex» pour LLMS.TXT pour Googlebot?

John Mueller a répondu en entier:

Ce ne serait en double du contenu que si le contenu était le même qu'une page HTML, ce qui n'aurait pas de sens (en supposant que le fichier lui-même était utile). Cela dit, l'utilisation de NOINDEX pourrait avoir un sens, car les sites pourraient s'y connecter et cela pourrait autrement devenir indexé, ce qui serait bizarre pour les utilisateurs.

John a précédemment déclaré que pour autant qu'il ne sache, aucun système d'IA n'utilise actuellement LLMS.TXT.

Quoi qu'il en soit, de nombreux sites l'adoptent, le ne l'indiquez-vous pas?

Discussion du forum à Bluesky.