Google : ne mettez pas à jour dynamiquement le fichier Robots.txt plusieurs fois par jour

John Mueller de Google a déclaré que puisque le fichier robots.txt est mis en cache par Google pendant environ 24 heures, cela n'a pas beaucoup de sens de mettre à jour dynamiquement votre fichier robots.txt tout au long de la journée pour contrôler le contrôle.

Google ne verra pas nécessairement que vous ne voulez pas que Google explore une page à 7 heures du matin, puis à 9 heures du matin, vous voulez que Google explore cette page.

John Mueller a écrit sur Bluesky en réponse à ce message :

QUESTION:

Un de nos techniciens a demandé s'il pouvait télécharger un fichier robots.txt le matin pour bloquer Googlebot et un autre l'après-midi pour lui permettre d'explorer, car le site Web est vaste et il pensait que cela pourrait surcharger le serveur. Pensez-vous que ce serait une bonne pratique ?

(Évidemment, la vitesse d'exploration de Googlebot s'adapte à la réponse du serveur, mais j'ai trouvé que c'était une question intéressante à vous poser) Merci !

RÉPONDRE:

C'est une mauvaise idée car robots.txt peut être mis en cache jusqu'à 24 heures ( développeurs.google.com/search/docs/… ). Nous vous déconseillons de modifier dynamiquement votre fichier robots.txt de cette manière au cours d'une journée. Utilisez plutôt 503/429 lorsque l’exploration est trop importante.

Ce n'est pas une nouvelle nouvelle, nous en avons parlé il y a dix ans sous Google : Ne créez pas de fichier robots.txt généré dynamiquement. Nous connaissions également le phénomène des 24 heures en 2010.

Discussion sur le forum à Bluesky.