Google Search Crawl Rate Doc ajoute une nouvelle tentative après HTTP et plus

Google vient de proposer quelques mises à jour pour réduire la documentation sur le taux d'exploration de Google. La plupart des modifications sont simplement organisationnelles du contenu de la page, mais dans la section « Réduire de toute urgence le trafic des robots (en cas d'urgence) », Google a ajouté de nouvelles informations sur la façon d'utiliser l'en-tête HTTP Retry-After.

Google a déclaré avoir « restructuré la section de réduction du taux d'exploration d'urgence et ajouté des informations et des exemples sur l'en-tête HTTP Retry-After à la documentation Réduire le taux d'exploration de Google ». Google a ajouté cela à « La prise en charge de l'en-tête HTTP Retry-After n'est pas nouvelle (elle était déjà documentée dans Suspendre temporairement ou désactiver un site Web), et l'ajouter directement au guide de réduction du taux d'exploration facilite la recherche et la compréhension lors de la réduction urgente du trafic des robots. »

Si vous comparez le document en direct au document archivé, vous verrez principalement beaucoup de choses déplacées sur la page.

Le plus gros ajout est la section sur :

Lorsque vous renvoyez un code d'état 503 ou 429, vous pouvez également inclure un en-tête HTTP Retry-After (tel que défini dans la sémantique HTTP RFC 9110) pour indiquer quand les robots d'exploration de Google peuvent réessayer la demande, en utilisant soit un délai en secondes, soit une date et une heure UTC absolue :

Google a également ajouté un exemple de code, voici une capture d'écran :

Google n'introduit pas de nouvelle façon de limiter Googlebot, le mécanisme sous-jacent n'a pas changé. Google a déjà utilisé 500, 503 et 429 réponses comme signaux pour réduire l'exploration. La nouvelle documentation fait de Retry-After un signal supplémentaire explicite que les propriétaires de sites peuvent fournir lorsqu'ils utilisent 503 ou 429.

Discussion sur le forum X.