Le document d’aide Google Crawl Budget ajoute la section If-Modified-Since

Google a ajouté une nouvelle section au document d’aide à la gestion du budget de crawl. La nouvelle section concerne l’en-tête de requête If-Modified-Since. La section s’intitule « Spécifier les modifications de contenu avec les codes d’état HTTP ».

Google a écrit« Google prend généralement en charge les en-têtes de requête HTTP If-Modified-Since et If-None-Match pour l’exploration. Les robots d’exploration de Google n’envoient pas les en-têtes avec toutes les tentatives d’exploration ; cela dépend du cas d’utilisation de la requête (par exemple, AdsBot est plus susceptible de définir les en-têtes de requête HTTP If-Modified-Since et If-None-Match). »

« Si nos robots envoient l’en-tête If-Modified-Since, la valeur de l’en-tête est la date et l’heure auxquelles le contenu a été exploré pour la dernière fois. Sur la base de cette valeur, le serveur peut choisir de renvoyer un code d’état HTTP 304 (non modifié) sans réponse. body, auquel cas Google réutilisera la version de contenu qu’il a explorée la dernière fois. Si le contenu est plus récent que la date spécifiée par le crawler dans l’en-tête If-Modified-Since, le serveur peut renvoyer un code d’état HTTP 200 (OK) avec le corps de la réponse. »

« Indépendamment des en-têtes de requête, vous pouvez envoyer un code d’état HTTP 304 (non modifié) et aucun corps de réponse pour toute requête Googlebot si le contenu n’a pas changé depuis la dernière visite de Googlebot sur l’URL. Cela permettra d’économiser du temps de traitement et des ressources sur votre serveur. , ce qui peut indirectement améliorer l’efficacité de l’exploration. »

Je ne sais pas si j’ai des commentaires à faire à ce sujet, en dehors du fait que cette nouvelle section a été ajoutée à cette page.

Forum de discussion sur Twitter.