Google : Arrêtez d’utiliser les 403 ou 404 pour réduire les taux d’exploration de Googlebot
Gary Illyes posté un nouveau billet de blog sur le site Google Search Central vous demandant à tous de cesser d’utiliser les codes d’état de serveur 403 et 404 pour réduire la vitesse d’exploration de Googlebot. Il a dit qu’ils ont vu une augmentation du nombre de sites et de CDN qui le font et qu’ils doivent le supprimer.
Gary a écrit : « Au cours des derniers mois, nous avons remarqué une augmentation du nombre de propriétaires de sites Web et de certains réseaux de diffusion de contenu (CDN) qui tentent d’utiliser 404 et d’autres erreurs client 4xx (mais pas 429) pour tenter de réduire la vitesse d’exploration de Googlebot. » « La version courte de ce billet de blog est : s’il vous plaît, ne faites pas ça », a-t-il ajouté.
Au lieu de cela, il a dit que Google avait de la documentation sur la façon de réduire le taux d’exploration de Googlebot. « Lisez plutôt cela et apprenez à gérer efficacement le taux d’exploration de Googlebot », a-t-il ajouté.
Gary a également posté sur LinkedIn en disant, « Friday rumble… ramble ? Un de ceux-là. Quoi qu’il en soit : les codes d’état 403 et 404 ne vous aideront pas à réduire rapidement le taux de crawl. Au contraire, ils pourraient avoir l’effet inverse. Nous avons de la documentation sur la façon de réduire le taux de crawl et sans surprise 403/404 n’y figure pas. »
Il y a plus de détails dans le article de blog.
Forum de discussion sur LinkedIn.
