Google clarifie l’utilisation des codes de statut Noindex et 404 pour l’optimisation du budget de crawl

Vendredi, Lizzi Sassman de Google a mis à jour le document d’aide à la gestion du budget de crawl avec deux autres sujets. Plus précisément, Google a ajouté deux nouveaux mythes à la documentation du budget de crawl.

(1) Google a ajouté que l’utilisation de noindex n’est pas un bon moyen de contrôler le budget de crawl, mais cela peut être une méthode pour libérer indirectement le budget de crawl à long terme, a déclaré Google.

(2) Aussi que les pages qui servent des codes de statut 4xx (sauf 429) ne gaspillent pas le budget de crawl, a écrit Google.

Voici où Google les a ajoutéstout en bas :

Toute URL explorée affecte le budget d’exploration et Google doit explorer la page afin de trouver la règle noindex.

Cependant, noindex est là pour vous aider à garder les choses hors de l’index. Si vous voulez vous assurer que ces pages ne se retrouvent pas dans l’index de Google, continuez à utiliser noindex et ne vous souciez pas du budget de crawl. Il est également important de noter que si vous supprimez des URL de l’index de Google avec noindex ou autrement, Googlebot peut se concentrer sur d’autres URL de votre site, ce qui signifie que noindex peut indirectement libérer du budget d’exploration pour votre site à long terme.

Les pages qui servent des codes de statut HTTP 4xx (sauf 429) ne gaspillent pas le budget de crawl. Google a tenté d’explorer la page, mais a reçu un code d’état et aucun autre contenu.

Forum de discussion sur Mastodonte.