Lizzi Sassman Googlebot

Google ignorera les règles Robots.txt s’il sert un code d’état 4xx

Voici un autre message d’intérêt public de Gary Illyes de Google. En bref, si vous fournissez un code d’état 4xx avec votre fichier robots.txt, Google ignorera les règles que vous avez spécifiées dans ce fichier.

Pourquoi? Eh bien, les codes d’état 4xx signifient que le document n’est pas disponible, donc Google ne le vérifiera pas car le serveur dit qu’il n’est pas disponible. Gary a dit cela parce qu’il a reçu une plainte ou deux concernant le non-respect par Google des règles du robots.txt.

Gary a écrit sur LinkedIn« PSA de ma boîte de réception : si vous servez votre robotstxt avec un code d’état HTTP 403, toutes les règles du fichier seront ignorées par Googlebot. Les erreurs client (4xx, sauf 429) signifient que le robotstxt n’est pas disponible, comme dans, un 404 et un 403 sont équivalents dans ce cas. »

En bref, assurez-vous que votre fichier robots.txt sert un code d’état 200 et que Google peut y accéder.

Forum de discussion sur LinkedIn.

L'équipe IBS Paris
L'équipe IBS Paris

IBS Paris, fondée en 2011, est pionnière dans l'intégration de l'innovation et du digital au cœur de son enseignement en école de commerce. Elle cultive une communauté étudiante engagée, favorisant l'excellence et le travail d'équipe. Ce creuset d’ambition prépare ses étudiants à devenir des leaders éclairés dans le monde du commerce global.