Le code d’état HTTP 500/503 sur Robots.txt peut supprimer votre site de la recherche Google

Gary Illyes de Google a déclaré sur LinkedIn que si votre serveur renvoie un code d’état HTTP 500/503 pendant une période prolongée pour votre fichier robots.txt, Google peut supprimer complètement votre site de la recherche Google.

C’est même si le reste de votre site est accessible et ne renvoie pas de code d’état 500 ou 503.

Ce n’est pas seulement un code d’état HTTP 500/503 dont vous devez vous soucier, c’est aussi un problème si votre site rencontre ces problèmes de délai d’attente du réseau.

Encore une fois, cela doit être pour une « période prolongée », qui n’a pas été définie, mais je suppose que c’est plus qu’un jour ou deux.

Gary a écrit : « Un fichier robots.txt qui renvoie un code d’état HTTP 500/503 pendant une période prolongée supprimera votre site des résultats de recherche, même si le reste du site est accessible à Googlebot. » « Il en va de même pour les délais d’attente du réseau », a ajouté Gary.

Gary a mentionné le Documents HTTP et ajouté, « si nous ne pouvons pas déterminer ce qu’il y a dans le fichier robotstxt et que le serveur ne nous dit pas qu’un fichier robotstxt n’existe pas, il serait beaucoup plus blessant d’explorer comme si tout était autorisé (par exemple, nous pourrions indexer images maladroites de chapeau de martin accidentellement). « 

Nous savons que Google recommande d’utiliser un code d’état de serveur 503 lorsque votre site Web est hors ligne ou temporairement indisponible pendant moins d’une journée (heures et non plusieurs jours). S’il reste hors ligne plus longtemps, essayez de télécharger une version statique de votre site à sa place.

Faites juste attention aux longs temps d’arrêt – pas que vous ayez probablement le choix.

Forum de discussion sur LinkedIn.