Google : Robots.txt est inaccessible, l'accessibilité des autres pages est importante
Il y a cette conversation intéressante sur LinkedIn autour d'un robots.txt qui sert un 503 depuis deux mois et le reste du site est disponible. Gary Illyes de Google a déclaré que lorsque d'autres pages du site sont accessibles et disponibles, cela fait une grande différence, mais lorsque ces autres pages ne le sont pas, alors « vous n'avez pas de chance », a-t-il écrit.
A noter, il a précisé que la page d'accueil et les autres pages « importantes » devaient être disponibles…
Le fil de discussion a été publié par Carlos Sánchez Donate sur LinkedIn où il a demandé : « que se passerait-il si le fichier robots.txt est 503 pendant 2 mois et que le reste du site est disponible ?
Gary Illyes de Google a répondu :
Je ne sais pas si nous devons y ajouter plus de nuances ; voir dernière phrase. Un aspect qui est généralement laissé de côté est de savoir si nos robots d'exploration peuvent atteindre systématiquement la page d'accueil (ou d'autres pages importantes ? Je ne m'en souviens pas) alors que le robotstxt est inaccessible. Si tel est le cas, alors le site est peut-être dans un état correct, quoique dans les limbes, mais toujours desservi. Si nous obtenons également des erreurs pour la page importante, vous n'avez pas de chance. Avec les erreurs http robotstxt, vous souhaitez simplement vous concentrer sur la correction de l'accessibilité le plus rapidement possible.
La question était de savoir s'il fallait plus de précisions sur la gestion des erreurs robots.txt 5xx dans la documentation ou non.
C'est un fil de discussion très intéressant, je vous recommande donc de parcourir ce contenu s'il vous intéresse. Bien sûr, la plupart d’entre vous diraient : corrigez simplement les erreurs 5xx et ne vous inquiétez pas pour cela. Mais de nombreux SEO aiment s’interroger sur les situations hypothétiques.
Voici une capture d'écran de cette conversation, mais encore une fois, il y en a beaucoup plus, alors jetez-y un oeil :
Discussion sur le forum sur LinkedIn.
