Google : vous utilisez un CDN et vous souhaitez un fichier robots.txt, redirigez le vôtre vers le CDN

Vous utilisez un CDN pour une partie ou la totalité de votre site Web et vous souhaitez gérer un seul fichier robots.txt, au lieu du fichier robots.txt du CDN et du fichier robots.txt de votre site principal ? Gary Illyes de Google a déclaré qu'il vous suffit de rediriger votre fichier robots.txt principal vers le CDN et de le contrôler sur le CDN.

Gary a écrit sur LinkedIn :

Vous avez un CDN et votre site principal. Vous avez deux fichiers robots.txt, un sur https∶//cdn․example․com/robots.txt et un sur https∶//www․example․com/robots.txt. Vous pourriez avoir un seul fichier robots.txt central avec toutes les règles, par exemple sur votre CDN, ce qui pourrait vous aider à garder une trace de toutes les règles que vous devez gérer. Tout ce que vous avez à faire est de rediriger https∶//www․example․com/robots.txt vers https∶//cdn․example․com/robots.txt et les robots d'exploration conformes à la RFC9309 utiliseront simplement la cible de redirection comme fichier robotstxt de https∶//www․example․com/. Bizarre ou quoi.

Il ne s'agit pas d'un conseil de classement SEO. Il s'agit simplement d'un moyen de tout regrouper sous un seul fichier robots.txt et de ne pas avoir à en gérer plusieurs. Cela ne vous aidera pas à mieux vous classer ou quoi que ce soit de ce genre.

J'attends maintenant de voir des publicités pour des services de référencement pour déplacer votre fichier robots.txt vers un CDN. Encore une fois, cela ne vous apporte aucun avantage en termes de référencement ou de classement, c'est juste pour vous faciliter la tâche lorsque vous souhaitez conserver un fichier. Bien sûr, si jamais vous quittez ce CDN, vous devrez vous en occuper, mais ce n'est pas très différent de passer à un nouvel hébergeur.

Forum de discussion sur LinkedIn.