Une mauvaise configuration de Cloudflare peut nuire gravement à votre référencement

Ceci n'est qu'un conseil aléatoire, assurez-vous de ne pas mal configurer Cloudflare, votre réseau de diffusion de contenu et/ou votre serveur d'hébergement. Je vois beaucoup trop de cas de ce type apparaître et causer une telle difficulté à résoudre pour les référenceurs. Tout d’un coup, vous remarquerez peut-être que votre classement chute d’une falaise dans la recherche Google et que vos pages commencent à disparaître de l’index Google. C'est probablement parce que vous empêchez Google d'explorer votre site.

Il existe des tonnes de paramètres dans Cloudflare et des outils similaires, dont beaucoup visent à protéger votre site contre les robots IA et les robots d'exploration rouges. Mais parfois, si vous ne les lisez pas ou ne les comprenez pas, vous pouvez finir par bloquer les moteurs de recherche et les robots d’intelligence artificielle que vous n’aviez pas l’intention de bloquer. Alors soyez prudent.

Jonathan Bird a récemment partagé un exemple sur LinkedIn, il a déclaré :

Soyez prudent avec la configuration de CloudFlare. Je devais juste réparer un site Web dont le trafic était en baisse depuis 2 semaines. Leur fournisseur informatique géré (ne les nommera pas car c'est une erreur facile à commettre, tout simplement catastrophique) a activé le contrôle d'exploration de CloudFlare pour empêcher tous les robots d'explorer le site.

Cela a complètement empêché Google d'explorer le site. Cela signifiait que cela avait cassé leurs publicités Google (qui continuaient joyeusement à prendre leur argent), que toutes les listes de Merchant Center avaient disparu et que Google en avait supprimé le trafic organique de recherche. Leur activité a complètement chuté pendant 2 semaines, et elle commence tout juste à se rétablir maintenant.

Voici sa capture d'écran :

Brodie Clark a également publié un exemple d'un autre site faisant cela sur LinkedIn, il a déclaré :

Ce fut un désastre SEO… même si cela peut ressembler au résultat d'une mise à jour principale ou même d'une mise à jour de spam, ce n'était pas le cas.

Cela était dû au fait que les robots impactaient fortement les serveurs d'un marché en ligne (ce n'est qu'un domaine parmi tant d'autres), et l'équipe devait mettre en place des restrictions d'accès aux robots au niveau du pare-feu qui détruisaient le référencement juste pour maintenir le site en activité.

Voici quelques-unes de ces captures d'écran montrant les dégâts :

C’est de plus en plus courant de nos jours mais ce n’est pas nouveau. Même il y a plus de 20 ans, je ne peux pas vous dire combien d'exemples de sites bloquaient l'exploration de Google ou d'autres moteurs de recherche, que ce soit à cause des règles Apache, d'une mauvaise configuration du fichier robots.txt, etc. Mais maintenant, avec tous les différents outils et options de configuration, cela peut être encore plus déroutant…

Alors soyez prudent.

Discussion sur le forum sur LinkedIn.