Google explique comment bloquer les fenêtres contextuelles à l'aide de Robot.txt dans la recherche
John Mueller de Google a expliqué comment empêcher les boîtes de dialogue contextuelles de votre site Web d'apparaître dans la recherche Google à l'aide du fichier robots.txt. Il a expliqué comment procéder si vous utilisez JavaScript pour la fenêtre contextuelle.
La question a été publiée sur Reddit demandant comment empêcher ces fenêtres contextuelles légales d'apparaître dans la recherche Google et d'être indexées par Google. La question était :
Supposons que j'ai un site Web websiteA.com – pour des raisons juridiques, il comporte une fenêtre contextuelle de vérification de l'âge qui se trouve sur un domaine distinct et est insérée sur la page via une API. Appelons-le vérificationpopup.com
Disons que je voulais empêcher Google de voir cela – si j'ajoutais une interdiction sur vérificationpopup.com/robots.txt, cela empêcherait-il Google d'afficher la fenêtre contextuelle ?
John Mueller a répondu en disant: « Cela fonctionnerait généralement. » « Si vous utilisez un fichier de script JS spécifique pour ce faire, vous pouvez également interdire ce fichier javascript spécifique via robots.txt », a-t-il ajouté. Il a également déclaré que « si vous n'aviez qu'un seul fichier JS qui fait un tas de choses, je ne ferais pas ça ».
Voici sa réponse plus détaillée avec ces deux options :
- Le contenu du site intégré est bloqué par robots.txt. Si vous intégrez du contenu de vérificationpopup-com sur votre site (par exemple via iframe ou en appelant un script sur vérificationpopup-com, etc.) et que vérificationpopup-com interdit toute exploration, alors les robots qui suivent robots.txt (comme Googlebot) ne récupéreraient pas ce contenu et ne l'utiliseraient pas dans le rendu. C'est ainsi que fonctionnent de nombreux services de publicité. Googlebot n'explorerait pas ces URL comme une page distincte, mais il essaierait de les récupérer au cours du rendu, et si robots.txt le bloque, il ne récupère pas le contenu et ne peut pas l'utiliser. Vous devez vous assurer que vos pages se chargent toujours lorsque ces URL ne sont pas récupérées, mais pour quelque chose comme ça, ce n'est généralement pas un problème.
- Votre site utilise un fichier JS spécifique pour le charger et vous le bloquez vous-même. Par exemple, vous utilisez peut-être un fichier « load-verification-popup.js » pour ce faire. Si vous bloquez cette page avec robots.txt sur votre site, alors le script ne sera pas chargé lors du rendu (bloqué par robots.txt). D'après mon expérience, c'est moins courant, mais c'est une option. Si le robots.txt sur vérificationpopup-com n'est pas quelque chose que vous pouvez influencer, vous devrez le faire si vous souhaitez empêcher qu'il soit visible/utilisé pendant le rendu.
Il existe probablement d'autres façons de procéder, mais voici l'approche recommandée par un représentant de la recherche Google.
Discussion sur le forum sur Reddit.
