Google a clarifié la prise en charge des champs Robots.txt avec de minuscules changements

Google a ajouté environ huit mots entre parenthèses pour clarifier que les champs qui ne sont pas explicitement répertoriés dans la documentation robots.txt ne sont pas pris en charge. Pourquoi ont-ils fait ça ? Google l'a dit parce que parfois, Google reçoit des questions à ce sujet.

Les mots ajoutés par Google ont été ajoutés à la section syntaxe de la documentation robots.txt et se lisent comme suit :

(les autres champs tels que crawl-delay ne sont pas pris en charge)

Voici l’avant et l’après, où l’ajout est surligné en bleu :

Voici à quoi cela ressemble maintenant :

Comme l'a écrit Jaskaran Singh, expert produit Silver chez Google dans la communauté Webmaster/Search Console, « Si vous utilisez des champs non pris en charge, comme le délai d'exploration, Google les ignorera. Assurez-vous de suivre ces directives prises en charge pour garantir que votre site est analysé comme prévu. » Il a ajouté : « Conseil de pro : utilisez toujours les commentaires (#) pour une meilleure lisibilité et assurez-vous que les chemins commencent par / pour éviter les erreurs. »

Discussion sur le forum sur LinkedIn.