Google : interdire l'exploration des URL d'action (acheter maintenant, s'inscrire, etc.)

Google a publié un message d'intérêt public indiquant que vous devez interdire à Googlebot d'explorer vos URL d'action. Gary Illyes de Google a posté sur LinkedIn : « Vous devriez vraiment interdire l'exploration de vos URL d'action. Les robots d'exploration n'achèteront pas cette bougie parfumée biologique sans OGM et ne se soucieront pas non plus d'une liste de souhaits. »

Je veux dire, ce n'est pas un nouveau conseil. Pourquoi laisser une araignée explorer des pages où elle ne peut réellement entreprendre aucune action. Googlebot ne peut pas effectuer d'achats, ne peut pas s'inscrire à votre newsletter, etc.

Gary a écrit :

Une plainte courante que nous recevons à propos de l'exploration est qu'elle est trop explorée, ce qui utilise trop de ressources du serveur (bien que cela ne pose pas de problèmes autrement). En regardant ce que nous explorons sur les sites dans les plaintes, il s'agit bien trop souvent d'URL d'action telles que « ajouter au panier » et « ajouter à la liste de souhaits ». Ceux-ci sont inutiles pour les robots d'exploration et vous ne souhaitez probablement pas qu'ils soient explorés.

Si vous avez des URL telles que :

https://exemple․com/product/scented-candle-v1?add_to_cart

et

https://exemple․com/product/scented-candle-v1?add_to_wishlist

Comment bloquer Googlebot ? Il a déclaré : « Vous devriez probablement ajouter une règle d'interdiction pour eux dans votre fichier robots.txt. Les convertir en méthode HTTP POST fonctionne également, bien que de nombreux robots d'exploration puissent et feront des requêtes POST, alors gardez cela à l'esprit. »

Il y a quelques années, nous avons signalé que Googlebot pouvait ajouter des produits à votre panier pour vérifier que votre prix était correct. Cela semble faire partie de la fonctionnalité de score d'expérience d'achat du commerçant – je serais donc un peu prudent avec tout cela.

Discussion sur le forum sur LinkedIn.

Remarque : ceci a été pré-écrit et devrait être publié aujourd'hui. Je suis actuellement hors ligne pour Shavout.