Google met à jour les documents Google Crawlers et Fetchers avec des effets et des extraits

Google a entièrement réorganisé la documentation de ses robots d'exploration et de ses récupérateurs déclenchés par l'utilisateur. Elle était auparavant sur une seule page et est désormais répartie sur plusieurs pages. La plupart des modifications consistaient simplement à déplacer du contenu, mais Google a ajouté des sections pour savoir quel produit chaque robot d'exploration affecte et a ajouté un extrait de robots.txt pour chaque robot d'exploration afin de montrer comment utiliser les jetons d'agent utilisateur.

Google a écrit : « La documentation est devenue très longue, ce qui a limité notre capacité à étendre le contenu de nos robots d'exploration et de nos récupérateurs déclenchés par les utilisateurs », c'est pourquoi ils l'ont refait.

Si vous explorez chaque crawl, par exemple Googlebot, vous verrez deux nouvelles sections :

(1) Produits concernés

(2) Exemple de groupe robots.txt

Voici un exemple de capture d'écran, mais ce que j'ai surligné en rouge a été ajouté pour chaque robot d'exploration :

Voici comment chaque robot affecte les produits :

• Googlebot : les préférences d'exploration adressées à l'agent utilisateur Googlebot affectent Google Search (y compris Discover et toutes les fonctionnalités de Google Search), ainsi que d'autres produits tels que Google Images, Google Video, Google News et Discover.
• Googlebot Image : les préférences d'exploration adressées à l'agent utilisateur Googlebot-Image affectent Google Images, Discover, Google Video et toutes les fonctionnalités de Google Search où les images, les logos et les favicons sont présentés.
• Googlebot Video : les préférences d'exploration adressées à l'agent utilisateur Googlebot-Video affectent les fonctionnalités de recherche Google liées aux vidéos et d'autres produits dépendant des vidéos.
• Googlebot News : les préférences d'exploration adressées à l'agent utilisateur Googlebot-News affectent toutes les surfaces de Google News (par exemple, l'onglet Actualités dans la recherche Google et l'application Google News).
• Google StoreBot : les préférences d'exploration adressées à l'agent utilisateur Storebot-Google affectent toutes les surfaces de Google Shopping (par exemple, l'onglet Shopping dans Google Search et Google Shopping).
• Google-InspectionTool : les préférences d'exploration adressées à l'agent utilisateur Storebot-Google affectent les outils de test de recherche tels que le test de résultats enrichis et l'inspection d'URL dans la Search Console. Cela n'a aucun effet sur la recherche Google ou d'autres produits.
• GoogleOther : les préférences d'exploration adressées à l'agent utilisateur GoogleOther n'affectent aucun produit spécifique. GoogleOther est le robot d'exploration générique qui peut être utilisé par diverses équipes de produits pour récupérer le contenu accessible au public à partir de sites. Par exemple, il peut être utilisé pour des explorations ponctuelles à des fins de recherche et de développement internes. Il n'a aucun effet sur la recherche Google ou sur d'autres produits.
• GoogleOther-Image : les préférences d'exploration adressées à l'agent utilisateur GoogleOther-Image n'affectent aucun produit spécifique, comme pour GoogleOther. GoogleOther-Image est la version de GoogleOther optimisée pour la récupération des URL d'images accessibles au public.
• GoogleOther-Video : les préférences d'exploration adressées à l'agent utilisateur GoogleOther-Video n'affectent aucun produit spécifique, comme pour GoogleOther. GoogleOther-Video est la version de GoogleOther optimisée pour la récupération des URL de vidéos accessibles au public.
• Google-CloudVertexBot : les préférences d'exploration adressées à l'agent utilisateur Google-CloudVertexBot affectent les explorations demandées par les propriétaires de sites pour la création d'agents Vertex AI. Cela n'a aucun effet sur la recherche Google ou d'autres produits.
• Google-Extended : Google-Extended est un jeton de produit autonome que les éditeurs Web peuvent utiliser pour gérer si leurs sites contribuent à améliorer les API génératives de Gemini Apps et Vertex AI, y compris les futures générations de modèles qui alimentent ces produits. Google-Extended n'a aucun impact sur l'inclusion ou le classement d'un site dans la recherche Google.
• API-Google : les préférences d'exploration adressées à l'agent utilisateur API-Google affectent la diffusion des messages de notification push par les API Google.
• AdsBot Mobile Web : les préférences d'exploration adressées à l'agent utilisateur AdsBot-Google-Mobile affectent la capacité de Google Ads à vérifier la qualité des annonces sur les pages Web.
• AdsBot : les préférences d'exploration adressées à l'agent utilisateur AdsBot-Google affectent la capacité de Google Ads à vérifier la qualité des annonces sur les pages Web.
• AdSense : les préférences d'exploration adressées à l'agent utilisateur de Mediapartners-Google affectent Google AdSense. Le robot d'exploration AdSense visite les sites participants afin de leur proposer des annonces pertinentes.
• Google-Safety : l'agent utilisateur Google-Safety gère l'exploration spécifique aux abus, comme la détection de logiciels malveillants pour les liens publiés publiquement sur les propriétés Google. Il n'est donc pas affecté par les préférences d'exploration.
• Feedfetcher : Feedfetcher est utilisé pour explorer les flux RSS ou Atom pour Google News et PubSubHubbub.
• Centre des éditeurs Google : le Centre des éditeurs Google récupère et traite les flux que les éditeurs ont explicitement fournis pour être utilisés dans les pages de destination de Google Actualités.
• Google Read Aloud : à la demande de l'utilisateur, Google Read Aloud récupère et lit les pages Web à l'aide de la synthèse vocale (TTS).
• Google Site Verifier : Google Site Verifier récupère les jetons de vérification de la Search Console.

Google a écrit :

Nous avons réorganisé la documentation des robots d'exploration et des récupérateurs déclenchés par l'utilisateur de Google. Nous avons également ajouté des notes explicites sur le produit concerné par chaque robot d'exploration et ajouté un extrait de fichier robots.txt pour chaque robot d'exploration afin de montrer comment utiliser les jetons d'agent utilisateur. Par ailleurs, aucun changement significatif n'a été apporté au contenu.

Discussion sur le forum chez X.

Crédit photo : Lizzi Sassman