Googlebot Robot étendu Google

Google-Extended est le nouveau robot d’exploration de Google pour bloquer Bard ou Google AI

Google a annoncé un nouveau Googlebot, un nouveau robot d’exploration Google, nommé Google étendu que vous pouvez utiliser pour contrôler si votre contenu peut contribuer à améliorer les API génératives Bard et Vertex AI ou les futurs produits Google AI. Donc, si vous souhaitez interdire à Bard d’utiliser votre contenu, vous le spécifiez dans votre robots.txt avec l’agent utilisateur Google-Extended.

Google n’explorera pas à partir de Google-Extended, Google explorera toujours à partir de son Googlebot normal ou d’autres robots. Mais l’utilisation de Google-Extended indiquera à Google de ne pas utiliser ce contenu pour Bard ou d’autres projets d’IA Google. Un porte-parole de Google m’a dit : « Google-Extended dira à Google de ne pas utiliser le contenu du site pour les API génératives Bard et Vertex AI. » « Pour la recherche, les administrateurs de sites Web doivent continuer à utiliser l’agent utilisateur Googlebot via robots.txt et la balise méta NOINDEX pour gérer leur contenu dans les résultats de recherche, y compris des expériences telles que Search Generative Experience », a ajouté Google.

Essentiellement, cela vous permet d’autoriser la recherche Google à explorer, indexer et classer votre site Web, mais d’interdire à Bard ou à d’autres projets Google AI d’utiliser votre contenu.

Cela survient après que Bing a proposé des contrôles pour empêcher Bing Chat AI d’utiliser votre site il y a une semaine.

« Aujourd’hui, nous annonçons Google-Extended, un nouveau contrôle que les éditeurs Web peuvent utiliser pour déterminer si leurs sites contribuent à améliorer les API génératives de Bard et Vertex AI, y compris les futures générations de modèles qui alimentent ces produits. En utilisant Google-Extended pour contrôler l’accès au contenu d’un site, un administrateur de site Web peut choisir d’aider ou non ces modèles d’IA à devenir plus précis et plus performants au fil du temps », a écrit Google.

Google-Extended est un « jeton de produit autonome que les éditeurs Web peuvent utiliser pour déterminer si leurs sites contribuent à améliorer les API génératives de Bard et Vertex AI, y compris les futures générations de modèles qui alimentent ces produits », Google. expliqué.

Le jeton de l’agent utilisateur est Google-Extended

« Google-Extended n’a pas de chaîne d’agent utilisateur de requête HTTP distincte. L’exploration est effectuée avec les chaînes d’agent utilisateur Google existantes ; le jeton d’agent utilisateur robots.txt est utilisé à des fins de contrôle », a ajouté Google.

Je ne sais pas si c’est l’approche alternative pour robots.txt pour l’IA…

Notez que le bot Google News fonctionne également de la même manière, où il n’explore pas mais utilise la directive pour utiliser ce contenu dans Google News :

Discussion sur le forum à X.

L'équipe IBS Paris
L'équipe IBS Paris

IBS Paris, fondée en 2011, est pionnière dans l'intégration de l'innovation et du digital au cœur de son enseignement en école de commerce. Elle cultive une communauté étudiante engagée, favorisant l'excellence et le travail d'équipe. Ce creuset d’ambition prépare ses étudiants à devenir des leaders éclairés dans le monde du commerce global.