Anthropic Updates Crawler Docs : ClaudeBot, Claude-User et SearchBot
Anthropic met à jour sa documentation sur les robots d'exploration expliquant ce que font ses robots et les conséquences de leur blocage. Anthropic a trois robots principaux et ils incluent ClaudeBot, Claude-User et Claude-SearchBot.
La documentation est ici et a été mise à jour, je crois, le vendredi 20 février dernier. Pedro Dias a repéré le changement et l'a publié sur X en disant : « Il semble qu'Anthropic ait mis à jour aujourd'hui sa documentation pour inclure plus d'informations sur ses robots et leur objectif. »
Voici ce qu'il dit aujourd'hui :
- ClaudeBot: ClaudeBot contribue à améliorer l'utilité et la sécurité de nos modèles d'IA génératifs en collectant du contenu Web qui pourrait potentiellement contribuer à leur formation. Lorsqu'un site restreint l'accès à ClaudeBot, cela signale que les futurs matériaux du site doivent être exclus de nos ensembles de données de formation de modèles d'IA.
- Claude-Utilisateur: Claude-User prend en charge les utilisateurs de Claude AI. Lorsque des individus posent des questions à Claude, celui-ci peut accéder à des sites Web à l'aide d'un agent Claude-Utilisateur. Claude-User permet aux propriétaires de sites de contrôler quels sites sont accessibles via ces demandes initiées par les utilisateurs. La désactivation de Claude-User sur votre site empêche notre système de récupérer votre contenu en réponse à une requête d'un utilisateur, ce qui peut réduire la visibilité de votre site pour la recherche Web dirigée par l'utilisateur.
- Claude-SearchBot: Claude-SearchBot navigue sur le Web pour améliorer la qualité des résultats de recherche pour les utilisateurs. Il analyse le contenu en ligne spécifiquement pour améliorer la pertinence et l'exactitude des réponses de recherche. La désactivation de Claude-SearchBot sur votre site empêche notre système d'indexer votre contenu pour l'optimisation de la recherche, ce qui peut réduire la visibilité et la précision de votre site dans les résultats de recherche des utilisateurs.
Anthropic prend également en charge la directive Crawl-delay et la directive du fichier robots.txt.
Discussion sur le forum X.
