GoogleOther : un nouveau robot d’exploration générique de Google pour aider Googlebot
Google a ajouté un nouveau crawler à sa liste de Google Crawlers et user agents, celui-ci se nomme GoogleOther. C’est décrit en tant que « robot d’exploration générique pouvant être utilisé par diverses équipes produit pour récupérer du contenu accessible au public à partir de sites ».
Par exemple, il peut être utilisé pour des analyses ponctuelles pour la recherche et le développement internes, a expliqué Google. Le robot d’exploration GoogleOther obéit toujours aux règles robots.txt pour son jeton d’agent utilisateur et l’agent utilisateur global
et utilise les mêmes plages d’adresses IP que Googlebot.
Le jeton de l’agent utilisateur est « GoogleOther » et la chaîne complète de l’agent utilisateur est « GoogleOther ». Gary Illyes de Google a expliqué sur LinkedIn
que ce nouveau robot d’exploration « remplacera certaines des autres tâches de Googlebot, telles que les explorations de R&D, afin de libérer une certaine capacité d’exploration pour Googlebot ».
Gary a écrit : « Nous avons ajouté un nouveau robot d’exploration, GoogleOther, à notre liste de robots d’exploration qui, en fin de compte, soulageront Googlebot. Il s’agit d’un changement sans opération pour vous, mais c’est néanmoins intéressant, je pense. Comme nous optimisons comment et ce que Googlebot crawls, nous voulions nous assurer que les tâches d’exploration de Googlebot ne sont utilisées qu’en interne pour créer l’index utilisé par la recherche. Pour cela, nous avons ajouté un nouveau robot d’exploration, GoogleOther, qui remplacera certaines des autres tâches de Googlebot telles que les crawls R&D pour libérer une certaine capacité d’exploration pour Googlebot. Le nouveau robot d’exploration utilise la même infrastructure que Googlebot et a donc les mêmes limitations et fonctionnalités que Googlebot : limitations de charge d’hôte, robotstxt (bien que jeton d’agent utilisateur différent), version du protocole http, taille de récupération, etc. Il s’agit essentiellement de Googlebot sous un autre nom. »
Il n’y a aucun commentaire sur si ce robot d’exploration peut ou non être utilisé pour Google Bard.
Donc, si vous voyez ce nouveau crawler, GoogleOther, c’est de cela qu’il s’agit.
Je pense qu’ils auraient dû l’appeler « MiniMeGoogleBot ».
Juste une précision de Gary :
> utilisé par les équipes produit Google pour créer en interne l’index Google
dans l’autre sens : Googlebot est utilisé pour la création d’index, GoogleOther pour les autres tâches historiquement détenues par Googlebot — Gary 鯨理／경리 Illyes (@methode)
20 avril 2023 Forum de discussion surLinkedIn
.
