Gary Illyes de Google veut que Googlebot explore moins
Gary Illyes de Google a posté sur LinkedIn que sa mission cette année est de « comprendre comment explorer encore moins et avoir moins d'octets sur le fil ». Il a ajouté que Googlebot devrait « être plus intelligent en matière de mise en cache et de partage de cache interne entre les agents utilisateurs, et que nous devrions avoir moins d'octets sur le réseau ».
Il a ajouté : « Réduire l'exploration sans sacrifier la qualité de l'exploration profiterait à tout le monde. »
Aujourd'hui, a ajouté Gary, Google explore autant qu'avant – même si certaines personnes pensent que Google explore moins. Il a déclaré : « Dans l'ensemble, ce n'est tout simplement pas le cas ; nous rampons à peu près autant qu'avant. »
Ce que Google est meilleur dans ce domaine auparavant, c'est la planification. « Cependant, la planification est devenue plus intelligente et nous nous concentrons davantage sur les URL les plus susceptibles de mériter une exploration », a-t-il expliqué.
Il semble que Microsoft Bing, notamment Fabrice Canel de Microsoft et Gary Illyes de Google, aient les mêmes objectifs. Microsoft s'attaque à ce problème en encourageant les propriétaires de sites à utiliser IndexNow. Google a déclaré en novembre 2021 qu'il pourrait envisager d'adopter IndexNow, mais cela allait et venait…
John Mueller de Google a commenté le message en suggérant : « Nous pourrions simplement explorer les flux RSS et créer une sorte de lecteur. » Une blague sur Google Reader…
Quoi qu'il en soit, nous verrons ce que Google finira par faire ici. Voici son article complet :
Ma mission cette année est de trouver comment explorer encore moins et avoir moins d'octets sur le fil.
Il y a quelques jours, un article a été publié sur une communauté Reddit expliquant que, selon l'OC, Google explore moins que les années précédentes. Dans l’ensemble, ce n’est tout simplement pas le cas ; nous explorons à peu près autant qu'avant, mais la planification est devenue plus intelligente et nous nous concentrons davantage sur les URL qui sont plus susceptibles de mériter une exploration.
Cependant, nous devrions en fait moins ramper. Nous devrions, par exemple, être plus intelligents en matière de mise en cache et de partage de cache interne entre les agents utilisateurs, et nous devrions avoir moins d'octets sur le réseau.
Si vous avez vu un projet Internet intéressant de l'IETF (ou d'un autre organisme de normalisation) qui pourrait vous aider dans cet effort, ou une norme réelle que j'ai peut-être manquée, envoyez-la-moi. Réduire l’exploration sans sacrifier la qualité de l’exploration profiterait à tout le monde.
Discussion sur le forum sur LinkedIn.
