Mise à jour Google Crawler provoquant des pointes en rampant pour certains

Certains sites, hébergés sur certains CDN (réseaux de livraison de contenu), connaissent un gros pic des temps de réponse du serveur pour ramper, tout en voyant une baisse des demandes de rampe totales. Donc, techniquement, le rampage a chuté, mais Google prend beaucoup plus de temps à ramper beaucoup moins. Soi-disant, cela a commencé plus tôt ce mois-ci et est toujours un problème pour certains.

Cela a été découvert par Gianna Brachetti-Truskawa qui a publié plus à ce sujet à la fois sur LinkedIn et Bluesky et elle a écrit:

Avez-vous vu une récente baisse des nouveaux utilisateurs et / ou constaté que le taux de framer de Google a chuté sur votre site tandis que les temps de réponse du serveur semblent être plus élevés que d'habitude?

Google a tranquillement mis à jour sa liste de gammes IP utilisées pour ramper (à partir de 04.02.2025). Si votre site Web est livré via un CDN, leur WAF protégeant votre site contre les attaques DDOS pourrait faire entrer Googlebot en limitation de taux ou être bloqué maintenant – à moins qu'ils ne mettent à jour leurs gammes IP autorisées en conséquence.

Cela n'a pas affecté chaque CDN, en fait, CloudFlare l'a bien géré, a-t-elle déclaré. Mais tous les CDN ne l'ont pas géré. « Heureusement, Cloudflare semble être au-dessus! Mais nous avons trouvé des rapports de quelques sites Web livrés via d'autres CDN, y compris des plus grands comme Akamai Technologies, qui rencontrent le problème, suggérant que leurs fournisseurs de CDN pourraient ne pas avoir mis à jour leurs gammes de propriété intellectuelle Pour Googlebot encore « , a-t-elle écrit.

Voici un graphique d'un thread de forum d'aide Google Webmaster affichant le problème. Vous pouvez consulter vos statistiques de manche dans la console de recherche ici:

En 2021, Google a commencé à publier sa liste IP Googlebot et j'ai couvert certaines fois que Google a mis à jour cette liste IP (puis je me suis arrêté, ce n'était pas excitant – jusqu'à présent).

John Mueller de Google a répondu aux préoccupations sur Bluekssy expliquant essentiellement qu'il y a ce fichier JSON pour suivre ces modifications et que les rampes se régleront avec le temps. Il a écrit:

Nous poussons automatiquement les fichiers IP JSON – des modifications se produisent de temps à autre. Si vous devez alerter en interne sur ces fichiers, n'hésitez pas à les interroger. J'ai vérifié les trois dernières mises à jour, elles étaient chacune des blocs IP 2x ajoutés (IPv6 / V4). Ce n'est généralement pas une refonte complète.

Il est difficile de savoir comment le Web réagira aux changements d'infrastructure subtils, ce qui explique pourquoi nous avons publié automatiquement ces gammes IP. J'espère que ce n'était qu'un blip à court terme!

Je suive ces changements encore et normalement, les changements ne sont pas si fréquents et souvent assez mineurs à la taille globale du document. Mais les changements sont des changements – voici quelques-uns des changements les plus récents que j'ai suivis:

Vous pouvez voir le fichier JSON ici.

Gianna Brachetti-Truskawa a partagé quelques conseils sur ce que vous pouvez faire, si vous êtes touché – elle a écrit:

• Vérifiez auprès de votre fournisseur CDN s'ils ont mis à jour leurs gammes IP pour Googlebot. Vous pouvez leur demander de vérifier à l'aide du fichier JSON de Google. Sinon, envisagez de passer à un fournisseur qui suit ces changements.
• Envisagez de surveiller les changements vous-même ou trouvez des instantanés du fichier dans la machine Wayback. Vous pouvez également sauver des instantanés à la demande par vous-même (je ne suggérerais pas de compter sur l'infrastructure que vous ne possédez pas, mais c'est un moyen facile!), Puis comparer les deux fichiers avec votre méthode préférée (par exemple, en utilisant Testomato ou Little Warden – ou un plugin Comparez dans Notepad ++ si vous vous sentez à l'ancienne).
• Trouvez plus de conseils sur les CDN dans les commentaires.

Voulez-vous que je couvre les modifications de ce fichier JSON à l'avenir? Cela vous serait-il utile?

Discussion du forum sur LinkedIn et Bluesky.

MISE À JOUR: Il y a maintenant aussi un fil de webmasterworld se plaignant de la même chose – voici un graphique similaire à partir de là: