Google : comment le passage à un CDN peut accidentellement submerger votre site Web
Gary Illyes et Chery Prommawin ont publié la dernière vidéo de la série Non-Canonical Cabinet, celle-ci est sur les CDN, les réseaux de diffusion de contenu. Ils expliquent pourquoi la migration d'un site Web vers un CDN peut soudainement augmenter l'activité d'exploration de Googlebot, pourquoi cela peut surcharger votre serveur d'origine et comment éviter de bloquer accidentellement les robots d'exploration de Google.
Google a également publié un nouveau billet de blog sur ce sujet.
Voici la vidéo, elle dure moins de 10 minutes :
Dans cet épisode, ils expliquent « pourquoi Googlebot met le feu à votre CDN nouvellement configuré, à quoi il faut faire attention et comment gérer la situation calmement », notamment :
- Enthousiasme excessif des robots : pourquoi les robots d'exploration accélèrent-ils la vitesse d'exploration lorsque vous passez à un CDN
- Manques de cache et serveurs d'origine : pourquoi, pour chaque première demande unique, votre serveur d'origine fait quand même le gros du travail
- Protection globale contre les robots : le blocage agressif de tous les robots est-il utile ?
- Comment survivre au jour du lancement du CDN : choses que vous pouvez faire pour protéger vos serveurs contre l'effondrement
Bien que les CDN soient excellents, la migration vers un tel peut parfois créer des problèmes inattendus, en particulier avec les robots des moteurs de recherche.
Googlebot surveille automatiquement la rapidité avec laquelle un site Web répond à ses demandes. Lorsqu’un site Web migre vers un CDN, les temps de réponse peuvent devenir considérablement plus rapides. En conséquence, Googlebot peut interpréter cette amélioration des performances comme une opportunité d’explorer davantage de pages à un rythme plus élevé. Ainsi, votre site Web pourrait soudainement recevoir beaucoup plus de requêtes d’exploration qu’auparavant.
Lorsque vous déployez un CDN pour la première fois, son cache est initialement vide. Cela signifie qu'il ne dispose pas encore de copies du contenu de votre site Web. Imaginez que Googlebot commence à explorer 100 000 URL uniques. Si ces pages ne sont pas encore mises en cache, le CDN doit récupérer chaque page de votre serveur d'origine. Ainsi, même si vous avez implémenté un CDN, votre serveur d'origine peut toujours constater un pic de trafic massif lors de l'analyse initiale. Un CDN ne protège pas immédiatement votre serveur d'origine de chaque requête. Son efficacité dépend en partie de la quantité de contenu déjà mis en cache.
Lorsque les développeurs remarquent une augmentation soudaine de l’activité d’exploration, ils peuvent supposer que leur site Web est attaqué par des robots malveillants. En réponse, ils pourraient activer une protection agressive contre les robots via leur CDN. Le problème est que ces protections peuvent bloquer accidentellement les robots légitimes des moteurs de recherche, y compris Googlebot. Le blocage des robots d'exploration légitimes des moteurs de recherche peut créer un problème de référencement bien plus important que l'augmentation initiale de l'activité d'exploration.
Une bonne approche lors de la migration vers un CDN est :
- Préparez et préchauffez votre cache CDN.
- Autoriser les robots d'exploration des moteurs de recherche vérifiés.
- Bloquez les robots malveillants de manière sélective.
- Utilisez la limitation de débit pour gérer un trafic excessif.
- Surveillez l’état du serveur et l’activité d’exploration.
La plupart, sinon la totalité, de ce contenu provient des documents d'aide de Google, notamment :
Discussion sur le forum sur LinkedIn.
