Google vérifie chaque jour 4 milliards de noms d’hôtes pour Robots.txt
Saviez-vous que la recherche Google vérifie chaque jour environ quatre milliards de noms d’hôtes à des fins robots.txt ? Gary Illyes a déclaré dans le podcast Search Off The Record de décembre « nous avons environ quatre milliards de noms d’hôtes que nous vérifions chaque jour pour robots.txt ».
Il a dit cela au 20h31 dans la vidéo. Il a déclaré que s’ils vérifiaient quotidiennement quatre milliards de noms d’hôtes, alors « le nombre de sites serait probablement supérieur ou très probablement supérieur à quatre milliards ».
J’ai repéré cette vidéo de Glenn Gabe :
Gary Illyes de Google dans le dernier podcast SOTR : Google compte environ 4 milliards de noms d’hôtes qu’il vérifie chaque jour pour le fichier robots.txt https://t.co/Irc2outOM4 pic.twitter.com/lyb68pnR7d
–Glenn Gabe (@glenngabe) 22 décembre 2023
Voici la transcription :
GARY ILLYES : Oui, et je veux dire, c’est l’un des problèmes que nous avons évoqués au début. Si nous implémentons quelque chose ou si nous proposons ou suggérons quelque chose qui pourrait fonctionner, cela ne devrait pas mettre plus de pression sur les éditeurs car si vous y réfléchissez, si vous parcourez notre cache robots.txt, vous pouvez voir que nous avons environ quatre milliards noms d’hôtes que nous vérifions chaque jour pour robots.txt. Maintenant, disons que tous ont des sous-répertoires, par exemple. Le nombre de sites est donc probablement supérieur ou très probablement supérieur à quatre milliards.
JOHN MUELLER : Combien d’entre eux se trouvent dans la Search Console ? Je me demande.
GARY ILLYES : John, arrête ça.
JOHN MUELLER : Je suis désolé.
GARY ILLYES : Quoi qu’il en soit, si vous avez quatre milliards de noms d’hôtes et bien d’autres dans des sous-répertoires, comment mettre en œuvre quelque chose qui ne les fera pas faire faillite lorsqu’ils souhaitent mettre en œuvre un mécanisme de désinscription ?
JOHN MUELLER : C’est compliqué.
GARY ILLYES : C’est compliqué. Et je sais que les gens sont frustrés parce que nous n’avons pas déjà quelque chose. Mais ce n’est pas quelque chose à…
MARTIN SPLITT : À prendre à la légère, ouais.
GARY ILLYES : Ouais.
Voici la vidéo intégrée à l’heure de démarrage :
Discussion sur le forum à X.
