Classement papier du robot Google

Google vérifie chaque jour 4 milliards de noms d’hôtes pour Robots.txt

Saviez-vous que la recherche Google vérifie chaque jour environ quatre milliards de noms d’hôtes à des fins robots.txt ? Gary Illyes a déclaré dans le podcast Search Off The Record de décembre « nous avons environ quatre milliards de noms d’hôtes que nous vérifions chaque jour pour robots.txt ».

Il a dit cela au 20h31 dans la vidéo. Il a déclaré que s’ils vérifiaient quotidiennement quatre milliards de noms d’hôtes, alors « le nombre de sites serait probablement supérieur ou très probablement supérieur à quatre milliards ».

J’ai repéré cette vidéo de Glenn Gabe :

Voici la transcription :

GARY ILLYES : Oui, et je veux dire, c’est l’un des problèmes que nous avons évoqués au début. Si nous implémentons quelque chose ou si nous proposons ou suggérons quelque chose qui pourrait fonctionner, cela ne devrait pas mettre plus de pression sur les éditeurs car si vous y réfléchissez, si vous parcourez notre cache robots.txt, vous pouvez voir que nous avons environ quatre milliards noms d’hôtes que nous vérifions chaque jour pour robots.txt. Maintenant, disons que tous ont des sous-répertoires, par exemple. Le nombre de sites est donc probablement supérieur ou très probablement supérieur à quatre milliards.

JOHN MUELLER : Combien d’entre eux se trouvent dans la Search Console ? Je me demande.

GARY ILLYES : John, arrête ça.

JOHN MUELLER : Je suis désolé.

GARY ILLYES : Quoi qu’il en soit, si vous avez quatre milliards de noms d’hôtes et bien d’autres dans des sous-répertoires, comment mettre en œuvre quelque chose qui ne les fera pas faire faillite lorsqu’ils souhaitent mettre en œuvre un mécanisme de désinscription ?

JOHN MUELLER : C’est compliqué.

GARY ILLYES : C’est compliqué. Et je sais que les gens sont frustrés parce que nous n’avons pas déjà quelque chose. Mais ce n’est pas quelque chose à…

MARTIN SPLITT : À prendre à la légère, ouais.

GARY ILLYES : Ouais.

Voici la vidéo intégrée à l’heure de démarrage :

Discussion sur le forum à X.