Google Effingo – Des vitesses de transfert insensées utilisées par la recherche Google
Avez-vous entendu parler d'Effingo de Google ? Google en a parlé sur son blog Google Cloud en mai 2023. Gary Illyes de Google a déclaré qu'il est utilisé par Google Search et d'autres domaines de Google pour effectuer des transferts de données incroyablement rapides entre les centres de données de Google.
En parlant de rapidité, Gary a expliqué qu'Effingo « transfère des données à un rythme global de 14 téraoctets par seconde ». Il a ajouté : « Effingo transfère un peu plus d'un exaoctet de données par jour chez Google, des données comme certains de nos signaux de classement, nos index Web et médias, peut-être les octets bruts des photos des gens. »
Cela représente « environ 14 téraoctets par seconde », a-t-il écrit sur LinkedIn.
Je suppose que les données transférées spécifiques à Google Search sont les index et autres données de recherche que Google déplace depuis ses centres de données Google Search.
Gary a expliqué dans un cas où il l'a utilisé chez Google, il a écrit :
Il y a une dizaine d'années, l'un de mes projets nécessitait la réplication d'une grande quantité de données, probablement de l'ordre de quelques dizaines de téraoctets, vers trois régions/centres de données. Je savais à quel point il était pénible d'utiliser des méthodes traditionnelles pour copier des données et qu'il faudrait une éternité pour terminer la réplication. J'ai donc naturellement beaucoup tergiversé. Mon responsable technique m'a demandé ce qui se passait et je lui ai expliqué ma crainte. Il m'a demandé si j'avais entendu parler d'Effingo. Je n'en ai pas entendu parler, mais 5 minutes plus tard, j'étais déjà en train de taper la commande qui récupérerait mes données du centre de données A et les copierait vers B et C. Je m'attendais à ce que la réplication prenne quelques heures ; cela a pris environ 3 minutes. J'étais sous le charme.
Voici le document de Google publié à ce sujet la semaine dernière.
C'est juste incroyablement rapide…
Et ce nom – Effingo – est incroyable. A propos du nom, Gary a ajouté dans les commentaires : « détail de fond amusant : nous avions une formation qui comprenait un module sur la façon de nommer les choses de manière à ne pas être gênés si cela se retrouve sur la première page du NYT/WSJ. »
Forum de discussion sur LinkedIn.
