Google : les référenceurs peuvent aider à façonner les politiques et les décisions des clients concernant les robots IA

John Mueller de Google a déclaré que les référenceurs sont dans une excellente position car ils comprennent comment fonctionnent les robots d'exploration, comment fonctionnent les contrôles, et ils peuvent aider leurs clients à décider de leurs politiques et décisions en matière d'IA alors qu'ils naviguent dans cette nouvelle ère de robots IA.

John Mueller a écrit sur LinkedIn : « Cette intersection de l'IA et du référencement vous place tous (les référenceurs techniques !) dans un endroit idéal pour contribuer à façonner les politiques/décisions pour et avec vos clients. » « Vous savez comment fonctionnent ces mécanismes de contrôle, vous pouvez choisir de les utiliser et aider les gens à décider ce qui a du sens pour eux », a-t-il ajouté.

J'aime la façon dont il a formulé la ligne suivante, en disant : « Le robots.txt vous donne beaucoup de contrôle (sur les robots d'exploration/utilisations raisonnables – pour les plus déraisonnables, vous devrez peut-être approfondir ou utiliser un CDN/hébergeur qui vous permet de les bloquer par type de demande), vous pouvez même faire en sorte que votre robots.txt les désactive par défaut si vous le souhaitez. » Je veux dire, il n’a pas dit « contrôle total » mais « beaucoup de contrôle ». Parce que non, cela ne vous donne pas un contrôle total. Dans certains cas, si vous souhaitez bloquer les aperçus AI, vous devez bloquer l'ensemble de la recherche Google. Il existe d'autres robots et robots d'exploration IA sans rapport avec Googlebot. Et puis il y a les innombrables moteurs d’IA émergents avec des robots partout.

John a écrit davantage, voici l'ensemble des commentaires :

Cette intersection de l'IA et du référencement vous place tous (les référenceurs techniques !) dans un endroit idéal pour aider à façonner les politiques/décisions pour et avec vos clients. Vous savez comment fonctionnent ces mécanismes de contrôle, vous pouvez choisir de les utiliser et aider les gens à décider ce qui a du sens pour eux.

Le robots.txt vous donne beaucoup de contrôle (sur les robots d'exploration/utilisations raisonnables – pour les plus déraisonnables, vous devrez peut-être approfondir ou utiliser un CDN/hébergeur qui vous permet de les bloquer par type de demande), vous pouvez même faites en sorte que votre robots.txt désactive tout par défaut si vous le souhaitez. Aidez la personne qui gère le site à prendre une décision (c'est la partie la plus difficile) et à la mettre en œuvre correctement (vous savez certainement comment faire).

Ces nouveaux systèmes accèdent au Web d'une manière similaire aux moteurs de recherche, dont vous savez (je suppose) comment ils fonctionnent et comment les guider. Les contrôles sont similaires (parfois les mêmes) à ceux des moteurs de recherche, dont vous savez comment ils fonctionnent et que vous pouvez utiliser de manière réfléchie. Ce que ces nouveaux systèmes font avec les données est parfois très différent, mais cela s'apprend (et cela change également rapidement). Vous savez ce que vous attendez des moteurs de recherche (« pourquoi faire du référencement ? XYZ est pourquoi »), vous pouvez extrapoler à partir de là si les nouveaux systèmes vous donnent quelque chose de comparable, et l'utiliser pour décider comment vous interagissez avec eux. Vous êtes (en tant que référenceur technique en particulier) bien placé pour aider à prendre ces décisions, et vous êtes certainement la bonne personne pour les mettre en œuvre. (Et bien sûr, votre base de référencement technique propre facilitera tout ce que ces nouveaux systèmes font, l'exploration, les liens internes, les URL propres, le HTML propre, etc. – si vous choisissez de suivre cette voie.)

Et enfin, j'espère que vous avez beaucoup de pratique pour dire « ça dépend », qui est la base de toute prise de décision technique.

Des clients viennent-ils vers vous et vous demandent comment gérer cela ?

Discussion sur le forum sur LinkedIn.

Remarque : ceci a été pré-écrit et devrait être publié aujourd'hui. Je suis actuellement hors ligne pour Rosh Hashanah.