Google sur les règles robots.txt pour les robots d'exploration IA, les emojis, les URL internationales et plus

Gary Illyes et Chery Prommawin ont publié leur deuxième vidéo de la série Non-Canonical Cabinet ; celui-ci s'appelle Que pouvez-vous réellement mettre dans un robots.txt ? Ici, ils discutent de ce qui est et n'est pas pris en charge par les fichiers robots.txt. Et même si Google peut prendre en charge des fonctionnalités ou des directives, d'autres moteurs de recherche ou robots d'exploration IA peuvent ne pas le faire.

Voici les points à retenir de haut niveau :

• Googlebot utilise le fichier robots.txt pour limiter l'exploration
• Votre fichier robot.txt doit suivre la RFC 9309
• Utiliser le codage en pourcentage pour les caractères non anglais dans les chemins de règles
• Et consultez le document de Google pour plus de détails

Voici quelques points que j’ai retenus de l’écoute de la vidéo :

• Ne présumez pas qu’une règle robots.txt fonctionne simplement parce qu’elle semble compréhensible pour un humain. Validez la syntaxe et testez les modèles d'URL réels.
• Soyez prudent lorsque vous bloquez des URL contenant des caractères internationaux ou des emojis. Les incohérences d'encodage peuvent compromettre une règle, en particulier dans différentes implémentations de robots d'exploration.
• Séparez les contrôles d’exploration des politiques de formation de l’IA. Empêcher un robot d'exploration IA d'accéder à une page est différent de dire à une entreprise de ne pas se former sur le contenu qu'elle a déjà obtenu.
• Utilisez le nom correct du robot. Les règles du robot d'exploration IA doivent identifier le robot d'exploration prévu à l'aide de son jeton d'agent utilisateur reconnu.
• N'oubliez pas que robots.txt n'est pas un mécanisme de sécurité. Il demande aux robots d'exploration conformes de s'abstenir d'accéder aux chemins spécifiés ; cela n'empêche pas l'accès de clients non autorisés et ne garantit pas que chaque bot sera conforme.

Ce que je préfère dans la vidéo, c'est lorsque Cherry sort du placard une photo encadrée de John Mueller et la tend à Gary :

Voici la vidéo complète :

Voici la transcription :

Gary Illyes et Cherry Prommawin discutent du fichier robots.txt

Prommawin aux cerises : Gary, Gary. Le cabinet m'appelle.

Gary Illyes : La seule chose qui vous appelle, c'est le chaos. Cherry, laisse le placard tranquille.

Gary Illyes : Nous résolvons un arriéré depuis les profondeurs les plus profondes de nos questions-réponses sur notre événement. Chaque fois que quelqu'un nous pose une question bizarre, elle arrive directement ici.

Gary Illyes : Nous avons accumulé tellement de bagage technique au fil des années. Si un inspecteur des incendies franchit cette porte, je ne te connais pas, Cherry.

Gary Illyes : Et tout cela vit ici, dans ce cabinet non canonique. Voir.

Prommawin aux cerises : Un panneau d'interdiction d'entrée dans un classeur. Avons-nous peur que des gens grimpent à l’intérieur ?

Gary Illyes : Oh, Cherry, on n'est jamais trop prudent.

Gary Illyes : Le signe est là car aujourd’hui, nous parlons du gatekeeper de votre site web, le fichier robots.txt.

Prommawin aux cerises : L'amour de ma vie.

Gary Illyes : Robots.txt, ce fichier n'est qu'un simple fichier en texte brut qui se trouve à la racine d'un site Web pour indiquer aux robots automatisés ce qu'ils peuvent et ne peuvent pas faire.

Prommawin aux cerises : Si simple. Si beau.

Gary Illyes : Les règles s'appliquent aux robots d'exploration des moteurs de recherche, aux robots d'entraînement à l'IA et à d'autres robots d'exploration bien élevés.

Prommawin aux cerises : C'est comme un ensemble de règles internes pour les robots d'exploration.

Gary Illyes : Avant que Googlebot ou tout autre robot d'exploration bien élevé examine le contenu d'un site, il vérifie d'abord ce fichier pour voir dans quelles pièces il est autorisé à entrer et lesquelles sont strictement interdites.

Gary Illyes : Et tout cela est défini par une norme Internet, la RFC 9309.

Prommawin aux cerises : Si beau.

Gary Illyes : Oh d'accord.

Prommawin aux cerises : Ce que les gens veulent savoir, c'est à quel point pouvez-vous créer ce fichier bizarrement ? Pouvons-nous le rendre joli ? Pouvons-nous utiliser des caractères non anglais ? Pouvons-nous dire aux robots IA de rester à l’écart en utilisant un emoji de panneau d’arrêt littéral ?

Gary Illyes : Sérieusement? Bon, allons au bureau.

Gary Illyes : Un fichier robots.txt n’est pas votre toile d’art personnelle.

Prommawin aux cerises : C'est un fichier texte brut.

Gary Illyes : C’est la toute première chose que de nombreux robots regardent lorsqu’ils visitent votre site, pour voir où ils sont autorisés à aller.

Gary Illyes : Ils ne se soucient que des choses qu’ils peuvent réellement lire.

Prommawin aux cerises : D'accord, puis-je au moins créer des illustrations ASCII amusantes dans les commentaires, comme un poulet ASCII géant gardant mon site ?

Gary Illyes : Techniquement, oui.

Gary Illyes : Commencez vos lignes avec un hachage et les robots les ignoreront complètement.

Gary Illyes : Ainsi, même si c'est un choix de vie discutable, vous pouvez y coller un poulet géant ASCII.

Prommawin aux cerises : Une fois, j'ai trouvé un site Web dont le fichier robots.txt était composé à 97 % de scripts et à seulement 3 % de directives.

Gary Illyes : Est-ce que cela a cassé un analyseur ?

Prommawin aux cerises : Non, gaspillez de la bande passante.

Gary Illyes : Ouais, Cerise.

Prommawin aux cerises : N'est-ce pas votre site Web ?

Gary Illyes : J'ai de nombreux sites Web. Ok, hé poulet, le dessin compte.

Gary Illyes : Mais si vous gâchez accidentellement le formatage, cela peut être dangereux. Comme nous l'avons dit, la norme est la RFC 9309.

Gary Illyes : Google suit cette norme. L'analyseur lit ligne par ligne. Il recherche des règles spécifiques : user-agent, autoriser, interdire et plan du site.

Gary Illyes : Si vous gâchez une ligne ou essayez de fantaisie avec votre espacement, le système supprimera simplement silencieusement la ligne qu'il ne comprend pas et passera à autre chose.

Gary Illyes : C'est une machine simple. Il ne sait quoi faire qu'avec quelques commandes.

Prommawin aux cerises : Ouais, comme tu l'as dit, quatre d'entre eux.

Gary Illyes : Si vous écrivez « ne pas explorer la page secrète », Google examine « ne pas explorer », se rend compte que ce n'est pas une règle valide, l'ignore et pourrait de toute façon explorer votre page secrète.

Prommawin aux cerises : Et s'il y avait un robot d'exploration qui utilisait l'emoji poulet comme jeton de produit ? Puis-je écrire des emoji de poulet d'agent utilisateur ?

Gary Illyes : Le robot poulet s'arrête-t-il ?

Prommawin aux cerises : Il y a un robot poulet ?

Gary Illyes : Malheureusement non.

Gary Illyes : Eh bien, mais même s’il y en avait, les jetons d’agent utilisateur ne peuvent avoir que des lettres et des tirets.

Gary Illyes : Un emoji est un caractère UTF-8 multi-octets, et je ne connais aucun encodage qui répondrait à cette exigence de tiret de lettre.

Gary Illyes : Donc ça ne marchera pas du tout.

Prommawin aux cerises : Attendez, cela signifie-t-il que nous ne pouvons pas non plus contenir de caractères non anglais ?

Gary Illyes : Aucun emoji de poulet ou autre caractère non anglais dans le jeton de l'agent utilisateur.

Prommawin aux cerises : Le poulet m'a fait réfléchir.

Gary Illyes : À votre avis, que se passe-t-il lorsque les propriétaires de sites utilisent du poulet ou du texte localisé dans leurs chemins d'URL ?

Prommawin aux cerises : Oh, tu veux dire des personnages non anglais. Peut-être les trémas allemands, la cédille portugaise ? Lettres avec petits chapeaux et queues.

Gary Illyes : Ouais, peut-être aussi un ensemble d'alphabets complètement différents, comme l'arabe, l'hindi, le japonais ou le chinois.

Gary Illyes : C'est en fait exactement le même concept pour les emojis et les caractères non anglais.

Gary Illyes : Suivez un chemin comme une page de poulet allemand ou un chemin complet en caractères chinois vers une délicieuse page de poulet frit, comme un poulailler.

Prommawin aux cerises : Votre prononciation est étonnamment correcte, Gary. Vous ne parlez que dans les journaux du serveur et dans le café. Savez-vous au moins ce que je viens de dire ?

Gary Illyes : S'il vous plaît, je connais la cadence du meilleur poulet frit de tous les temps, dans n'importe quelle langue. Mais dites-m'en plus sur l'analyseur.

Prommawin aux cerises : D'accord, Googlebot gère les scripts internationaux et le poulet comme n'importe quel client HTTP le fait en coulisses. Ces caractères sont UTF-8 multi-octets.

Prommawin aux cerises : L'analyseur de Google est flexible et traduira automatiquement les caractères chinois, les trémas allemands ou les emojis en les codant.

Prommawin aux cerises : En fait, c'est la même chose que Google lorsqu'il explore des éléments, mais d'autres robots d'exploration ou plus anciens sur le Web peuvent être confus. Pour être en sécurité sur l'ensemble de l'infrastructure Internet mondiale, vous devez utiliser la version codée dans vos règles robots.txt.

Gary Illyes : Supposons que vous souhaitiez empêcher les robots d'exploration de visiter :

Prommawin aux cerises : Offrez-vous un emoji de poulet.

Gary Illyes : Ici, reflétez ce que votre serveur attend et écrivez réellement sa forme codée en pourcentage.

Prommawin aux cerises : Gardez-le standard afin que chaque bot qui parle robots.txt respecte vos limites. S'ils ne peuvent pas traiter quelque chose comme un poulet cru, ils pourraient simplement ignorer toute la ligne d'interdiction et explorer tout ce que vous essayez de protéger.

Gary Illyes : Je n'ai absolument rien à ajouter à cela.

Gary Illyes : Bon, parlons du plus grand : l'IA générative.

Prommawin aux cerises : Tout le monde veut savoir comment parler aux robots d’exploration IA. Puis-je utiliser un fichier robots.txt pour dire aux modèles d'IA : « Hé, vous pouvez explorer mon site, mais n'utilisez pas mon journal de poulet pour entraîner vos modèles génératifs » ?

Gary Illyes : C'est un bon sujet.

Gary Illyes : Ainsi, tel que défini par la RFC 9309, robots.txt est un protocole de préférence d'accès. Il indique uniquement aux robots : « Vous pouvez explorer cette page » ou « Vous ne devriez pas explorer cette autre page ».

Gary Illyes : Cela ne dicte pas ce qu'un système fait avec les données après les avoir déjà analysées.

Gary Illyes : Donc interdire signifie carrément : « N’entrez pas dans la pièce ». Cela n'a rien à voir avec le fait de consulter mon journal de poulet ou de le mettre dans une base de données.

Prommawin aux cerises : Shanghai une casserole ?

Gary Illyes : Oui, si vous laissez un robot IA explorer votre site, il traite le fichier robots.txt comme un fichier lisible par machine, et non comme un fichier de texte brut arbitraire.

Gary Illyes : Si vous souhaitez empêcher un robot d'exploration IA spécifique d'accéder entièrement à vos pages, vous devez cibler explicitement son jeton d'agent utilisateur spécifique dans le fichier.

Gary Illyes : Vous ne pouvez pas écrire une règle personnalisée sophistiquée comme « non-je-poulet-poulet-journal ». L'analyseur du bot le jettera simplement à la poubelle, caractère par caractère.

Gary Illyes : C’est l’heure du récapitulatif.

Prommawin aux cerises : Voulez-vous commencer en premier ?

Gary Illyes : Premièrement, les robots d'exploration bien élevés, y compris Googlebot, utilisent le fichier robots.txt pour limiter l'exploration.

Gary Illyes : Deuxièmement, votre fichier robots.txt doit suivre la norme Internet officielle, RFC 9309.

Gary Illyes : Et enfin, utilisez le codage en pourcentage pour les emojis et les caractères non anglais dans les chemins de règles robots.txt afin de les protéger pour tous les robots d'exploration.

Prommawin aux cerises : Enfin, si vous souhaitez mieux connaître robots.txt, accédez aux deux liens dans la description et veuillez garder votre art ASCII hors des directives critiques.

Gary Illyes : Restons ennuyeux. Magnifiquement ennuyeux.

Prommawin aux cerises : Si vous avez un extrait de code source étrange, une règle étrange ou un dossier mystère absolu que vous souhaitez que nous extrayions du cabinet non canonique, déposez un commentaire ci-dessous.

Gary Illyes : Ou pas. Nous ne vous disons pas comment vivre votre vie.

Prommawin aux cerises : Dans le prochain épisode, nous parlerons de 404. Abonnez-vous pour en savoir plus.

Gary Illyes : Il ne peut pas y en avoir davantage.

Prommawin aux cerises : Oh.

Discussion sur le forum sur LinkedIn.