Openai Crawl Hero

Les robots OpenAI peuvent mettre à jour sa chaîne d'agent utilisateur

OpenAI a apporté un certain nombre de modifications de clarification à sa documentation d'aide du robot pour indiquer que le numéro de version de la chaîne de l'agent utilisateur peut être mis à jour et qu'il peut utiliser une chaîne de l'agent utilisateur avec un marqueur robots.txt supplémentaire.

Dans l'exemple donné de la chaîne user-agent dans la doc, OpenAI a ajouté « le numéro de version peut changer ».

De plus, OpenAI a ajouté une section pour dire :

Lors de la récupération des fichiers robots.txt, nous pouvons utiliser une chaîne d'agent utilisateur avec un marqueur robots.txt supplémentaire. Le marqueur aide les propriétaires de sites à distinguer plus facilement les demandes concernant le fichier robots.txt des demandes concernant d'autres ressources, en particulier lorsque leurs journaux n'incluent pas de chemins : Mozilla/5.0 (Macintosh ; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/131.0.0.0 Safari/537.36 ; compatible; OAI-SearchBot/1.4 ; robots.txt ; +https://openai.com/searchbot

Je ne pense pas que tout cela soit vraiment nouveau, mais cela a été mis à jour dans la documentation d'aide, je voulais donc m'assurer que vous avez tous vu cela.

Voici les modifications documentées par rapport à la version précédente que j'ai vérifiée :

Modification de la documentation Openai Crawler

Discussion sur le forum X.