Apple met à jour Applebot Docs avec Applebot-Extended, Reverse DNS et plus

Apple a apporté de très gros changements à la documentation Applebot après l'événement Apple WWDC, au cours duquel Apple a annoncé Apple Intelligence. Apple a ajouté plus d'informations sur Applebot, les détails du DNS inversé, Applebot-Extended et bien plus encore.

Pour être clair, Applebot n'est pas nouveau, il a environ dix ans, mais maintenant avec Apple Intelligence, je suppose qu'Apple devient plus sérieux à ce sujet ? La modification du document a été effectuée le 11 juin, au lendemain du keynote d'Apple.

Le gros point du côté IA d’Applebot est qu’Apple a ajouté Applebot-Extended, similaire à Googlebot-Extended, à des fins d’IA. Comme l'a noté Glenn Gabe sur X vendredi, « Vous pouvez bloquer Applebot-Extended. Vous pouvez donc vous désinscrire via robots.txt -> Apple dit qu'il n'entraîne pas ses modèles sur les données privées ou les interactions des utilisateurs, mais s'appuie plutôt sur matériels sous licence et données en ligne accessibles au public.

Beaucoup de choses ont changé, mais voici la partie Applebot-Extended :

En plus de suivre toutes les règles et directives robots.txt, Apple dispose d'un agent utilisateur secondaire, Applebot-Extended, qui donne aux éditeurs Web des contrôles supplémentaires sur la manière dont le contenu de leur site Web peut être utilisé par Apple.

Avec Applebot-Extended, les éditeurs Web peuvent choisir de refuser que le contenu de leur site Web soit utilisé pour former les modèles de base d'Apple qui alimentent les fonctionnalités d'IA générative des produits Apple, notamment Apple Intelligence, Services et Outils de développement.

Vous pouvez ajouter une règle dans robots.txt pour interdire Applebot-Extended, comme suit :

Agent utilisateur : Applebot-Extended Disallow : /private/

Applebot-Extended n'explore pas les pages Web. Les pages Web qui interdisent Applebot-Extended peuvent toujours être incluses dans les résultats de recherche. Applebot-Extended est uniquement utilisé pour déterminer comment utiliser les données analysées par l'agent utilisateur Applebot.

Autoriser Applebot-Extended contribuera à améliorer les capacités et la qualité des modèles d'IA générative d'Apple au fil du temps.

Apple a également ajouté ces nouvelles sections :

Découvrez Applebot, le robot d'exploration Web d'Apple.

Les données analysées par Applebot sont utilisées pour alimenter diverses fonctionnalités, telles que la technologie de recherche intégrée à de nombreuses expériences utilisateur dans l'écosystème Apple, notamment Spotlight, Siri et Safari. L'activation d'Applebot dans robots.txt permet au contenu du site Web d'apparaître dans les résultats de recherche des utilisateurs Apple du monde entier pour ces produits.

Applebot accède à de nombreux types de ressources à partir de serveurs Web, y compris, mais sans s'y limiter, les robots.txt, les plans de site, les flux RSS, le HTML, les sous-ressources nécessaires au rendu des pages telles que le javascript, les requêtes Ajax, les images, etc.

Une autre méthode consiste à faire correspondre l'adresse IP avec un préfixe CIDR contenu dans le fichier JSON suivant : Applebot IP CIDR.

DNS inversé

Sous macOS, la commande host peut être utilisée pour déterminer si une adresse IP fait partie d'Applebot. Ces exemples montrent la commande host et son résultat :

La commande host peut être utilisée pour déterminer si une adresse IP fait partie d'Applebot. Ces exemples montrent la commande host et son résultat :

$ hôte 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com a l'adresse 17.58.101.179.

La commande host peut également être utilisée pour vérifier que le DNS pointe vers la même adresse IP :

Agents utilisateurs

Un agent utilisateur aide les webmasters à identifier le trafic des robots, afin qu'ils puissent obtenir des rapports précis des journaux d'accès sur l'activité des robots et contrôler l'accès au site via robots.txt.

Applebot alimente plusieurs agents utilisateurs, notamment Search et Podcasts.

Recherche

Pour l'exploration et le rendu du Web de recherche, Applebot utilise le format suivant :

La chaîne de l'agent utilisateur contient « Applebot » et d'autres informations. Voici le format général :

Mozilla/5.0 (Appareil ; version_OS) AppleWebKit/WebKit_version (KHTML, comme Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version ; +http://www.apple.com/go/applebot)

Podcasts Apple

Le trafic iTMS peut également provenir des hôtes applebot.apple.com et sera identifié par l'agent utilisateur suivant :

Agent utilisateur : iTMS

L'agent utilisateur iTMS ne suit pas robots.txt, car il ne s'agit pas d'un robot de recherche général. Il analyse uniquement les URL associées au contenu enregistré sur Apple Podcasts.

Comme je l'ai dit, il y a beaucoup de changements entre l'ancienne version et la nouvelle version.

Vous pouvez comparer les deux documents dans votre outil de comparaison de texte préféré.

VIEUX:

NOUVEAU:

Discussion sur le forum X.