Reddit a bloqué Bing Search et d'autres, mais pas Google
Le 1er juillet 2024, Reddit a mis à jour son fichier robots.txt pour interdire à la plupart des moteurs de recherche et des robots d'exploration d'IA d'accéder à son contenu, notamment en bloquant Microsoft Bing. Reddit n'a pas bloqué Google Search, dont nous avons parlé ici il y a quelques semaines.
Un porte-parole de Microsoft m'a dit hier soir : « Microsoft respecte la norme robots.txt et nous respectons les instructions fournies par les sites Web qui ne souhaitent pas que le contenu de leurs pages soit utilisé avec nos modèles d'IA génératifs. Bing a arrêté d'explorer Reddit après avoir implémenté son fichier robots.txt mis à jour le 1er juillet, qui interdit toute exploration de son site. »
Reddit a déclaré à The Verge : « Nous avons eu des discussions avec plusieurs moteurs de recherche. Nous n'avons pas réussi à conclure d'accord avec chacun d'eux, car certains ne peuvent ou ne veulent pas faire de promesses exécutoires concernant leur utilisation du contenu Reddit, y compris son utilisation pour l'IA. »
Mark Williams-Cook m'a montré que le nouveau contenu de Reddit n'apparaissait pas dans Bing Search, il a publié un article à ce sujet sur X, puis plusieurs autres médias l'ont couvert avant que Microsoft ne m'envoie cette déclaration.

Reddit a également déclaré : « Cela n'a aucun rapport avec notre récent partenariat avec Google. » Oui, Google paie à Reddit 60 millions de dollars par an pour pouvoir accéder au contenu de son site.
N'oubliez pas que Google a un algorithme de trésors cachés qui a aidé Reddit à gagner beaucoup de trafic de la part de Google. Reddit voit beaucoup de mauvaises relations publiques autour de Reddit qui domine Google Search. Je veux dire, Reddit domine les résultats de recherche de Google. Zut, Google a même testé un traitement spécial pour Reddit il n'y a pas si longtemps.
Quoi qu'il en soit, Bing et de nombreux autres moteurs de recherche et robots d'intelligence artificielle ne sont plus autorisés à explorer le site de Reddit. Google le peut et le fait, mais les autres moteurs ne le font pas.
Un geste audacieux pour Reddit – mais avec l'accord de licence avec Google – je suppose que ce n'est pas un geste trop audacieux.
Wild : Reddit empêche désormais tous les principaux moteurs de recherche *à l'exception* de Google d'explorer le contenu
Cela ne peut qu’accroître le pouvoir de monopole de Google…
… et vous pouvez parier que les régulateurs seront intéressés https://t.co/9uGDivBdYc
— Cyrus SEO (@CyrusShepard) 25 juillet 2024
Chronologie:
– Google augmente Reddit dans la recherche de plus de 400 %
– Google annonce un accord de 60 millions de dollars avec Reddit juste après
– Reddit annonce qu'il cherche à devenir public 48 à 72 heures après
– Reddit bloque tout scraping pour les moteurs de recherche de compétition peu de temps aprèsComportement anti-concurrentiel https://t.co/Hzrw0zkjDo
— Ori Zilbershtein (@OriZilbershtein) 24 juillet 2024
Cela fait partie d'une accélération déconcertante des monopoles qui s'étendent pour bloquer davantage la concurrence et voler les utilisateurs. Les moteurs de recherche avaient l'habitude de fournir des liens vers du contenu pertinent. Maintenant, ils spamment les utilisateurs avec des publicités mêlées à du contenu récupéré et blanchi par l'IA sans attribution. https://t.co/xMvzir3DPA
— Tim Sweeney (@TimSweeneyEpic) 24 juillet 2024
Discussion sur le forum chez X.
