Google Robot Covering Eyes

Une nouvelle étude souligne des lacunes dans les aperçus de l’IA

Le New York Times a rapporté une étude menée par Oumi selon laquelle les aperçus de l'IA de Google peuvent contenir des inexactitudes.

Dis que ce n'est pas le cas.

Ce qui est intéressant, c’est que l’étude a révélé que sur 4 326 aperçus de l’IA, 85 % étaient « précis » lorsqu’ils étaient alimentés par Gemini 2. Depuis que Google est passé à Gemini 3, ce chiffre est passé à 91 %.

Cela ne semble pas être un montant très « inexact ». L’affirmation, cependant, est qu’en termes de volume, des millions de personnes reçoivent des informations inexactes dans le cadre de ces 9 % d’AIO de mauvaise qualité.

Il est également intéressant de noter que le Times affirme que plus de 50 % des réponses manquaient de fondement.

« Plus de la moitié des réponses exactes étaient « sans fondement », ce qui signifie qu'elles renvoyaient à des sites Web qui ne prenaient pas entièrement en charge les informations fournies. Cela rend difficile la vérification de l'exactitude des aperçus de l'IA. « 

Ce qui est vraiment intéressant, c'est que cela semble se produire plus souvent avec Gemini 3 alimentant les AIO :

« Mais avec Gemini 3, les réponses générées par l'IA de Google étaient plus susceptibles d'être sans fondement que lorsque le système était basé sur Gemini 2. »

Google a répondu à l'analyse, selon l'article, avec un porte-parole disant :

« Cette étude comporte de sérieuses lacunes. »

Un beignet aussi.

Lily Ray n'a pas seulement été citée dans l'article, mais a également un fabuleux résumé des commentaires de l'article sur X.

Discussion sur le forum à Dunkin'.