Quatorze thèmes ont été retenus dans des domaines très variés (actualités, animaux, cinéma, politique...) et cinq questions ont été choisies pour chaque thème ; les 70 questions ont été posées à chaque outil. L’étude s’est faite ensuite en aveugle, à partir de l’analyse des 10 premiers résultats – hors liens sponsorisés – de chaque moteur, soit un total de 4 200 URLs.

Après élimination des doublons, les étudiants ont noté chaque résultat en tenant compte des liens morts, des liens pornographiques, du thème (dans la thématique ou hors sujet), du type de lien (commercial ou non) et de sa pertinence (note de 0 à 5 attribuée en fonction de l’intérêt du lien).

Il ressort notamment de cette évaluation que :
• la proportion de pages “hors thème” est particulièrement importante ; si l’on repère très vite l’intérêt éventuel que peut avoir un résultat dans une page, on remarque moins que de nombreux liens sont totalement hors-sujet.
Or, il s’avère que la proportion de pages hors thème dans les dix premiers résultats oscille entre 21,7 % pour Yahoo! et 49,1 % pour Voila ; elle est de 24,8 % pour Google, 31,2 % pour MSN, 34,5 % pour Exalead et 46,5 % pour Dir.com.
Plus étonnant, la situation s’améliore à peine lorsque l’on ne considère que le premier résultat retourné pour chaque requête (lorsque l’on clique par exemple sur le bouton J’ai de la chance de Google). On obtient en effet 16,2 % de pages hors thème pour Google, 17,9 % pour Yahoo!, 29,0 % pour MSN, 29,7 % pour Exalead, 43,3 % pour Dir.com et ... 72,3 % pour Voila !

• les notes globales concernant la pertinence des pages sont extrêmement basses. Aucun moteur n’atteint la moyenne de 2,5. Les notes s’étalent de 2,3 pour Yahoo! et Google à 1,2 pour Voila, en passant par 1,4 pour Dir.com, 1,8 pour Exalead et 2 pour MSN.

Les résultats recevant la note 0  – ne répondant donc absolument pas à la question – sont très nombreux et dépassent les 50 % sur Dir.com et Voila. C’est sur Yahoo! qu’ils sont les moins nombreux, où ils atteignent malgré tout 27,7 % des réponses.

A l’inverse, les résultats notés 5 (jugés comme excellents) sont peu nombreux ; ils atteignent 15,9 % sur Google (seulement !), 15,7 % sur Yahoo!, 11,9 % sur MSN, 11 % sur Exalead, 9,1 % sur Dir.com et 5,4 % sur Voila.

Certes, on pourra rétorquer que cette étude est loin d’être exhaustive et que la note concernant la pertinence, basée sur des critères extrêmement subjectifs, donne une information somme toute très relative.
L’étude représente néanmoins un “instantané de la performance des moteurs de recherche fin 2005” et est à ce titre une bonne illustration du degré de satisfaction perçu par des utilisateurs lambda.

Par ailleurs, les classements obtenus par les moteurs – et notamment par Google et Yahoo! – confirment les observations que nous avons pu faire dans ces colonnes.
Les performances de ces deux géants sont à peu près équivalentes et l’on peut s’étonner qu’en France tout au moins, Google occupe une telle position dominante. Rien ne permet d’expliquer la préférence massive des internautes pour Google, si ce n’est que la lourdeur de la page www.yahoo.fr peut en exaspérer plus d’un et que l’adresse de l’interface Yahoo! Search (http://fr.search.yahoo.com), “clône” de Google, est peu connue et difficile à mémoriser.

Reste que d’après cette étude, les deux moteurs ne répondent que très médiocrement aux attentes des utilisateurs. Plutôt que de multiplier leurs axes de diversification, pour capter une clientèle toujous plus vaste, on aimerait que leurs efforts portent sur l’amélioration de leurs systèmes de recherche. Sans quoi un nouveau venu pourrait bien ravir le cœur des internautes...

Technologies du Langage : http://aixtal.blogspot.com
Etude comparative : http://www.up .univ-mrs.fr/veronis/pdf/2006-etude-comparative.pdf