Critère de comparaison

Evaluation des outils et notion de pertinence

Critères de comparaison : proposition de grille de comparaison


Evaluation des outils et notion de pertinence

Pertinence : "Degré de corrélation entre une question et la réponse apportée, la pertinence est un concept-clé de la recherche d'information depuis les années 50" (Sylvie Dalbin).
En général, la notion de pertinence vise le document et son adéquation à une requête :

- généralement définie par le croisement de deux notions transversales de la recherche d'information et de la RDI : le bruit et le silence documentaires :

bruit : documents retrouvés non pertinents

silence : documents pertinents non retrouvés

- l'élimination ou la réduction de ces deux indices définit la pertinence (relevance) d'un système documentaire

Mais, comme l'indique Sylvie Dalbin, on peut distinguer  schématiquement trois grandes catégories de pertinences :

La pertinence-système :

- concerne la capacité du système documentaire (logiciel, base de données...)
> vise surtout la pertinence de la représentation du document (son indexation...) et, en conséquence, la pertinence de la recherche d'information elle-même.
>> la pertinence-système concerne les outils de recherche eux-mêmes.

Deux types de pertinences-système :

pertinence des mesures de classement :
Mesure la capacité d'un système documentaire à retrouver un document en réponse à une requête ; s'appuie sur les notions de rappel et de précision.
Mais difficulté propre à la nature du web : le taux de rappel, qui mesure le silence (proportion de documents pertinents récupérés sur l'ensemble des documents pertinents) est impossible à mesurer sur le web, où, par définition, "le silence n'existe pas".
> il existe toujours des documents pertinents quelque part..., impossibles ou difficiles à retrouver pour un outil de recherche. 

pertinence de l'indexation automatique :

Mesure la capacité du système à indexer automatiquement les documents, i.e. à représenter le plus fidèlement possible leur contenu.
> renvoie aux techniques d'indexation utilisées ;
La pertinence de l'indexation automatique a fait l'objet de nombreux travaux de recherche (notamment dans le cadre du programme TREC (Text Retrieval Conference) : évaluation collective, par des équipes de chercheurs, des performances de systèmes documentaires. Mais ce type de pertinence s'applique surtout aux systèmes documentaires fonctionnant "en local", sur des corpus ou des bases de données fermés, délimités.

la pertinence de l'indexation automatique appliquée aux moteurs de recherche :

- quelles techniques d'indexation et de classement des documents ?
- notions de "contrôle de pertinence", de "rétroaction de pertinence", ou relevance feedback
- pertinence assez difficile à évaluer : méthodes d'indexation utilisées par les moteurs de recherche assez opaques, pas forcément explicitées.
- plusieurs éléments à prendre en compte : "poids" attribué à un mot (pondération), "indice de popularité" sur Google, etc.

la pertinence-utilisateur :

- pertinence vue sous l'angle de l'utilisateur
- concerne la tâche elle-même de recherche, le besoin d'information, la formulation de la requête, etc.

- Plusieurs types de pertinences-utilisateur :

la pertinence de la formulation de la requête :

comment l'utilisateur traduit sa question en une requête d'interrogation, comment le système facilite ou non la formulation des requêtes, etc.
> renvoie à l'évaluation des outils (des interfaces de recherche...)

la pertinence de la présentation des résultats :

- par exemple, quelle pertinence des représentations cartographiques dans certains outils (Kartoo...)
- pertinence encore mal mesurée
> concerne exclusivement les outils de recherche

la pertinence du document par rapport au besoin :

- la plus importante du point de vue de l'utilisateur :
un document pertinent par rapport à sa représentation dans le système (bien indexé), pertinent par rapport à la requête, ou au thème, n'est pas forcément pertinent par rapport au besoin d'information de l'utilisateur.
- pertinence la plus difficile à mesurer : à apprécier par l'utilisateur lui-même
- ne peut faire l'objet d'une évaluation "objective" et critériée
> ne peut pas concerner les outils de recherche

la pertinence-thème:

- concerne la pertinence de la valeur d'un document ou d'une information, par rapport au thème traité
> pertinence du contenu
- type principal de pertinence visée dans les problématiques d'évaluation de l'information sur Internet.
> ne concerne pas les outils.
> voir le Support de stage sur "Evaluation de l'information sur Internet"

Au final, trois types de pertinences sont concernées par l'évaluation des moteurs de recherche sur Internet :

dans la pertinence-système :

1/ la pertinence de l'indexation automatique :
concerne les modules d'indexation des moteurs, leurs méthodes d'indexation, les procédés de classement des résultats : relevance ranking, indice de pertinence, ou de popularité...

dans la pertinence-utilisateur :

2/ la pertinence de la formulation de la requête :
Concerne les fonctionnalités de recherche, l'aide en ligne, les possibilités d'affinage, de reformulation, les interfaces...

3/ la pertinence de la présentation des résultats :
Concerne la description des résultats, la présentation graphique, l'adaptation des procédés de présentation à l'évaluation de la recherche et la sélection de l'information, etc.

haut de page


Critères de comparaison : proposition de grille de comparaison

Le travail mené à l'URFIST de Rennes consiste en une comparaison de sept moteurs de recherche, à partir de sept ensembles d'éléments distincts, correspondant aux différents composants visibles des moteurs de recherche ; la grille a été élaborée à partir d'une description fine des caractéristiques de chaque moteur.

Les six outils retenus :

- 3 moteurs généralistes

Google France (http://www.google.fr/)

Yahoo Search Technology France (http://fr.search.yahoo.com/)

Exalead (http://www.exalead.fr/search)

- 2 moteurs spécialisés (spécialisation sur la littérature scientifique et spécialisation disciplinaire)

Google Scholar (http://scholar.google.com/)

In-Extenso.org (http://www.in-extenso.org/)

- 2 moteurs de recherche de blogs

Google fr Blogsearch (http://www.google.fr/blogsearch)

Technorati (http://www.technorati.com/)

Remarques sur le panel :
Le panel a été remanié par rapport aux analyses précédentes : ont été gardés les deux grands moteurs généralistes leader, Google et Yahoo, dans leur interface française, ainsi que le moteur Exalead (retrait de MSN). Nous avons souhaité par ailleurs intégrer plus largement des moteurs spécialisés :

- reprise de Google Scholar, en raison de son rôle de plus en plus important dans la recherche de documents scientifiques;
- introduction de In-Extenso.org, le moteur de Revues.org, dédié aux Sciences Humaines et Sociales;
- orientation de l'analyse vers l'univers des blogs, avec 2 moteurs de recherche de blogs : le moteur de recherche de blogs de Google.fr et Technorati.

Nous avons resserré les critères et proposons une étude comparative des moteurs sur les éléments suivants :

1/ Les ressources proposées :

- quels types de ressources sont proposés par les moteurs ? quelle richesse, quelle diversité ?

2/ Les fonctions de recherche :

> quelles fonctionnalités de recherche offertes par les moteurs, en mode simple et avancé ?
> comment sont organisés les résultats, quel type de classement ?
> quelles modalités d'affinement de la requête ?
> quelles différences entre les moteurs ?

3/ La présentation des résultats :

> quel type de présentation des résultats proposé par les moteurs de recherche ?

4/ Les services proposés :

> quelles sont les différents services proposés par les moteurs ?
Remarque : auparavant intitulée "Fonctionnalités annexes", cette partie, rebaptisée "Services proposés", témoigne de la montée en puissance des différents et nombreux services proposés par les moteurs. Il devient difficile de parler de fonctionnalités "annexes" . 

⇒ Remarques générales sur les grilles proposées :
- elles constituent surtout un outil de description des moteurs
- elles peuvent constituer des éléments de comparaison des moteurs, à partir de leurs caractéristiques externes
- elles mettent en jeu et combinent plusieurs types de pertinences : pertinence-système et utilisateur
- pour une véritable évaluation des outils, d'autres grilles sur d'autres critères, comme ceux proposés par Marc Duval (Voir sur le site DSI, les fiches techniques des moteurs de recherche), sont nécessaires.

> Il ne s'agit  donc pas d'une véritable évaluation des outils, qui dépasse le cadre de ce stage et de ce support de cours, mais seulement d'une comparaison fine, permettant une meilleure maîtrise des moteurs.
Ce travail de comparaison, mené pour la cinquième année consécutive (voir les Archives), s'est appuyé en partie sur le travail proposé sur le site SearchEnginesMatrix.


La grille proposée par l'URFIST pour la description et la comparaison des moteurs se trouve ici :
TableauComparaisonMoteurs2007.doc

Vous trouverez également ici les Fiches de présentation élaborées par Jean-Pierre Lardy à l'URFIST de Lyon :
Google en profondeur (http://urfist.univ-lyon1.fr/google-en-profondeur.pdf)
Exalead en profondeur (http://urfist.univ-lyon1.fr/exalead-en-profondeur.pdf)
Google Scholar en profondeur (http://urfist.univ-lyon1.fr/GoogleScholar.pdf)

 haut de page

Fichiers attachésTaille
Microsoft Office document icon Bilan-ComparaisonMoteurs2007.doc0 octet