Série 2

EXERCICE 1

Soit la matrice termes-documents X d’une collection C:

D1 D2 D3 D4 D5
T1 18 15 15 30 10
T2 10 18 0 1 20
T3 1 0 10 9 30
T4 30 5 10 0 8
T5 0 5 0 15 0
T6 5 10 0 0 0
T7 2 10 5 8 0

Soit la requête q = (0, 2, 1, 0, 3, 0, 0) où chaque valeur correspond à la fréquence du terme Ti dans q.

La décomposition en valeurs singulières de X donne :

U Sigma Vt
-0,670 0,455 0,292 0,145 0,035 58,550 0 0 0 0 -0,509 0,255 -0,731 0,223 -0,302
-0,388 -0,373 -0,182 -0,709 -0,251 0 28,373 0 0 0 -0,389 0,180 -0,041 -0,861 0,272
-0,398 -0,720 0,340 0,330 0,150 0 0 27,117 0 0 -0,326 0,054 0,027 0,424 0,843
-0,419 0,084 -0,771 0,360 -0,080 0 0 0 18,417 0 -0,475 0,441 0,669 0,173 -0,321
-0,155 0,265 0,363 -0,093 -0,626 0 0 0 0 5,512 -0,508 -0,840 0,122 0,002 -0,147
-0,110 0,108 -0,150 -0,407 0,220
-0,176 0,215 0,133 -0,253 0,683

1. Donner le vecteur correspondant à la représentation du document D2 dans l’espace des concepts.

2. Calculer le vecteur correspondant à la représentation de la requête q dans l’espace des concepts.
3. Calculer la pertinence du document D2 à la requête q selon la mesure de similarité cosinus en utilisant
l’indexation du modèle LSI et en se limitant aux 3 valeurs singulières les plus élevées.
4. Partant de la matrice X, donner le modèle de langage de chaque document Dj.
5. Donner également le modèle de langage de toute la collection C.
6. Calculer le score de pertinence du document D2 selon le modèle de langage avec le lissage de Jelinek-
Mercer avec λ = 0.8.

1/ 3
EXERCICE 2
Supposons que pour deux requêtes Q1 et Q2, les 12 premières réponses d’un SRI sont comme suit :

Rang 1 2 3 4 5 6 7 8 9 10 11 12

Q1 P P P N P N P N P P N P

Q2 N P N N P P N P N N P N

Dans ce tableau, les réponses jugées pertinentes sont notées P, les autres sont notées N.
1. Calculer les taux de précision et de rappel du système sachant que le nombre total de documents pertinents dans
la collection pour l’utilisateur est 10 pour Q1 et 6 pour Q2.

Pour la requête 1 :
|S|=12 ; |P|= 10 ; |P & S| = 8 ; p = 8/12=2/3 ; r = 8/10 = 4/5 ; b = 1-p=1/3 ;s=1-r=1/5

Pour la requête 2 :
|S|= 12 ; |P|= 6; |P & S| = 5; p = 5/12; r =5/6; b = 1-p=7/12;s=1-r=1/6

2. Calculer les taux de précision et de rappel interpolés aux 6 niveaux de rappel standards pour chaque requête.

Pour Q1

Rang 1 2 3 4 5 6 7 8 9 10 11 12

Q1 P P P N P N P N P P N P

Rappel Précision
R1={1} 1/10 1/1=1
R2={1,2} 2/10 2/2=1
R3={1,2,3} 3/10 3/3=1
R4={1,… ,5} 4/10 4/5
R5={1,… , 7} 5/10 5/7
R6={1, …, 9} 6/10 6/9
R7={1, … , 10} 7/10 7/10
R8={1, …, 12} 8/10 8/12

2/ 3
 précision
Rappel Précision Rappel standard interpolée
R1={1} 10% 1,00 0% 1
R2={1,2} 20% 1,00 20% 1
R3={1,2,3} 30% 1,00 40% 0,80
R4={1,… ,5} 40% 0,80 60% 0,70
R5={1,… , 7} 50% 0,71 80% 0,67
R6={1, …, 9} 60% 0,67 100% 0
R7={1, … , 10} 70% 0,70 0,695
R8={1, …, 12} 80% 0,67

Pour Q2

Rang 1 2 3 4 5 6 7 8 9 10 11 12

Q2 N P N N P P N P N N P N

Rappel Précision
Rappel Précision Standard interpolée
R1={1,2} 0,17 0,50 0 0,5
R2={1,… , 5} 0,33 0,40 0,2 0,5
R3={1,… , 6} 0,50 0,50 0,4 0,5
R4={1,… , 8} 0,67 0,50 0,6 0,5
R5={1,… , 11} 0,83 0,45 0,8 0,45
1 0

3. Calculer la précision moyenne interpolée (AP) par requête.

AP(Q1) = 0,695

AP(Q2) = 0,41

4. Calculer la précision moyenne interpolée pour le système (MAP).

MAP = (0,695+0,41)/2 = 0,55

GMAP = Racine(0,695*0,41)=0,53

3/ 3