Nous nous intéressons à un contexte de recherche d'information collaborative où les utilisateurs sont caractérisés par différents niveaux d'expertise du sujet de la requête. Nous proposons un modèle d'ordonnancement de documents intégrant les rôles d'expert et de novice tenant compte de la spécificité de chacun des rôles et assignant un document à l'utilisateur le plus à même de le juger en fonction de son niveau d'expertise. Pour cela, les scores de pertinence document-requête sont calculés en y intégrant la variable rôle puis optimisés par la méthode d'apprentissage de maximisation de l'espérance mathématique. L'évaluation expérimentale est réalisée selon un cadre de simulation de la collaboration à partir de fichiers log de la collection TREC Interactive et montre l'efficacité de notre approche.

1. Un
modèle
de
recherche
d’informa1on
collabora1ve
basé
sur
l’exper1se
des
u1lisateurs
Laure
Soulier,
Lynda
Tamine
et
Wahiba
Bahsoun
IRIT,
Université
Toulouse
III
-­‐
Paul
Saba>er
Conférence
de
Recherche
d’Informa1on
et
Applica1ons
19-­‐21
mars
2014,
Nancy

2. 1. De
la
RI
individuelle
à
la
RI
collabora>ve
2. Contexte
3. Travaux
connexes
et
posi>onnement
4. Ques>ons
de
recherche
5. Modèle
de
RIC
basé
sur
l’exper>se
des
u>lisateurs
6. Evalua>on
expérimentale
7. Conclusion
et
perspec>ves
Plan
Recherche
d’Informa>on
Collabora>ve
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
2

3. Système
de
recherche
d’informa>on
Besoin en
informa3on
De
la
RI
individuelle
à
la
RI
collabora>ve
Recherche
d’Informa>on
Collabora>ve
3
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
Tâches
complexes
ou
exploratoires
[Shah
and
Gonzalez-­‐Ibanez,
SIGIR
2012]
Besoin
en informa3on
partagé
.
.
.
Paradigmes
de
la
collabora>on
[Foley
et
al.,
ECIR
2009;
Morris
and
Horvitz,
UIST
2007]
Division
du
travail
Partage
des
connaissances
Sensibilisa>on
à
l’environnement
Effet
synergique
[Shah
and
Gonzalez-­‐Ibanez,
SIGIR
2012]
Système
de
recherche
d’informa>on
collabora>ve
Recherche
d’informa>on
individuelle
Recherche
d’informa>on
collabora>ve

4. Contexte
Recherche
d’Informa>on
Collabora>ve
Besoin
en informa3on
Système
de
recherche
d’informa>on
Collabora>on
entre
deux
u>lisateurs
caractérisés
par
des
niveaux
d’exper>se
différents
:
Exper>se
rela>ve
par
rapport
au
sujet
de
la
requête
Exper>se
aux
extrêmes
du
spectre
:
expert
vs.
novice
!
Collabora>on
unidirec>onnelle
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
4

5. Contexte
Recherche
d’Informa>on
Collabora>ve
Besoin
en informa3on
partagé
Système
de
recherche
d’informa>on
Collabora>on
bidirec>onnelle
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
5
!
Collabora>on
unidirec>onnelle
vs
Collabora>on
entre
deux
u>lisateurs
caractérisés
par
des
niveaux
d’exper>se
différents
:
Exper>se
rela>ve
par
rapport
au
sujet
de
la
requête
Exper>se
aux
extrêmes
du
spectre
:
expert
vs.
novice

6. Contexte
Recherche
d’Informa>on
Collabora>ve
! Enjeux
scien>fiques
de
la
RIC
Comment
évaluer
la
per>nence
collec>ve
des
documents
?
Réinjec>on
de
la
per>nence
Agréga>on
des
reformula>ons
de
requêtes
Comment
personnaliser
les
listes
de
documents
sans
dégrader
la
per>nence
collec>ve
?
Prise
en
compte
de
l’exper>se
et/ou
des
intérêts
Défini>on
de
rôles
u>lisateurs
Comment
diviser
le
travail
pour
éviter
la
redondance
?
Sépara>on
des
tâches
Non-­‐recouvrement
des
rankings
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
6

7. Descrip1on
RP
Personna-­‐
lisa1on
DT
Rôle
[Foley
and
Smeaton,
ECIR
2009]
Processus
de
réinjec>on
de
per>nence
par
la
pondéra>on
probabiliste
des
termes
selon
la
no>on
de
per>nence
collec>ve
+
-­‐
+
-­‐
[Morris
et
al.,
CSCW
2008]
Approche
de
personnalisa>on
des
documents
Approche
d’agréga>on
de
documents
selon
la
per>nence
collec>ve
+
+
-­‐
-­‐
[Pickens
et
al.,
SIGIR
2008]
Division
des
tâches
selon
les
rôles
:
Prospecteur
(diversité
théma>que)
:
-­‐
Techniques
de
reformula>on
de
la
requête
Mineur
(richesse
des
champs
explorés)
:
-­‐
Fonc>on
d’ordonnancement
des
documents
+
=
+
P/M
[Shah
et
al.,
IPM
2010]
Classifica>on
des
documents
selon
les
rôles
:
Rassembleur
(sélec>on
rapide
des
documents
per>nents)
Surveilleur
(diversité
théma>que)
-­‐
=
+
R/S
[Soulier
et
al.,
AIRS
2013]
Division
des
espaces
de
recherche
documentaire
Adapta>on
au
domaine
d’exper>se
des
collaborateurs
++
++
++
E
RIC
Exper1se
A"ribu'on
des
documents
en
fonc'on
de
l’exper'se
++
++
++
E/N
Travaux
connexes
et
posi>onnement
Recherche
d’Informa>on
Collabora>ve
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
7

8. Ques>ons
de
recherche
Recherche
d’Informa>on
Collabora>ve
Comment
exploiter
le
niveau
d’exper>se
des
u>lisateurs
pour
calculer
la
per>nence
des
documents
vis-­‐à̀-­‐vis
de
la
requête
collabora>ve
?
Besoin
en informa3on
partagé
Document
sélec3onné
Document
sélec3onné
…
…
Document
sélec3onné
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
Comment
op>miser
la
collabora>on
à
travers
le
calcul
d’ordonnancement
de
documents
afin
de
sa>sfaire
à
la
fois
la
per>nence
individuelle
et
collec>ve
?
8

9. Modèle
de
RIC
basé
sur
l’exper>se
des
u>lisateurs
Recherche
d’Informa>on
Collabora>ve
Document
sélec3onné
…
…
Itéra1on
de
feedback
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
Besoin
en
informa>on
partagé
9
Itéra1on
de
feedback
Document
sélec3onné
Besoin
en
informa>on
partagé

10. λij
k
=
Nouv(di, D(uj )k
)⋅Spec(di )β
maxdi'∈D Nouv(di, D(uj )k
)⋅Spec(di )β
Pk
(π(uj )k
|θdi
) = λij
k
P(tv |θdi
)+(1− λij
k
)P(tv |θC )"# $%
(tv,wvj
k
)∈π (uj )k
∏
wvj
k
Si
est
novice
Pk
(di | uj,q)∝ Pk
(uj | di )⋅ Pk
(di | q)
Modèle
de
RIC
basé
sur
l’exper>se
des
u>lisateurs
Recherche
d’Informa>on
Collabora>ve
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
Pk
(di | uj,q) =
Pk
(uj | di,q)⋅ Pk
(di | q)
Pk
(uj | q)
Pk
(di | q) = Pk
(q | di )⋅ Pk
(di )
Pk
(q | di ) = λP(tv |θdi
)+(1− λ)P(tv |θC )#$ %&
(tv,wvj
k
)∈q
∏
wvq
Es>mer
la
per>nence
d’un
document
pour
chaque
u>lisateur
selon
son
rôle
Indépendance
de
l’u>lisateur
et
de
la
requête
:
non
discriminant
pour
le
document
Pk
(uj | q)
β =1
β = −1 uj
Si
est
expert
uj
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
10

11. Modèle
de
RIC
basé
sur
l’exper>se
des
u>lisateurs
Recherche
d’Informa>on
Collabora>ve
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
Maximisa>on
de
la
vraisemblance
du
score
de
per>nence
par
rapport
aux
u>lisateurs
! Algorithme
de
classifica>on
basé
sur
la
Maximisa>on
de
l’Espérance
(EM)
:
Etape
E
:
calcul
de
la
probabilité
d’appartenance
à
une
classe
u>lisateur
Etape
M
:
mise
à
jour
des
paramètres
et
es>ma>on
de
la
convergence
P(Rj = Rel | xij
k
) =
αj
k
φj
k
(xij
k
)
αj
k
φj
k
(xij
k
)+(1−αj
k
)ψj
k
(xij
k
)
ℓ(Rj = Rel | xij
k
,θj
k
) = log(P(xij
k
, Rj = Rel |θj
k
))P(Rj = Rel | xij
k
)
j=1
2
∑
h=1
n
∑
! Alloca>on
des
documents
aux
collaborateurs
par
comparaison
des
rangs
des
listes
retournées
par
l’algorithme
EM.
! Division
du
travail
:
non
recouvrement
simultané
des
listes
de
documents
rjj'
k
(di, Lj
k
, Lj'
k
) =
1 si rang(di, Lj
k
) < rang(di, Lj'
k
)
0 sinon
!
"
#
$#
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
11

12. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
! Simula>on
de
la
collabora>on
[Foley
et
al.,
ECIR
2009]
-­‐
adapta>on
à
l’exper>se
[Soulier
et
al.,
AIRS
2013]
89
FT944-­‐15661
89
FT944-­‐15661
149
FT944-­‐5773
238
FT931-­‐8485
151
FT931-­‐5947
185
FT944-­‐5773
185
FT944-­‐5773
238
FT934-­‐8485
Session individuelle
dans TREC Interac3ve
Liste synchronisée de
documents pour la
session collabora3ve
151
FT931-­‐5947
149
FT944-­‐5773
253
FT931-­‐8485
253
FT934-­‐8485
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
12
Session individuelle
dans TREC Interac3ve

13. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
! Collec>on
TREC
Interac>ve
6-­‐7-­‐8
Méthode
exhaus>ve
Méthode
sélec>ve
Classifica>on
2-­‐means
…
Expertise(uj,T) =
Spec(di )
di ∈DT
(uj )
∑
| DT
(uj )|
! Adapta>on
au
niveau
de
l’exper>se
Topic
TREC
Nombre
de
documents
210
158
Nombre
de
topics
TREC
20
Nombre
de
par>cipants
considérés
7
Nombre
de
requêtes
individuelles
197
Nombre
de
requêtes
générées
avec
la
méthode
exhaus1ve
243
Nombre
de
requêtes
générées
avec
la
méthode
sélec1ve
95
Experts
Novices
…
…
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
13

14. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
Division
du
travail
! Variantes
du
modèle
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
14

15. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
Ordonnancement
des
documents
selon
les
rôles
Division
du
travail
SansEMDT
:
la
version
individuelle
de
notre
modèle
qui
intègre
seulement
le
calcul
des
scores
des
documents
en
fonc>on
du
rôle.
Calcul
des
scores
selon
les
rôles
Calcul
des
scores
selon
les
rôles
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
15
! Variantes
du
modèle

16. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
Division
du
travail
SansEMDT
:
la
version
individuelle
de
notre
modèle
qui
intègre
seulement
le
calcul
des
scores
des
documents
en
fonc>on
du
rôle.
SansDT
:
notre
modèle
sans
garan>r
le
principe
de
division
du
travail.
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
16
! Variantes
du
modèle

17. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
Calcul
des
scores
selon
les
rôles
Ordonnancement
des
documents
selon
les
rôles
Division
du
travail
SansEMDT
:
la
version
individuelle
de
notre
modèle
qui
intègre
seulement
le
calcul
des
scores
des
documents
en
fonc>on
du
rôle.
SansDT
:
notre
modèle
sans
garan>r
le
principe
de
division
du
travail.
SansEM
:
notre
modèle
sans
l’étape
d’alloca>on
des
documents
mais
en
garan>ssant
la
division
du
travail.
Calcul
des
scores
selon
les
rôles
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
17
! Variantes
du
modèle

18. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
SansEMDT
:
la
version
individuelle
de
notre
modèle
qui
intègre
seulement
le
calcul
des
scores
des
documents
en
fonc>on
du
rôle.
SansDT
:
notre
modèle
sans
garan>r
le
principe
de
division
du
travail.
SansEM
:
notre
modèle
sans
l’étape
d’alloca>on
des
documents
mais
en
garan>ssant
la
division
du
travail.
FS
[Foley
et
al.,
ECIR
2009]
avec
un
paramétrage
op>mal
sur
la
mesure
d’autorité
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
! Modèles
de
référence
de
l’état
de
l’art
18
! Variantes
du
modèle

19. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
Métrique
Formule
Intui1on
Micro-­‐Précision
Niveau
session
Ra>o
de
documents
per>nents
sur
la
session
Niveau
rôle
Ra>o
de
documents
per>nents
sur
la
session
par
rapport
au
rôle
r
Diversité
Ra>o
de
couverture
Ra>o
de
documents
dis>ncts
sur
la
session
Ra>o
de
couverture
per>nente
Ra>o
de
documents
dis>ncts
per>nents
sur
la
session
P@30 =
1
θ
1
δT
T∈θ
∑
Drelll∈ LS{ }
∑
Dselll∈ LS{ }
∑S∈δT
∑
P@30r
=
1
θ
1
δT
T∈θ
∑
Drelll∈ LS,r{ }
∑
Dselll∈ LS,r{ }
∑S∈δT
∑
C@30 =
1
θ
1
δT
T∈θ
∑
Dist(LS )
|l |
l∈ LS{ }
∑S∈δT
∑
PC@30 =
1
θ
1
δT
T∈θ
∑
DistPert(LS )
|l |
l∈ LS{ }
∑S∈δT
∑
! Métriques
d’évalua>on
[Shah
et
al.,
SIGIR
2012
;
Soulier
et
al.,
AIRS
2013]
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
19

20. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
! Analyse
compara>ve
au
niveau
de
la
session
Scénarios
P@30
%Tx
C@30
%Tx
PC@30
%Tx
Méthode
exhaus>ve
SansDT
0,260
+2,28%
0,383
+35,81%
***
0,086
+42,56%
***
SansEM
0,250
+6,34%
***
0,364
+42,87%
***
0,080
+52,36%
***
SansEMDT
0,283
-­‐6,28%
0,279
+86,73%
***
0,058
+112,92%
***
FS
0,221
+17,64%
***
0,442
+17,07%
***
0,086
+41,91%
***
ENColl
0,266
0,520
0,123
Méthode
sélec>ve
SansDT
0,275
+4,09%
*
0,362
+31,73%
***
0,080
+29,63%
***
SansEM
0,268
+7,01%
*
0,335
+42,46%
***
0,072
+43,99%
***
SansEMDT
0,303
-­‐5,26%
0,258
+84,73%
***
0,050
+105,88%
***
FS
0,208
+32,21%
***
0,429
+10,95%
*
0,075
+37,99%
***
ENColl
0,287
0,477
0,103
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
20

21. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
! Analyse
compara>ve
au
niveau
des
rôles
Méthode
exhaus1ve
Méthode
sélec1ve
Scénarios
P@30
%Tx
PC@30
%Tx
P@30
%Tx
PC@30
%Tx
Expert
SansDT
0,253
+5,43%
0,134
+13,22%
*
0,268
+9,21%
*
0,153
+8,96%
SansEM
0,246
+8,44%
*
0,079
+92,67%
*
0,270
+8,22%
0,080
+106,93%
***
SansEMDT
0,268
-­‐0,59%
0,103
+47,80%
***
0,295
-­‐0,94%
0,110
+50,98%
*
FS
0,219
+22,11%
**
0,093
+66,17%
*
0,244
+19,74%
*
0,086
+92,70%
**
ENColl
0,267
0,152
0,292
0,166
Novice
SansDT
0,233
+0,60%
0,138
+12,05%
0,270
+,47%
0,163
+3,60
%
SansEM
0,217
+7,70%
*
0,095
+62,24%
***
0,242
+11,68%
***
0,115
+46,53%
**
SansEMDT
0,253
-­‐7,30%
***
0,111
+39,35%
*
0,287
-­‐5,69%
0,126
+33,78%
FS
0,222
+5,63%
0,102
+51,03%
*
0,237
+14,17%
0,125
+35,08%
ENColl
0,235
0,154
0,271
0,169
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
21

22. Evalua>on
expérimentale
Recherche
d’Informa>on
Collabora>ve
! Impact
sur
l’efficacité
selon
les
rôles
:
test
d’hypothèse
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
22
0,234
+13,76%
p-­‐value
0,20
0,267
Méthode
exhaus>ve
Méthode
sélec>ve
Topic
TREC
0,292
+7,78%
p-­‐value
0,59
0,271

23. ! Proposi>on
d’un
modèle
de
RIC
basé
sur
l’exper>se
des
u>lisateurs
en
deux
étapes
:
Calcul
de
score
de
per>nence
des
documents
selon
le
rôle
des
collaborateurs
Maximisa>on
de
la
vraisemblance
de
la
per>nence
des
documents
! Evalua>on
expérimentale
Modèle
adapté
pour
un
groupe
caractérisé
par
des
différents
niveaux
d’exper>se
Intérêt
de
la
personnalisa>on
des
scores
selon
l’exper>se
des
collaborateurs
Apport
de
l’algorithme
d’appren>ssage
qui
renforce
la
division
du
travail
Conclusion
Recherche
d’Informa>on
Collabora>ve
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
23

24. ! Modélisa>on
du
profil
d’exper>se
Sessions
de
recherche
interac>ves
Paramétrage
du
modèle
de
ranking
! Evalua>on
expérimentale
Expérimenta>on
u>lisateur
(user-­‐study)
Collabora>on
à
plus
grande
grande
échelle
Perspec>ves
Recherche
d’Informa>on
Collabora>ve
RIC | Contexte | Travaux connexes | Ques3ons de recherche | Modèle de RIC | Evalua3on | Conclusion
24

25. Merci
de
votre
a]en1on
Laure
Soulier,
Lynda
Tamine
et
Wahiba
Bahsoun
IRIT,
Université
Toulouse
III
-­‐
Paul
Saba>er
hvps://twiver.com/LaureSoulier