Evaluation d’explications pour la prédiction de liens dans les graphes de connaissances par des réseaux convolutifs. Présentation à PFIA IC 2022

1. Fabien Gandon
Inria, Université Côte d’Azur, CNRS, I3S, France
Evaluation d’explications pour la prédiction de
liens dans les graphes de connaissances par des
réseaux convolutifs
Nicholas Halliwell
Inria, Université Côte d’Azur, CNRS, I3S, France
Freddy Lecue
Inria, France
CortAIx, Thales, Canada
PFIA – IC 2022

2. Thèse de Nicholas Halliwell
2

3. Aperçu
3
1. Prédiction de liens explicable à l’aide de RGCN
& Lacunes des méthodes d’explication
2. Solution proposée : une vérité terrain à partir
des graphes de connaissances sur la royauté
3. Mesures de performance pour les explications
non uniques

4. 1
4
Prédiction de liens explicable à
l’aide d’un RGCN & lacunes des
méthodes d’explication

5. RGCN pour la prédictions de liens dans un graphe (de connaissances)
5
• Relational Graph Convolutional Network (RGCN)
Réseau convolutif de graphes relationnels [1]
• Apprendre un plongement (embedding) de dimension d pour chaque nœud et relation du graphe
• Entrées : la matrice d’adjacence et un triplet/arc donné
• Sorties: la probabilité que le triplet donné soit un fait
• Plusieurs algorithmes existent pour tenter d’expliquer les prédictions des
RGCN ex. ExplaiNE [2] & GNNExplainer [3]
[0,1]

6. Deux algorithmes pour expliquer les prédictions des RGCN
6
• ExplaiNE [2]
• considère une paire de nœuds (i,j) et une paire nœuds d’explication candidate (k,l)
• calcule le gradient du score pour la paire (i,j) / variation de la matrice d’adjacence A en (k,l)
• GNNExplainer [3]
• apprend un masque M sur la matrice d’adjacence pour identifier le sous-graphe le plus pertinent
• minimise l’entropie croisée entre la prédiction effectuée à l’aide de la matrice d’adjacence
complète et la prédiction effectuée à l’aide de la matrice d’adjacence masquée
• Les deux méthodes d’explication renvoient une explication sous la forme d’un
sous-graphe à l’utilisateur

7. lacunes des méthodes d’explication
7
• ExplaiNE & GNNExplainer n’utilisent pas les mêmes jeux de données pour leurs
expérimentations
Pas de comparaison possible
• Des évaluations limitées, dépendantes d’un domaine et au mieux qualitatives
Pas de vérité terrain disponible pour les explications
• Les critères utilisés varient
Pas de métriques standards pour évaluer et comparer les explications
• Il peut y avoir plusieurs façons d’expliquer une prédiction donnée
• Questions de recherche de cet article:
• Comment tester un système ?
• Comment savons-nous quelle explication est optimale ?
• Comment comparer deux systèmes ?

8. 2
8
Solution proposée : une vérité
terrain à partir des graphes de
connaissances (sur la royauté)

9. Exemple expliquer: (Louis VII of France, hasChild, Agnes of France)
9
• Expliquer (Louis VII of France, hasChild, Agnes of France)
Agnes_of_France
Louis_VII_of_France
hasChild

10. Exemple expliquer: (Louis VII of France, hasChild, Agnes of France)
10
• Expliquer (Louis VII of France, hasChild, Agnes of France)
Louis_VI_of_France
Agnes_of_France
Louis_VII_of_France
Adela_of_Champagne
Hugh,_Count_of_Champagne
Constance_of_France
hasChild
Bertha_of_Holland
hasParent
hasGrandparent
hasSpouse
hasGrandparent
hasChild
hasChild
hasParent

11. Exemple expliquer: (Louis VII of France, hasChild, Agnes of France)
11
• Expliquer (Louis VII of France, hasChild, Agnes of France)
• Exemple 1:
• (Adela of Champagne, hasChild, Agnes of France)
• (Louis VII of France, hasSpouse, Adela of Champagne)
Louis_VI_of_France
Agnes_of_France
Louis_VII_of_France
Adela_of_Champagne
Hugh,_Count_of_Champagne
Constance_of_France
hasChild
Bertha_of_Holland
hasParent
hasGrandparent
hasSpouse
hasGrandparent
hasChild
hasChild
hasParent

12. Exemple expliquer: (Louis VII of France, hasChild, Agnes of France)
12
• Expliquer (Louis VII of France, hasChild, Agnes of France)
• Exemple 1:
• (Adela of Champagne, hasChild, Agnes of France)
• (Louis VII of France, hasSpouse, Adela of Champagne)
• Autre possibilité:
• (Agnes of France, hasGrandparent, Louis VI of France)
• (Louis VII of France, hasParent, Louis VI of France)
Louis_VI_of_France
Agnes_of_France
Louis_VII_of_France
Adela_of_Champagne
Hugh,_Count_of_Champagne
Constance_of_France
hasChild
Bertha_of_Holland
hasParent
hasGrandparent
hasSpouse
hasGrandparent
hasChild
hasChild
hasParent

13. Traçage de règle pour la génération d’explications
13
• Traces d’inférences comme vérité terrain d’explication
• Règles équivalentes à des clauses de Horn ¬𝑙𝑙1 ∨ ... ∨ ¬𝑙𝑙𝑛𝑛 ∨ 𝑙𝑙𝑐𝑐 ou 𝑙𝑙𝑐𝑐 ← 𝑙𝑙1 ∧ ... ∧ 𝑙𝑙𝑛𝑛
• Ex. ℎ𝑎𝑎𝑠𝑠𝐺𝐺𝑟𝑟𝑎𝑎𝑛𝑛𝑑𝑑𝑝𝑝𝑎𝑎𝑟𝑟𝑒𝑒𝑛𝑛𝑡𝑡 (𝑋𝑋, 𝑍𝑍) ←ℎ𝑎𝑎𝑠𝑠𝑃𝑃𝑎𝑎𝑟𝑟𝑒𝑒𝑛𝑛𝑡𝑡 (𝑋𝑋,𝑌𝑌) ∧ ℎ𝑎𝑎𝑠𝑠𝑃𝑃𝑎𝑎𝑟𝑟𝑒𝑒𝑛𝑛𝑡𝑡 (𝑌𝑌, 𝑍𝑍)
• Pour le triplet 𝑇𝑇𝑐𝑐 obtenable par dérivation 𝑇𝑇𝑐𝑐 ← (𝑇𝑇1, . . . ,𝑇𝑇𝑛𝑛)
la trace (𝑇𝑇1, . . . ,𝑇𝑇𝑛𝑛) devient une explication
• Règles complètes (implication logique) & Règles de traçage pour explications annexes
• Utiliser le moteur de règle open source CORESE [4] pour créer un jeu de
données avec des explications à l’aide de règles
• Construire FrenchRoyalty-200k
• Extraction et nettoyage de relations familiales des rois et reines de France
• 6 types de relations : hasBrother, hasSister, hasChild, hasParent, hasSpouse, hasGrandparent
+

14. Scores et génération du jeu de données
14
• Plusieurs façons plus ou moins bonnes d’expliquer pourquoi un lien existe
• Construction d’un petit graphe complet en utilisant toutes les relations familiales
• Énumérer tous les chemins d’accès d’une longueur maximale de 2
• Chaque chemin possible sert d’explication
• Expérience utilisateur pour déterminer les poids de pertinence sur une échelle de Likert 0-4
• Pour chaque triplet dans l’ensemble d’entraînement/test
• on génère toutes les explications possibles pour expliquer pourquoi ce lien existe entre deux
entités
• on attache un score à l’explication correspondant au score obtenu par la règle lors de l’évaluation
par les utilisateurs

15. Jeu de données, score des utilisateurs et type d’explication
15

16. 3
16
Mesures de performance en
présence d’explications non
uniques

17. précision et le rappel généralisés
17
• La précision et le rappel classiques ne tiennent pas compte du fait que
certaines explications peuvent être plus intuitives que d’autres
• Nous adaptons la précision et le rappel généralisés [5]
pour tenir compte des poids de pertinence déterminés par les utilisateurs
• Précision généralisée incluant le score s(.) :
• Rappel généralisé incluant le score s(.):

18. score de Jaccard pour identifier les explications visées
18
• Une proposition d’explication peut être incomplète et ceci par rapport à de
multiples explications possibles
• Calculer le score de Jaccard par rapport à toutes les explications possibles:
• Considérer le score de Jaccard maximum pour toutes les explications possibles
• Identifier les explications ciblées par une méthode
• Evaluer la complétude de l’explication

19. Analyse quantitative
19

20. Analyse qualitative
20
Distribution des
propriétés dans
les explications
incorrectes.
Distribution des scores dans les explications prédites.

21. Conclusion
21
• Les méthodes RGCN n’ont pas de jeux de données et de mesures d’évaluation
commun pour être évalués et comparés.
• Les méthodes d’explication peuvent avoir plusieurs explications
• Le traçage de règles peut être utilisé pour générer une vérité terrain pour des
systèmes de génération d’explications
• Nous proposons un jeu de données FrenchRoyalty-200k et des métriques
• ExplaiNE a surpassé GNNExplainer sur ces ensembles de données et métriques

22. Conclusion
22
Références:
1. Michael Sejr Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Modeling Relational Data
with Graph Convolutional Networks. In European Semantic Web Conference, ESWC 2018
2. Bo Kang, Jefrey Lijffijt, and Tijl De Bie. ExplaiNE: An Approach for Explaining Network Embedding-based Link Predictions.
CoRRabs/1904.12694 (2019).arXiv:1904.12694, 2019
3. Zhitao Ying, Dylan Bourgeois, Jiaxuan You, Marinka Zitnik, and Jure Leskovec.. GNNExplainer: Generating Explanations for Graph
Neural Networks. InAdvances in Neural Information Processing Systems, Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer,
Florence d’Alché-Buc, Emily B. Fox, and Roman Garnett (Eds.), 2019
4. Corby, O., Gaignard, A., Faron Zucker, C., Montagnat, J.: KGRAM Versatile In- ference and Query Engine for the Web of Linked Data. In:
IEEE/WIC/ACM International Conference on Web Intelligence. pp. 1–8. Macao, China, 2012,
5. Jaana Kekäläinen and Kalervo Järvelin. 2002. Using graded relevance assessments in IR evaluation. J. Assoc. Inf. Sci. Technol. 2002.