Recommendation des personnes les plus aptes à réagir aux issues github en fonction de l'historique des pull requests passés avec GraphAware NLP

1. Propulsez un bot Github
pour le management
d’issues
avec
Neo4j et
du Natural Language
Processing
Meetup Neo4jFR @Prestashop – 19 oct 2016
Christophe Willemsen - @ikwattro

2. Qui Quoi Où
• Christophe Willemsen (Belgique)
• Consultant Neo4j et Elasticsearch chez GraphAware
( World’s #1 Neo4j Consultancy )
• Java / Python / PHP / FR / EN / NL
• Passionné de BigData, Machine Learning
• Github/Twitter : @ikwattro

4. Aujourd’hui
• Synchro API events de Github
• Problème de popularité
• Recommendations avec les données Github
• NLP Basics
• Analyse de l’historique de Pull Requests
• Demo avec une Issue

5. API Events Github
• PullRequestEvent
• IssuesEvent
• ForkEvent
• IssueCommentEvent
• PushEvent
• CommitCommentEvent, CreateEvent, FollowEvent, WatchEvent,
GistEvent, DownloadEvent, DeleteEvent, PublicEvent,…

6. API Events Github
• 65k events / heure
• 1.9 millions d’utilisateurs actifs / jour
• 1.6 millions de repos modifiés par jour
• 340 000 milliars de lignes de code en 219 langages différents

7. API Events Github

9. Popularité !

10. Popularité !
Un sérieux problème, voir
même un problème sérieux.

11. Popularité !
Identification de la popularité
sur Github

12. Popularité !
FOLLOWS / STARS

14. Problème de popularité
• Métrique trop vaste
• Génère trop de recommendations
• Recommendations irrélévantes

15. Popularité !
FAMOUS !!!

16. Quelle métrique ?
Qu’est-ce qui circule dans les
veines de Github ?

17. CONTRIBUTIONS

18. Contributions
• Neo4j vous permet d’inférer les relations entre les entités
• Ces relations implicites sont parfois beaucoup plus rélévantes que
les relations explicites comme FOLLOWS / STARS
• Si vous avez du mal avec les relations explicites, essayez
d’inférer les relations

19. NLP Basics

20. NLP Basics
• Sous-type de Machine Learning
• Opérations sur du texte, comme :
• Segmentation de phrases
• Part Of Speech Tagging, Parsing, Named Entity Extraction,
Tokenization, Lemmification, Topic Extraction, …

21. Un bot

23. Utilise deux heuristiques
• Si une ligne a été modifiée ou supprimée, la dernière personne
ayant modifié cette ligne doit être notifiée
• Si une personne a modifié plusieurs autres lignes dans ce fichier,
elle aimerait être notifiée

24. Issue Bot

25. Processus
• On effectue les opérations NLP sur les textes des Pull Requests
afin d’en extraire les tags, on crée également des tags en fonction
de la structure camelCased des noms de fichiers
• On applique un score de fréquence et importance sur ces tags
• On applique un score de fréquence de contribution sur les users
• On crée un nouvelle issue, on effectue les opérations NLP
• Content Based recommendation combiné avec les scores de
fréquence

29. https://github.com/
graphaware/
issuebot_nlp_meetup

30. Merci !
Questions?
graphaware.com
@graph_aware
@ikwattro