Giorgos Karagiannoulos

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
.
......
Ανάπτυξη Συστήματος Προτάσεων για την Εξαγωγή
Τμημάτων Κώδικα από Διαδικτυακές Πηγές
Καραγιαννόπουλος Γεώργιος (A.E.M. 7805)
Αν. Καθηγητής Συμεωνίδης Ανδρέας
Υπ. Δρ. Διαμαντόπουλος Θεμιστοκλής
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Πολυτεχνική Σχολή
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
Εργαστήριο Επεξεργασίας Πληροφορίας & Υπολογιστών
Θεσσαλονίκη, 2 Νοεμβρίου 2017

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Περιεχόμενα Παρουσίασης
...1 Εισαγωγή
...2 Υλοποίηση Συστήματος
...3 Αξιολόγηση Πειράματα
...4 Επίδειξη Συστήματος
Καραγιαννόπουλος Γ. RSSE Development Θεσσαλονίκη 2017 2 / 29

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Ορισμός του Προβλήματος
Η ανάπτυξη ενός έργου λογισμικού απαιτεί συνδυασμό επιμέρους
μικρότερων τμημάτων.
Πληθώρα διαθέσιμων επιλογών ανοικτού κώδικα (APIs, βιβλιοθήκες,
εργαλεία κλπ.)
Ο μηχανικός λογισμικού είναι αδύνατον να γνωρίζει απέξω τον τρόπο
χρήσης κάθε API.
Πρόβλημα: Χάσιμο πολύτιμου χρόνου και συγκέντρωσης στην αναζήτηση
παραδειγμάτων μέσω μηχανών αναζήτησης.
Σκοπός της Διπλωματικής Εργασίας: Ανάπτυξη συστήματος που
επιταχύνει/αυτοματοποιεί τη διαδικασία αναζήτησης παραδειγμάτων →
Σύστημα Προτάσεων στη Τεχνολογία Λογισμικού (Recommendation System in
Software Engineering - RSSE)

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
State of the Art
.
Structure Based
..
......
Bing Code Search
Blueprint
SnipMatch
Deckard
MAPO
PARSEWeb
PRIME
XSnippet
.
Semantic Based
..
......
Strathcona
FrUit
CodeBroker
.
Statistical Based
..
......
SLANG
CodeHint
Codex
Τα περισσότερα συστήματα είναι δύσκολα στην εκμάθηση και χρήση.
Δεν υποστηρίζουν ερωτήματα σε φυσική γλώσσα και δεν προτείνουν
έτοιμα παραδείγματα κώδικα αλλά συνήθως προτείνουν ακολουθίες, μοτίβα,
συμπληρώνουν κενά κλπ.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Δομή του Συστήματος

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Query
.
Ιδιότητες Ερωτημάτων
..
......
...1 Ερωτήματα σε φυσική γλώσσα.
...2 Ερωτήματα στη γλώσσα προγραμματισμού Java.
.
Παραδείγματα Ερωτημάτων
..
......
"How to read file"
"How to split string"
"How to send email"

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Augmenter
.
Σκοπός του Augmenter
..
......
Προσαυξάνει το ερώτημα του χρήστη με λέξεις-κλειδιά ώστε τα
αποτελέσματα της αναζήτησης να είναι πιο στοχευμένα.
.
Παραδείγματα Λέξεων-Κλειδιών
..
......
java
protected
for
import
abstract
void
class
final
int
interface
static
long
public
if
double

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Downloader
.
Λειτουργία του Downloader
..
......
...1 Αποστέλλει το ερώτημα στη μηχανή αναζήτησης της Google.
...2 Εξάγει μέσω εκφράσεων XPath το περιεχόμενο από HTML tags τα οποία
συνήθως περιέχουν κώδικα.
...3 Οργανώνει την εξαγόμενη πληροφορία σε ένα αρχείο τύπου JSON για
μετέπειτα επεξεργασία.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
.
Πρόβλημα...
..
......Το μεγαλύτερο ποσοστό των snippets δεν είναι μεταγλωττίσιμα...
.
Λειτουργία του Parser
..
......
...1 Αν το snippet είναι μεταγλωττίσιμο → εξαγωγή AST → εξαγωγή API
calls από AST.
...2 Αν το snippet δεν είναι μεταγλωττίσιμο → διαχωρισμός του snippet σε
μικρότερα τμήματα → εξαγωγή API calls

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
API Miner
.
Φιλοσοφία του Miner...
..
......
Υπόθεση: Σημαντικά έργα λογισμικού κάνουν χρήση ευρέως αποδεκτών και
υψηλής ποιότητας APIs.
Πόρισμα: Ένα τμήμα κώδικα που χρησιμοποιεί API calls όμοια με
σημαντικά έργα λογισμικού, εμπεριέχει και το ίδιο καλής ποιότητας API calls.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
API Miner
.
Φιλοσοφία του Miner...
..
......
Υπόθεση: Σημαντικά έργα λογισμικού κάνουν χρήση ευρέως αποδεκτών και
υψηλής ποιότητας APIs.
Πόρισμα: Ένα τμήμα κώδικα που χρησιμοποιεί API calls όμοια με
σημαντικά έργα λογισμικού, εμπεριέχει και το ίδιο καλής ποιότητας API calls.
.
Λειτουργία του API Miner
..
......
...1 Συγκεντρώνουμε τοπικά τα δημοφιλέστερα projects της Java στο
GitHub.
...2 Σχηματίζουμε ένα λεξιλόγιο από API calls που εμφανίζονται στα
παραπάνω projects.
...3 Εξετάζουμε αν τα API calls που περιέχουν τα snippets ανήκουν στο
λεξιλόγιο.
...4 Απορρίπτουμε τα snippets που περιέχουν περισσότερα άγνωστα API
calls από ένα κατώφλι.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Readability Evaluator
.
Ορισμός...
..
......
Ορίζουμε την αναγνωσιμότητα (readability) ως την ανθρώπινη κρίση για το
κατά πόσο είναι εύκολη ή μη η κατανόηση ενός κειμένου.
.
Στόχος...
..
......
Στόχος μας είναι να εκπαιδεύσουμε ένα μοντέλο ώστε να μπορεί να κρίνει την
αναγνωσιμότητα ενός snippet.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
.
Το Dataset...
..
......
Έχουμε 100 snippets βαθμολογημένα
από 120 διαφορετικά άτομα.
.
Διαδικασία...
..
......
...1 Από κάθε snippet εξάγουμε
στατικά ένα πλήθος από
χαρακτηριστικά.
...2 Εκπαιδεύουμε ένα δυαδικό
ταξινομητή με cross-validation
για αποφυγή overfitting, και με
Grid Search βρίσκουμε
βέλτιστες παραμέτρους.
...3 Εφαρμόζουμε το μοντέλο σε
νέα άγνωστα snippets.
Avg. Max. Feature Name
√ √
line length (# characters)√ √
# identifiers√ √
identifier length√ √
indentation (proceding whitespace)√ √
# keywords√ √
# numbers√
# comments√
# periods√
# commas√
# spaces√
# parenthesis√
# arithmetic operators√
# comparison operators√
# assignments (=)√
# branches (if)√
# loops (for, while)√
# blank lines√
# occurences of any single character√
# occurences of any single identifier

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
.
AdaBoost
..
......
Το προεπιλεγμένο μοντέλο είναι ένας ταξινομητής με τον αλγόριθμο
AdaBoost, ωστόσο υπάρχουν διαθέσιμες επιλογές για 2 ακόμη
ταξινομητές (KNN, RandomForests).
Estimators Learning Rate Score
F1 160 0.6 0.85
Recall 160 0.6 0.87
Precision 160 0.5 0.87
Accuracy 160 0.6 0.82

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Clusterer
.
Στόχος...
..
......
Ο στόχος είναι να διαχωρίσουμε τα snippets που αντιπροσωπεύουν ανόμοιες
υλοποιήσεις.
.
Υπόθεση...
..
......
”...snippets που χρησιμοποιούν διαφορετικά API calls απεικονίζουν και
διαφορετικές υλοποιήσεις του προβλήματος...”

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Clusterer
.
Υπόθεση...
..
......
”...snippets που χρησιμοποιούν διαφορετικά API calls απεικονίζουν και διαφορετικές υλοποιήσεις του
προβλήματος...”
Charset charset = Charset.forName("US-ASCII");
try (BufferedReader reader = Files.newBufferedReader(file, charset)) {
String line = null;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
} catch (IOException x) {
System.err.format("IOException: %s%n", x);
try (InputStream in = Files.newInputStream(file);
BufferedReader reader =
new BufferedReader(new InputStreamReader(in))) {
String line = null;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
} catch (IOException x) {
System.err.format("IOException: %s%n", x);
}

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Clusterer
.
Προεπεξεργασία Δεδομένων
..
......
...1 Κατακερματισμός των snippets ως προς τα API calls.
...2 Καταμέτρηση εμφανίσεων των tokens.
...3 Κανονικοποίηση και απόδοση βαρών στα tokens μέσω
μετασχηματισμού tf-idf.
.
Επιλογή του Πλήθους Ομάδων (Clusters)
..
......
Η εκτίμηση του πλήθους γίνεται με μία από τις παρακάτω μεθόδους ή
συνδυασμό αυτών:
...1 Ιεραρχική ομαδοποίηση.
...2 Μέθοδος γονάτου.
...3 Ανάλυση διαγράμματος σιλουέτας.
...4 Affinity propagation.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Clusterer

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Presenter
.
Λειτουργία 1
..
......
Κατάταξη των snippets μέσα σε κάθε cluster αλλά και κατάταξη των clusters.
Η κατάταξη των snippets γίνεται με βάση τα παρακάτω 2 κριτήρια:
...1 Μικρότερη απόσταση από το centroid του cluster −→ Μεγαλύτερη
βαθμολογία
...2 Μικρότερο μήκος κώδικα −→ Μεγαλύτερη βαθμολογία

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Presenter
.
Λειτουργία 2
..
......
Παρουσίαση και πλοήγηση στα αποτελέσματα μέσω διεπαφής γραμμής
εντολών (command line interface).

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Αξιολόγηση Συστήματος
Η σύγκριση της αποδοτικότητας του συστήματος έγινε με τη βοήθεια
πειραμάτων ως προς τη μηχανή αναζήτησης της Google.
Συγκεντρώθηκε ένα σύνολο ερωτημάτων τα οποία ήταν κοινά σε όλα τα
πειράματα.
Index Query Clusters Snippets Snippets/Cluster
1 How to read CSV file 3 44 14.7
2 How to generate MD5 hash code 4 43 10.8
3 How to upload file to FTP 3 13 4.3
4 How to split string 5 53 10.6
5 How to draw text graphics 3 40 13.3
6 How to play audio file 5 79 15.8
7 How to substitute string 3 31 10.3
8 How to convert collection to an array 4 49 12.3
9 How to send email 3 46 15.3
10 How to connect to a JDBC database 5 44 8.8
11 How to execute select statement JDBC database 3 59 19.7
12 How to initialize thread 3 33 11.0
13 How to write binary data 3 35 11.7
14 How to read ZIP archive 2 32 16.0
15 How to send packet via UDP 2 31 15.5

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Πείραμα 1ο - Ακρίβεια Αποτελεσμάτων
Μετρικές όπως το precision p και το recall r δεν είναι εύκολο να
εφαρμοστούν.
Θέλουμε να λάβουμε υπόψιν και τη σειρά με την οποία εμφανίζονται τα
αποτελέσματα.
.
Average Precision
..
......
Το Average Precision ισούται με το ολοκλήρωμα p(r), r ∈ [0, 1].
AveP =
∫ 1
0
p(r)dr =
n∑
k=1
P(k)∆r(k) =
∑n
k=1(P(k) · rel(k))
number of relevants documents
.
Mean Average Precision
..
......
Έστω ένα πλήθος ερωτημάτων Q τότε το Mean Average Precision θα ισούται:
MAP =
∑Q
q=1 AveP(q)
Q

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Πείραμα 1ο - Ακρίβεια Αποτελεσμάτων

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Πείραμα 2ο - Μέσο Μήκος Αναζήτησης
.
Ορισμοί...
..
......
...1 Ως μήκος αναζήτησης SL ορίζεται το πλήθος των μη σχετικών αποτελεσμάτων
που εμφανίζονται στο χρήστη έως ότου εμφανιστούν N σχετικά.
...2 Για πλήθος ερωτημάτων Q το μέσο μήκος αναζήτησης MSL ισούται με:
MSL =
∑Q
q=1 SL(q)
Q

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Πείραμα 2ο - Μέσο Μήκος Αναζήτησης

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Πείραμα 3ο - Ποιότητας Ομαδοποίησης
Χρήση δύο μετρικών μη εποπτευόμενης μάθησης:
.
Silhouette Coefficient
..
......
Ένας συνδυασμός συνεκτικότητας (cohesion) και διαχωρισμού (separation)
των clusters. Λαμβάνει τιμές στο διάστημα [−1, 1].
.
CoPhenetic Correlation Coefficient (CPCC)
..
......
Ένα μέτρο του πόσο πιστά αναπαριστώνται στο δενδρόγραμμα οι
ανομοιότητες μεταξύ των παρατηρήσεων. Λαμβάνει τιμές στο διάστημα [0, 1]

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Πείραμα 3ο - Ποιότητας Ομαδοποίησης
Query Index Silhouette Coefficient CPCC
1 0.66 0.65
2 0.63 0.61
3 0.71 0.68
4 0.73 0.84
5 0.60 0.69
6 0.69 0.65
7 0.65 0.68
8 0.74 0.75
9 0.63 0.64
10 0.69 0.64
11 0.67 0.63
12 0.69 0.69
13 0.65 0.66
14 0.62 0.63
15 0.61 0.63
Mean Value 0.66 0.67

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Συμπεράσματα - Μελλοντική Εργασία
.
Συμπεράσματα
..
......
Ο μηχανικός λογισμικού μπορεί να εξοικονομήσει χρόνο μέσω των
RSSEs.
Ο έλεγχος αναγνωσιμότητας βοηθάει στον εντοπισμό ποιοτικού κώδικα.
Η ομαδοποίηση των αποτελεσμάτων μπορεί να είναι πιο αποδοτική από
την παρουσίαση τους ως μία ενιαία λίστα.
.
Μελλοντική Εργασία
..
......
Προσθήκη επιπλέον μηχανών αναζήτησης.
Δημιουργία βάσης δεδομένων με συχνά χρησιμοποιούμενα
αποτελέσματα.
Ενσωμάτωση συστήματος σε κάποιο προγραμματιστικό περιβάλλον.
Επέκταση και σε άλλες γλώσσες προγραμματισμού.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.
Demo
.

.....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
....
.
....
.
.....
.
....
.
.....
.
....
.
....
.

Giorgos Karagiannoulos

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Giorgos Karagiannoulos

Ähnlich wie Giorgos Karagiannoulos (20)

Mehr von ISSEL

Mehr von ISSEL (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Giorgos Karagiannoulos