Γεροκώστα

Γεροκώστα Βασιλική
email: vgerokos@gmail.com
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
ΘΕΣΣΑΛΟΝΙΚΗ 2014
Υπό την επίβλεψη των:
Ανδρέα Λ. Συμεωνίδη
Επίκουρο Καθηγητή ΤΗΜΜΥ – ΑΠΘ
Θεμιστοκλή Διαμαντόπουλου
Υποψήφιου Διδάκτορα ΤΗΜΜΥ – ΑΠΘ

Δομή Παρουσίασης
 Ορισμός του Προβλήματος
 Σκοπός της Διπλωματικής
 Βασικές Έννοιες
 Πειραματικό Μέρος
 Μέτρα Αποδοτικότητας των μοντέλων πρόβλεψης
 Αποτελέσματα – Συμπεράσματα
 Μελλοντική Εργασία
18/3/2014 2/33Πρόβλεψη Σφαλμάτων με Μετρικές Μεταβολής και Στατικών Στοιχείων Κώδικα

Ορισμός του Προβλήματος
Η εξαγωγή μετρικών (change metrics) που εκφράζουν αυτές τις συνεχόμενες αλλαγές (change bursts) θα
μπορούσε να είναι δείκτες διαφόρων προβλημάτων – εμφάνιση σφαλμάτων σε συγκεκριμένα τμήματα του
κώδικα.
Η διασφάλιση της ποιότητας γίνεται αποτελεσματική όταν οι προσπάθειες κατευθύνονται σε αυτά τα
τμήματα του κώδικα που είναι πιο πιθανό να περιέχουν σφάλματα.
Όλες αυτές οι δραστηριότητες – αλλαγές διεξάγονται από ανθρώπους, οπότε είναι αναπόφευκτο το
γεγονός πως ορισμένες από τις αλλαγές θα προκαλέσουν σφάλματα.
H ανάπτυξη λογισμικού μπορεί να θεωρηθεί ως μια ακολουθία αλλαγών. Ως αλλαγή μπορεί να θεωρηθεί
οποιαδήποτε:
18/3/2014 3/33
προσπάθεια μορφοποίησης του κώδικα
προσπάθεια διόρθωσης ήδη
υπάρχοντος σφάλματος
αλλαγή για να επιτύχουμε την
προσέγγιση των απαιτήσεων του χρήστη
Πρόβλεψη Σφαλμάτων με Μετρικές Μεταβολής και Στατικών Στοιχείων Κώδικα

 Στόχος της Διπλωματικής

Στόχος της διπλωματικής είναι:
η αξιολόγηση της προβλεπτικής ισχύος των μετρικών
μεταβολής (change metrics)
η εξαγωγή συμπερασμάτων για το πώς η επιλογή ενός
μοντέλου επηρεάζει την αποδοτικότητα της πρόβλεψης

Ποιότητα του Λογισμικού
 Ως μετρική ορίζεται μία εμπειρική αντικειμενική
αντιστοίχιση ενός αριθμού ή συμβόλου σε μία οντότητα, με
στόχο να χαρακτηρίσει ένα συγκεκριμένο χαρακτηριστικό
της οντότητας αυτής.
 Ο βασικός λόγος χρήσης μέτρων και μετρικών είναι η επίλυση
του προβλήματος λογισμικού, που σχετίζεται με την αδυναμία
καθορισμού μετρήσιμων ποσοτήτων κατά τη σχεδίαση και
ανάπτυξη ενός έργου
 Βασικός στόχος των μετρικών είναι να συντελέσουν στην
πρόβλεψη σφαλμάτων για τη διασφάλιση της ποιότητας.

Βασικές Προσεγγίσεις Πρόβλεψης
Ατελειών
 Change Log Approaches
Χρησιμοποιούν πληροφορίες που προέρχονται από το ιστορικό
εκδόσεων του συστήματος, θεωρώντας ότι τα πιο πρόσφατα ή τα
πιο συχνά μεταβαλλόμενα αρχεία, είναι η πιο πιθανή πηγή
μελλοντικών σφαλμάτων.
 Single-Version Approaches
Tόσο η συμπεριφορά του προγράμματος όσο και ο τρέχων
σχεδιασμός του μπορούν να αποτελέσουν σημαντικούς
παράγοντες που θα επηρεάζουν την παρουσία ή απουσία
μελλοντικών ελαττωμάτων στο πρόγραμμα.

 Αποτελέσματα - Συμπεράσματα

Ταξινόμηση (1)
Επιβλεπόμενη μάθηση (supervised learning).
Στόχος της είναι να “μάθει” επαγωγικά μέσω ενός συνόλου
δεδομένων μια συνάρτηση , η οποία αποτελεί την περιγραφή ενός
μοντέλου. Βασίζεται σε ένα ταξινομημένο σύνολο δεδομένων
εκπαίδευσης.
Η ταξινόμηση είναι μια τεχνική μηχανικής μάθησης που ανήκει
στην κατηγορία της επιβλεπόμενης μάθησης.
Για τον ορισμό του προβλήματος της ταξινόμησης υποθέτουμε πως έχουμε:
 Ένα αντικείμενο περιγράφεται με διάφορα χαρακτηριστικά
(attributes), τα οποία θα αποτελέσουν τις μεταβλητές πρόβλεψης.
 Κάθε τέτοιο αντικείμενο μπορεί να ανατεθεί σε μια ακριβώς κατηγορία
(κλάση) από ένα πεπερασμένο σύνολο πιθανών κατηγοριών.

Ταξινόμηση (2)
1ο
• Κατασκευάζεται το ταξινομημένο σύνολο εκπαίδευσης (training dataset),
στο οποίο συμπεριλαμβάνονται μαζί με όλα τα υπόλοιπα χαρακτηριστικά
(ανεξάρτητες μεταβλητές) κάθε εγγραφής και η κλάση στην οποία αυτό ανήκει.
2ο
• Επιλέγεται το μοντέλο ταξινόμησης που θα εφαρμοστεί στο σύνολο εκπαίδευσης
ώστε να παραχθεί μια συνάρτηση που θα το περιγράφει.
3ο
• Η συνάρτηση αυτή θα χρησιμοποιηθεί έπειτα για τη χαρτογράφηση (επιλογή της
κλάσης στην οποία ανήκει) νέων εγγραφών (εφαρμογή του μοντέλου στο
ταξινομημένο σύνολο δεδομένων ελέγχου – testing dataset)
4ο
• Τέλος, συγκρίνονται τα αποτελέσματα του μοντέλου της πρόβλεψης με το ήδη
ταξινομημένο σύνολο δεδομένων ελέγχου.

Όπου,
18/3/2014 12/33
Κατασκευή του μοντέλου Προσδιορισμός συντελεστών b
με τη μέθοδο της μέγιστης
πιθανοφάνειας  επιλογή
αυτών των τιμών που να κάνουν
πιο πιθανή την τιμή της
εξαρτημένης μεταβλητής
Λογιστική Παλινδρόμηση

Ταξινομητής Naïve Bayes
Δεδομένου μιας βάσης δεδομένων προς ταξινόμηση S που περιγράφεται από
τα χαρακτηριστικά και ότι είναι οι αντίστοιχες
κλάσεις. Αν είναι ένα αντικείμενο της βάσης S, ο
ταξινομητής θα αναθέσει το αντικείμενο σε εκείνη την κλάση με τη
μεγαλύτερη εκ των υστέρων πιθανότητα :
όπου
 Στην περίπτωση που μια μετρική παίρνει συνεχείς τιμές με μέση τιμή μ και
διακύμανση υποθέτουμε πως οι τιμές της ακολουθούν κανονική κατανομή και η
πιθανότητα υπολογίζεται από τον τύπο:

 Κάθε κόμβος Κ αναπαριστά μια
μεταβλητή πρόβλεψης.
 Κάθε κλαδί αντιστοιχεί σε μια από
τις πιθανές τιμές (α1, β1, γ1) που
μπορεί να λάβει η μεταβλητή.
 Κάθε φύλλο αντιστοιχεί σε μια από
τις προκαθορισμένες κλάσεις.
Δέντρα Απόφασης
Αλγόριθμος C4.5
 Το Δέντρο Απόφασης κατασκευάζεται χρησιμοποιώντας την εντροπία πληροφορίας.
 Κριτήριο διαχωρισμού σε κάθε κόμβο είναι το κέρδος πληροφορίας (Information Gain).
με την εντροπία:

Ταξινομητής AdaBoost
18/3/2014 15/33
 Βασίζεται στη μέθοδο του boosting.
Συνδυάζει πολλούς “αδύναμους” ταξινομητές
με σκοπό να δημιουργήσει ένα “ισχυρό”
ταξινομητή.
 Χρησιμοποίει ένα αλγόριθμο ως βάση και
δέχεται ως είσοδο το πλήθος των μοντέλων
βάσης που πρόκειται να συνδυαστούν.
 Σε κάθε επανάληψη αναπροσαρμόζεται η
κατανομή των βαρών αυξάνοντας κατά μια
ποσότητα μόνο τα βάρη των εγγραφών που
ταξινομήθηκαν εσφαλμένα.

Σύνολο Δεδομένων
G=3
B = {1, …, 10}
18/3/2014 16/33
Το σύνολο δεδομένων αποτελείται από ένα σύνολο από change
metrics, μετρικές που εκφράζουν τις συνεχόμενες αλλαγές στο
project του Eclipse για τις εκδόσεις 2.0, 2.1, 3.0.
 Συνεχόμενες αλλαγές (change bursts) προσδιορίζονται από:
• Gap Size (G)
Μέγιστη απόσταση ανάμεσα σε δύο αλλαγές ώστε να βρίσκονται στο
ίδιο burst
• Burst Size (B)
Ελάχιστος αριθμός αλλαγών σε ένα burst
Το σύνολο δεδομένων είναι χωρισμένο
σε csv αρχεία όπου υπολογίζονται όλες
οι μέτρικές για κάθε πιθανό συνδυασμό
Gap και Burst Size (με G = {1, …, 10} και
B = {1, …, 10})

Σύνολο Δεδομένων
Τα μοντέλα πρόβλεψης εφαρμόστηκαν σε 10 csv αρχεία,
ένα για κάθε burst size, τα οποία αποτελούνται:
 Από 24 change metrics καθώς και την εξαρτημένη
μεταβλητή, οι οποίες αποτελούν και τις στήλες του
συνόλου δεδομένων.
 Από 6728 εγγραφές που αντιστοιχούν στις οντότητες του
λογισμικού (java files) και αποτελούν τις γραμμές του
συνόλου δεδομένων.

Μετρικές Αποδοτικότητας
μοντέλων πρόβλεψης (1)
Confusion Matrix

Receiver
Operating
Characteristic
(ROC) Curve
FPR – TPR (recall)
ή
(1 - specificity) – sensitivity
Η ακρίβεια του μοντέλου
μετράται από την περιοχή
κάτω από τη ROC καμπύλη
(Area Under Curve (AUC))
18/3/2014 20/33
Better
Worst
Perfect
Classification
Μετρικές Αποδοτικότητας
μοντέλων πρόβλεψης (2)

Λογιστική Παλινδρόμηση

Ταξινομητής Naïve Bayes

Δέντρα Απόφασης

Ταξινομητής AdaBoost

Συγκεντρωτικά Διαγράμματα (1)
ROC καμπύλες όλων των ταξινομητών για κάθε burst ξεχωριστά

27/33
ROC καμπύλες
για burst size = 1
ROC καμπύλες
για burst size = 10
18/3/2014 Πρόβλεψη Σφαλμάτων με Μετρικές Μεταβολής και Στατικών Στοιχείων Κώδικα

18/3/2014 28/33
Αποδοτικότητα μοντέλων πρόβλεψης ομαδοποιημένη ανά burst

18/3/2014 29/33
Αποδοτικότητα του κάθε μοντέλου σε σχέση με το burst size

Συμπεράσματα
 Ικανοποιητική προβλεπτική ισχύς των change metrics.
 Εφαρμογή μοντέλων πρόβλεψης που πετυχαίνουν
καλά ποσοστά πρόβλεψης σφαλμάτων .
 Βελτίωση των αποτελεσμάτων με τη εφαρμογή του
αλγορίθμου AdaBoost ενισχύοντας την αποδοτικότητα
πρόβλεψης.

Μελλοντική Εργασία
 Αναζήτηση αιτιών της προβλεπτικής ισχύος των change
metrics και βαθύτερη κατανόηση και μελέτη της
λειτουργίας των change bursts
 Εφαρμογή των μοντέλων πρόβλεψης σε όλο το διαθέσιμο
σύνολο δεδομένων του Eclipse
 Εφαρμογή των μοντέλων και σε άλλα λογισμικά ώστε να
είναι πιο τεκμηριωμένη η προβλεπτική ισχύς των change
metrics
 Επέκταση των μετρικών με ένα σύνολο πρόσθετων μετρικών
που να αποτυπώνουν τις λιγότερο οργανωμένες συνθήκες
υποβολής αλλαγών στον κώδικα

Ευχαριστώ πολύ για την προσοχή σας!
18/3/2014 33/33
Ερωτήσεις?

Γεροκώστα

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (12)

Ähnlich wie Γεροκώστα

Ähnlich wie Γεροκώστα (20)

Mehr von ISSEL

Mehr von ISSEL (20)

Γεροκώστα