Με τη ραγδαία εξέλιξη της τεχνολογίας και τη συνεχώς αυξανόμενη διείσδυσή της στην καθημερινότητα, τα τελευταία χρόνια δίνεται ολοένα και μεγαλύτερο βάρος στην αυτοματοποιημένη λήψη αποφάσεων από υπολογιστικά συστήματα. Συνεπώς η προσοχή μας στρέφεται ολοένα και περισσότερο στην εφαρμογή τεχνικών Μηχανικής Μάθησης (Machine Learning), δηλαδή στον τρόπο με τον οποίο ένα υπολογιστικό σύστημα μπορεί να εκπαιδευτεί, προκειμένου να είναι σε θέση να λάβει τις ζητούμενες αποφάσεις. Πέρα από τα κλασικά πεδία εφαρμογής, ενδιαφέρον παρουσιάζουν οι εφαρμογές αυθεντικοποίησης (authentication) που συναντάμε καθημερινά, όπως η ταυτοποίηση μέσω αναγνώρισης προσώπου (face recognition) ή δακτυλικού αποτυπώματος (fingerprint). Πιο συγκεκριμένα, η Μηχανική Όραση (Computer Vision) είναι ο κλάδος της Τεχνητής Νοημοσύνης (Artificial Intelligence) που ασχολείται με την αντίληψη του υπολογιστή μέσω εικόνων, με απώτερο στόχο την εξομοίωση της λειτουργίας του ανθρώπινου ματιού. Όμως, καθώς τα υπολογιστικά συστήματα βρίσκονται σε θέση να αναγνωρίζουν αντικείμενα, πολύ συχνά συναντάται η περίπτωση όπου κάποια από αυτά αξιολογούνται λανθασμένα. Αν λάβει κανείς υπόψη του τη σημασία και τη σπουδαιότητα των αποφάσεων που καλούνται να λάβουν οι υπολογιστές, γίνεται αμέσως αντιληπτό πως δεν υπάρχουν περιθώρια για τέτοιου είδους σφάλματα. Για τον λόγο αυτό γίνεται έρευνα γύρω από τις ευπάθειες των υπολογιστικών συστημάτων, προκειμένου να εντοπιστούν και να ληφθούν τα απαραίτητα μέτρα. Κάθε μοντέλο λήψης αποφάσεων αντιλαμβάνεται ένα πλήθος αντικειμένων και τα αξιολογεί σύμφωνα με την εκπαίδευση που έχει λάβει. Στην παρούσα διατριβή μελετάται και αξιολογείται ένα σύνολο μοντέλων νευρωνικών δικτύων βαθειάς μάθησης ως προς την ευρωστία τους, δηλαδή την ικανότητά τους να αντεπεξέρχονται σε συνθήκες που τα ωθούν σε λανθασμένες αποφάσεις. Επίσης μέσω της μελέτης αυτής επιδιώκεται η ανάδειξη των αποτελεσματικότερων μεθόδων δημιουργίας εύρωστων μοντέλων, καθώς και μεθόδων πουαποσκοπούν στην περεταίρω θωράκιση ήδη υπαρχόντων μοντέλων.

1. Ευρωστία νευρωνικών δικτύων
βαθειάς μάθησης
Τμήμα: Ηλεκτρολόγων Μηχανικών & Μηχανικών
Υπολογιστών, Πολυτεχνική σχολή Α.Π.Θ.
Ονοματεπώνυμο: Ακανθόπουλος Ηλίας
ΑΕΜ: 8494
Επιβλέπων: Συμεωνίδης Ανδρέας - Αναπληρωτής
Καθηγητής Τμήματος Η.Μ.Μ.Υ., Α.Π.Θ.
Συνεπιβλέπων: Κατσαρός Παναγιώτης - Αναπληρωτής
Καθηγητής Τμήματος Πληροφορικής, Α.Π.Θ.
Ημερομηνία: 30/10/2020

2. Σκοπός της διπλωματικής εργασίας
• Μελέτη και ανάδειξη μεθόδων με στόχο την
αποτελεσματική αξιολόγηση της ευρωστίας των
ταξινομητών – νευρωνικών δικτύων
• Δημιουργία περισσότερο εύρωστων νευρωνικών
δικτύων
• Βελτίωση ευρωστίας – θωράκιση ήδη
αναπτυγμένων (deployed) νευρωνικών δικτύων
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 2

3. Γνώσεις που αποκτήθηκαν
• Είδη ταξινομητών – νευρωνικών δικτύων ανάλογα
με την αρχιτεκτονική και το σετ δεδομένων που
χρησιμοποιείται
• Εναλλακτικές μέθοδοι εκπαίδευσης ως τεχνικές
δημιουργίας πιο εύρωστων νευρωνικών δικτύων
• Είδη παραμορφώσεων στα δεδομένα εισόδου
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 3

4. Γνώσεις που αποκτήθηκαν
• Επιθετικές μέθοδοι με σκοπό την έκθεση των
ευπαθειών των νευρωνικών δικτύων
• Αμυντικές μέθοδοι για τη θωράκιση των
ταξινομητών – νευρωνικών δικτύων ως προς τις
αδυναμίες τους
• Μετρικές αξιολόγησης των ταξινομητών ως προς
την ευρωστία τους
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 4

5. Ορισμός ευρωστίας
• Έστω χώρος 𝐿𝑝 και ένα δείγμα εισόδου 𝑥 το οποίο
ανήκει στην κλάση 𝑦 και 𝑥′ το παραμορφωμένο
δείγμα εισόδου τέτοιο, ώστε να ταξινομείται στην
κλάση 𝑦′.
• Ευρωστία: 𝑟𝑝𝑥
= 𝑚𝑖𝑛 ∥ (𝑥 − 𝑥′
) ∥𝑝, ∀𝑥′ ⇾ 𝑦′ ≠ 𝑦
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 5

6. Μεθοδολογία
• Εγκατάσταση-εργαλεία
• Python 3.7
• Keras (Tensorflow)
• ART (Advesarial Robustness Toolbox)
• Δημιουργία νευρωνικών δικτύων με
διαφοροποιήσεις ως προς τα σετ δεδομένων
(MNIST, CIFAR-10), τις ιδιαιτερότητες των μεθόδων
εκπαίδευσης (A.T., G.D.A.) και τις αρχιτεκτονικές
(C.N.N., D.N.N.)
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 6

7. Μεθοδολογία
• Αξιολόγηση της ευρωστίας των νευρωνικών
δικτύων με χρήση μετρικής (Empirical Robustness)
• Εξέταση αποτελεσματικότητας (Accuracy)
αμυντικών μεθόδων προεπεξεργασίας (F.S., T.V.M.,
S.S.) απέναντι σε κορυφαίες επιθέσεις (E.A.D.,
C.&W., P.G.D.)
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 7

8. Παράδειγμα
𝑟2 = 0 𝑟2 = 5 𝑟2 = 8
“7” – 96% “1” – 32% “1” – 78%
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 8

9. Αποτελέσματα – Πίνακας ευρωστίας
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 9
E.A.D. - 𝑙1 C.&W. - 𝑙2 P.G.D. - 𝑙∞
MNIST – C.N.N. 3.69 4.95 2.17
MNIST – C.N.N. (A.T.) 5.41 5.43 2.23
MNIST – C.N.N. (G.D.A.) 7.08 6.26 3.61
MNIST – D.N.N. 1.88 4.19 0.93
MNIST – D.N.N. (A.T.) 2.11 4.62 1.44
MNIST – D.N.N. (G.D.A.) 3.36 5.93 1.78
CIFAR10 – D.N.N. 0.21 0.32 0.10
CIFAR10 – D.N.N. (A.T.) 0.22 0.37 0.12
CIFAR10 – D.N.N.
(G.D.A.)
0.24 0.41 0.13

10. Αποτελέσματα – Άμυνες
προεπεξεργασίας (ενδεικτικός πίνακας)
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 10
MNIST – C.N.N.
Setting: 1 2 3 4 5 6 7 8 9 10
F.S. – E.A.D. 0.821 0.430 0.271 0.142 0.093 0.060 0.048 0.046 0.046 0.044
F.S. – C.&W. 0.773 0.096 0.077 0.067 0.061 0.047 0.046 0.044 0.043 0.042
F.S. – P.G.D. 0.874 0.039 0.038 0.027 0.027 0.027 0.027 0.027 0.027 0.027
T.V.M. – E.A.D. 0.339 0.323 0.321 0.317 0.308 0.330 0.296 0.278 0.268 0.263
T.V.M. – C.&W. 0.228 0.206 0.213 0.215 0.241 0.252 0.254 0.241 0.241 0.226
T.V.M. – P.G.D. 0.271 0.295 0.317 0.304 0.305 0.293 0.215 0.203 0.197 0.190
S.S. – E.A.D. 0.049 0.793 0.789 0.774 0.630 0.445 0.320 0.252 0.227 0.206
S.S. – C.&W. 0.045 0.526 0.385 0.457 0.352 0.277 0.233 0.195 0.192 0.178
S.S. – P.G.D. 0.027 0.492 0.174 0.335 0.403 0.322 0.212 0.185 0.172 0.154

11. Συμπεράσματα
• Gaussian Data Augmentation (G.D.A.)> Adversarial
Training (A.T.) > Standard Training
• Απλή αρχιτεκτονική + σετ δεδομένων χαμηλής
διαστασιμότητας => υψηλότερη ευρωστία
• Feature Squeezing (F.S.) -> ιδανική για
ασπρόμαυρα σετ δεδομένων (MNIST)
• Total Variance Minimization (T.V.M.)-> σταθερά
αποτελέσματα σε όλες τις περιπτώσεις
• Spatial Smoothing (S.S.)-> ιδανική για τοπικές
παραμορφώσεις (νόρμες 𝑙1 και 𝑙2)
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 11

12. Μελλοντική Εργασία
• Συγκριτική μελέτη άλλων σετ δεδομένων και
αρχιτεκτονικών
• Μελέτη επίδρασης άλλων κατανομών θορύβου
κατά την εκπαίδευση
• Μία μετρική ευρωστίας ως κοινό σημείο
αναφοράς
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 12

13. Ευχαριστίες:
• Σε όλους τους ανθρώπους που με στήριξαν στην
προσπάθειά μου!
• Σε όλους τους υπόλοιπους, για την προσοχή σας!
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 13

14. Ερωτήσεις
30/10/2020 Ευρωστία νευρωνικών δικτύων βαθειάς μάθησης 14