1. Algorytm do automatycznej
klasyfikacji wyrazu twarzy
Łukasz Wojciech Pełszyński
Promotor: dr hab. inż. Khalid Saeed, prof. AGH

2. Cel pracy
Celem pracy było zbadanie problemów napotykanych przy
projektowaniu i implementacji systemu, który może dokony-
wać automatycznej klasyfikacji wyrazów twarzy.

3. Emocje
➲ Procesy psychiczne,
nadające wrażeniom
subiektywne właściwości.

4. Emocje c.d.
➲ Procesy psychiczne,
nadające wrażeniom
subiektywne właściwości.
➲ 38% treści komunikatu
stanowi ton głosu, 55%
mimika twarzy, gesty
oraz postawa a jedynie
7% słowa.

5. Automatyczna analiza
wyrazów twarzy
➲ Zastosowania:
● Nowoczesne interfejsy
użytkownika
● Robotyka
● Badania behawioralne:
● Psychologia
● Marketing

6. Założenia
➲ Analiza twarzy widzianej
z przodu.
➲ Twarz osoby o dowolnym
pochodzeniu etnicznym.
➲ Dopuszczalne lekkie
obroty i przesunięcia
głowy.

7. Działanie aplikacji
Znalezienie
Wykrycie
położenia Klasyfikacja
twarzy
cech twarzy

8. Wykrycie twarzy
➲ Konwersja do skali
szarości.
➲ Znalezienie twarzy w
obrazie:
● Viola-Jones Face Detector
➲ Wycięcie twarzy i
przeskalowanie do
rozmiaru 240x240 pikseli.

9. Znalezienie cech twarzy
➲ Algorytm bazujący na
rezprezentacjach obrazu
w przestrzeni Gabora.
➲ Reprezentacja piksela 49
wymiarowa:
● 48 reprezentacji Gabora,
● 1 w skali szarości.

10. Filtr Gabora
90 stopni 45 stopni 0 stopni

11. Znalezienie cech twarzy c.d.
➲ Skanowanie obrazu
klasyfikatorem 17x17
pikseli w obszarach zain-
teresowania.
➲ Szukana cecha znajduje
się w miejscu o najwięk-
szej wartości odpowiedzi
klasyfikatora.

12. Znalezienie cech twarzy c.d.

13. Budowanie klasyfikatora
➲ Utworzenie mocnego
klasyfikatora z prostych
funkcji decyzyjnych.
➲ Algorytm GentleBoost:
● mniejsza czułość na ob-
serwacje odstające i
szum niż AdaBoost,
● większa niż w AdaBoost
zdolność uogólniania.

14. Uczenie klasyfikatorów

15. Klasyfikacja
➲ Algorytm k-NN.
➲ Przestrzeń wzorców zbu-
dowana na podstawie
bazy JAFFE.
➲ Klasyfikacja do jednej z 6
k-NN podstawowych emocji:
● Strach
● Smutek
● Zaskoczenie
● Radość
● Gniew
● Obrzydzenie
happiness

16. Użyte technologie
➲ Języki programowania:
● C++
● Ruby
➲ Biblioteki:
● OpenCV
● RMagick

17. Wyniki
Etykieta Gniew Radość Zaskoczenie
Wynik Smutek Radość Smutek
klasyfikacji

18. Wyniki
Etykieta Smutek Strach Obrzydzenie
Wynik Smutek Smutek Smutek
klasyfikacji

19. Dziękuję za uwagę

20. Literatura
1. J. M. Rehg, M. Loughlin, K. Waters „Vision for a Smart Kiosk”, Czerwiec 1997,
Computer Vision and Pattern Recognition, 690-696.
2. M. Pantic, L. J. M. Rothkrantz „Automatic Analysis of Facial Expressions: The
State of the Art”, Grudzień 2000, IEEE Transactions on pattern analysis and
machine intelligence, vol. 22, no. 12, 1424-1443.
3. „Emotions” [Online; dostęp 17-01-2010], Dostępny w Internecie:
http://changingminds.org/explanations/emotions/emotions.htm
4. P. Viola, M. Jones „Rapid Object Detection using a Boosted Cascade of Simple
Features ”, 2001, Conference on computer vision and pattern recognition.
5. K. Saeed, P. Charkiewicz „Experimental Criterion for Face Classification” [w:]
Enhancement Methods in Computer Security – Biometric and Artificial
Intelligence Systems, Springer Science + Business Media, New York, USA, 2004,
195-202
6. K. Saeed „Minimal-Eigenvalue-Based Face Feature Descriptor” [w:] Issues in
Intelligent Systems Models and Techniques. Institute of System Research, Polish
Academy of Sciences, Akademicka Oficyna Wydawnicza EXIT, Warsaw, Poland,
2005, 185-196
7. „Tutorial on Gabor filters” [Online; dostęp 17-01-2010], Dostępny w Internecie:
http://mplab.ucsd.edu/tutorials/gabor.pdf
8. D. Vukadanovic, M. Pantic, „Fully Automatic Facial Feature Point Detection Using
Gabor Feature Based Boosted Classifiers”, Październik 2005, IEEE International
Conference on Systems, Man and Cybernetics
9. D. Hand, H. Mannila, P. Smyth “Eksploracja danych”, WNT, Warszawa 2005
10. „JAFFE Database” [Online; dostęp 17-01-2010], Dostępny w Internecie:
http://kasrl.org/jaffe.html