1. Active Appearance Models
with Occlusion
Ralph Gross, Iain Matthews and Simon Baker
präsentiert von: Sebastian Hafner

2. Active Appearance Models
with Occlusion
Ralph Gross, Iain Matthews and Simon Baker
präsentiert von: Sebastian Hafner

3. 2

4. Was ist überhaupt
“Überdeckung”?
2

5. Was ist überhaupt
“Überdeckung”?
• schlechte Übersetzung für “occlusion”
2

6. Was ist überhaupt
“Überdeckung”?
• schlechte Übersetzung für “occlusion”
• Selbstüberdeckung
2

7. Was ist überhaupt
“Überdeckung”?
• schlechte Übersetzung für “occlusion”
• Selbstüberdeckung
• Körperteile
2

8. Was ist überhaupt
“Überdeckung”?
• schlechte Übersetzung für “occlusion”
• Selbstüberdeckung
• Körperteile
• Kopfbewegung
2

9. Was ist überhaupt
“Überdeckung”?
• schlechte Übersetzung für “occlusion”
• Selbstüberdeckung
• Körperteile
• Kopfbewegung
• Überdeckung durch andere Gegenstände
2

10. Wie wirkt sich
Bewegung aus?
3

11. Überblick
4

12. Überblick
• Grundlagen für AAM
4

13. Überblick
• Grundlagen für AAM
• Anpassungen für Überdeckung
4

14. Überblick
• Grundlagen für AAM
• Anpassungen für Überdeckung
• Experimente
4

15. Überblick
• Grundlagen für AAM
• Anpassungen für Überdeckung
• Experimente
• Künstliche Überdeckung
4

16. Überblick
• Grundlagen für AAM
• Anpassungen für Überdeckung
• Experimente
• Künstliche Überdeckung
• Natürliche Überdeckung
4

17. Überblick
• Grundlagen für AAM
• Anpassungen für Überdeckung
• Experimente
• Künstliche Überdeckung
• Natürliche Überdeckung
• verschiedene Algorithmen
4

18. AAM erstellen
5

19. AAM erstellen
• Form
5

20. AAM erstellen
• Form
• Markante Punkte
5

21. AAM erstellen
• Form
• Markante Punkte
• handmarkiert
5

22. AAM erstellen
• Form
• Markante Punkte
• handmarkiert
5

23. Form
6

24. Form
n
s = s0 + pi si
i=1
6

25. Form
n
s = s0 + pi si
i=1
s: Form
s0: Grundform
si: Formvektoren
pi: Formparameter
6

26. Basisform s0
7

27. Basisform s0
7

28. Basisform s0
7

29. Basisform s0
7

30. Basisform s0
8

31. Basisform s0
1. Erstelle ein Netz s0 auf jedem Trainingsbild,
das handmarkierte Netz sei s
8

32. Basisform s0
1. Erstelle ein Netz s0 auf jedem Trainingsbild,
das handmarkierte Netz sei s
2. Wiederhole nun bis s0 konvergiert:
8

33. Basisform s0
1. Erstelle ein Netz s0 auf jedem Trainingsbild,
das handmarkierte Netz sei s
2. Wiederhole nun bis s0 konvergiert:
a. Passe s an s0 mit Hilfe von zweidimensionalen
Ähnlichkeitsumformungen an.
8

34. Basisform s0
1. Erstelle ein Netz s0 auf jedem Trainingsbild,
das handmarkierte Netz sei s
2. Wiederhole nun bis s0 konvergiert:
a. Passe s an s0 mit Hilfe von zweidimensionalen
Ähnlichkeitsumformungen an.
b. Setze s0 auf den Mittelwert aller Netze s
8

35. Basisform s0
1. Erstelle ein Netz s0 auf jedem Trainingsbild,
das handmarkierte Netz sei s
2. Wiederhole nun bis s0 konvergiert:
a. Passe s an s0 mit Hilfe von zweidimensionalen
Ähnlichkeitsumformungen an.
b. Setze s0 auf den Mittelwert aller Netze s
Nur wenn 50% der Punkte sichtbar sind !
8

36. Berechnung der
Formvektoren si
9

37. Berechnung der
Formvektoren si
• Passe die sichtbaren Dreiecke von s in das
i
Basisnetz s0 ein
9

38. Berechnung der
Formvektoren si
• Passe die sichtbaren Dreiecke von s in das
i
Basisnetz s0 ein
• Ziehe s0 von jedem si ab
9

39. Berechnung der
Formvektoren si
• Passe die sichtbaren Dreiecke von s in das
i
Basisnetz s0 ein
• Ziehe s von jedem s ab
0 i
• Benutze “PCA mit fehlenden Daten”
9

40. Berechnung der
Formvektoren si
• Passe die sichtbaren Dreiecke von s in das
i
Basisnetz s0 ein
• Ziehe s von jedem s ab
0 i
• Benutze “PCA mit fehlenden Daten”
• Verwende die othonormalsierten Eigenvektoren
mit dem größten Eigenwert als si
9

41. AAM erstellen
10

42. AAM erstellen
• Darstellung, umfasst:
10

43. AAM erstellen
• Darstellung, umfasst:
• alle Pixel innerhalb der Form s
0
10

44. AAM erstellen
• Darstellung, umfasst:
• alle Pixel innerhalb der Form s
0
• faktisch: ein Bild!
10

45. AAM erstellen
• Darstellung, umfasst:
• alle Pixel innerhalb der Form s
0
• faktisch: ein Bild!
10

46. Darstellung
11

47. Darstellung
m
A(x) = A0 (x) + λi Ai (x)
i=1
11

48. Darstellung
m
A(x) = A0 (x) + λi Ai (x)
i=1
A(x): Darstellung
A0(x): Basisdarstellung
Ai(x): Darstellungsbilder
λi: Darstellungsparameter
11

49. Berechnung der
Darstellungsbilder Ai
• Passe A an A an
i 0
• Ziehe A von jedem A ab
0 i
• Benutze “PCA mit fehlenden Daten”
• Verwende die othonormalisierten Eigenvektoren
mit dem größten Eigenwert als Ai
12

50. Experiment
13

51. Experiment
13

52. Experiment
• Früher verwendete Bilder werden
künstlich überdeckt.
13

53. Experiment
• Früher verwendete Bilder werden
künstlich überdeckt.
• Neue Bildsequenzen mit
natürlicher Überdeckung
13

54. Künstliche Überdeckung
14

55. Künstliche Überdeckung
Original
14

56. Künstliche Überdeckung
10% Überdeckung Original
14

57. Künstliche Überdeckung
10% Überdeckung Original 50% Überdeckung
14

58. Basisnetzabstand
Pixelabstand
0.50
durchschn. Pixelabstand [px]
zwischen den
0.40
Netzen aus
0.30
überdeckten und
0.20
überdeckungs-
0.10
freien
Bildsequenzen 0.05 0.15 0.25 0.35 0.45
% Überdeckung
15

59. Basisnetzabstand
Pixelabstand
0.50
durchschn. Pixelabstand [px]
zwischen den
0.40
Netzen aus
0.30
überdeckten und
0.20
überdeckungs-
0.10
freien
Bildsequenzen 0.05 0.15 0.25 0.35 0.45
% Überdeckung
Bleibt unter ½ px für bis zu 50% Überdeckung!
15

60. Formenergie Überlappung
16

61. Formenergie Überlappung
1 u )T
2
SE = (si o
sj
n i j
siu: Formvektoren für überdeckungsfreie Daten
sjo: Formvektoren für überdeckte Daten
16

62. Formenergie Überlappung
zwischen den 1.00
shape energy overlap [%]
Formen aus 0.95
überdeckten und
0.90
überdeckungs-
freien 0.85
Bildsequenzen
0.05 0.15 0.25 0.35 0.45
% Überdeckung
17

63. Formenergie Überlappung
zwischen den 1.00
shape energy overlap [%]
Formen aus 0.95
überdeckten und
0.90
überdeckungs-
freien 0.85
Bildsequenzen
0.05 0.15 0.25 0.35 0.45
% Überdeckung
Bleibt über 95% für bis zu 45% Überdeckung!
17

64. Einpassen von AAMs
mit Überdeckung
18

65. Einpassen von AAMs
mit Überdeckung
• Wie geht das?
• Minimierung des Quadratsummenfehlers
18

66. Einpassen von AAMs
mit Überdeckung
• Wie geht das?
• Minimierung des Quadratsummenfehlers
m 2
A0 (x) + λi Ai (x) − I (W(x; p))
x∈s0 i=1
18

67. Algorithmen
19

68. Algorithmen
• Project-Out Algorithmus
• vorher bereits besprochen
19

69. Algorithmen
• Project-Out Algorithmus
• vorher bereits besprochen
• Robust-Fitting Algorithmus
• ineffizient
19

70. Algorithmen
• Project-Out Algorithmus
• vorher bereits besprochen
• Robust-Fitting Algorithmus
• ineffizient
• Efficient Robust Normalization Algorithmus
• schnell, performant
19

71. Project-Out Algorithmus
20

72. Project-Out Algorithmus
• Vorberechnungen
20

73. Project-Out Algorithmus
• Vorberechnungen
• Gradientenbildung der Basisdarstellung ∇A
0
20

74. Project-Out Algorithmus
• Vorberechnungen
• Gradientenbildung der Basisdarstellung ∇A0
• Berechnung der Jacobi Matrix des Warp in (x;0)
20

75. Project-Out Algorithmus
• Vorberechnungen
• Gradientenbildung der Basisdarstellung ∇A0
• Berechnung der Jacobi Matrix des Warp in (x;0)
• Berechnung des Gradientenbilds SD (x)
ic
20

76. Project-Out Algorithmus
• Vorberechnungen
• Gradientenbildung der Basisdarstellung ∇A 0
• Berechnung der Jacobi Matrix des Warp in (x;0)
• Berechnung des Gradientenbilds SD (x)ic
• “Project out” Darstellung aus SD (x)
ic
20

77. Project-Out Algorithmus
• Vorberechnungen
• Gradientenbildung der Basisdarstellung ∇A 0
• Berechnung der Jacobi Matrix des Warp in (x;0)
• Berechnung des Gradientenbilds SD (x)ic
• “Project out” Darstellung aus SD (x)
ic
• Berechnung der Hesse-Matrix H po
20

78. Project-Out Algorithmus
• Iteration
• Warp I mit W(x;p) um I(W(x;p)) zu erhalten
• Berechnung des Fehlerbilds
E(x) = I(W(x;p)) - A0(x)
• Berechne Σx SDTpo(x) E(x)
• Aktualisiere den Warp W(x;p)
← W(x;p) ❍ W(x;Δp)
21

79. Project-Out algorithm
• Berechnung der Darstellungsparameter
λi = Ai (x) · [I (W(x; p)) − A0 (x)]
x∈s0
22

80. Robust fitting Algorithmus
m 2
A0 (x) + λi Ai (x) − I (W(x; p))
x∈s0 i=1
23

81. Robust fitting Algorithmus
m 2
A0 (x) + λi Ai (x) − I (W(x; p)) ;σ
x∈s0 i=1
ς symetrische, robuste Fehlerfunktion
σ Parametervektor
23

82. Robust fitting Algorithmus
24

83. Robust fitting Algorithmus
• von der Vorberechnung in die Iteration verschoben:
24

84. Robust fitting Algorithmus
• von der Vorberechnung in die Iteration verschoben:
• Gradientenbilder SD (x)
ic
24

85. Robust fitting Algorithmus
• von der Vorberechnung in die Iteration verschoben:
• Gradientenbilder SD (x)
ic
• Project out der Darstellung SD (x)
ic
24

86. Robust fitting Algorithmus
• von der Vorberechnung in die Iteration verschoben:
• Gradientenbilder SD (x)
ic
• Project out der Darstellung SD (x)
ic
• Berechnung der Hesse-Matrix H po
24

87. Robust fitting Algorithmus
• von der Vorberechnung in die Iteration verschoben:
• Gradientenbilder SD (x)
ic
• Project out der Darstellung SD (x)
ic
• Berechnung der Hesse-Matrix H po
Robust, aber sehr langsam !
24

88. Efficient robust
normalization algorithm
A0 = Ti
i
25

89. Efficient robust
normalization algorithm
A0 = Ti
i
A0: Grunddarstellung
Ti: Dreiecke aus s0
25

90. Efficient robust
normalization algorithm
26

91. Efficient robust
normalization algorithm
26

92. Efficient robust
normalization algorithm
Ti: Dreieck
Tj: Dreieck
26

93. Efficient robust
normalization algorithm
• Vorberechnung
• Berechne den Gradienten der Basisdarstellung: ∇A0
• Berechne die Jacobimatrix des Warp in (x;0)
• Berechne die Gradientenbilder SDic
• Berechne die Hesse-Matrix Hpi für jedes Dreieck
• Berechne die Darstellungs-Matrix HAi für jedes
Dreieck
27

94. Efficient robust
normalization algorithm
• Iteration
• Warp I with W(x;p) to compute I(W(x;p))
• Berechne das Fehlerbild Eapp(x)
• Berechne HA = Σiς’i·HiA
• Berechne Δλ und aktualisiere λ und Eapp
• Berechne die Hesse-Matrix Hp und invertiere sie
• Berechne Σxς’ (Eapp(x)2) SDTic(x) Eapp(x)
• Berechne Δp
• Aktualisiere den Warp
28

95. Experiment
29

96. Experiment
29

97. Experiment
• Vergleich der verschiedenen
Algorithmen mit verschiedenen
Überdeckungsanteilen und
verschiedenen Darstellungsbildern
29

98. Experiment
• Vergleich der verschiedenen
Algorithmen mit verschiedenen
Überdeckungsanteilen und
verschiedenen Darstellungsbildern
• inklusive Hager-Belhumeur
29

99. Hager-Belhumeur
Algorithmus
30

100. Hager-Belhumeur
Algorithmus
• vorgestellt 1998
30

101. Hager-Belhumeur
Algorithmus
• vorgestellt 1998
• basiert auf kleinste Quadrate Minimierung
30

102. Hager-Belhumeur
Algorithmus
• vorgestellt 1998
• basiert auf kleinste Quadrate Minimierung
• genauer: Iterated Reweighted Least Squares
30

103. Hager-Belhumeur
Algorithmus
• vorgestellt 1998
• basiert auf kleinste Quadrate Minimierung
• genauer: Iterated Reweighted Least Squares
• Die Hesse-Matrix wird als konstant angenommen
30

104. Experiment
31

105. Experiment
31

106. Experiment
31

107. Experiment
32

108. Experiment
32

109. Experiment
32

110. Konvergenz
Konvergenz bei
10% Überdeckung
bei verschiedenen
Algorithmen und
verschiedenen
Darstellungsbildern
33

111. Konvergenz
Konvergenz bei
10% Überdeckung
bei verschiedenen
Algorithmen und
verschiedenen
Darstellungsbildern
Verbesserung des
Konvergenzverhaltens
33

112. Konvergenz
Konvergenz bei
50% Überdeckung
bei verschiedenen
Algorithmen und
verschiedenen
Darstellungsbildern
34

113. Konvergenz
Konvergenz bei
50% Überdeckung
bei verschiedenen
Algorithmen und
verschiedenen
Darstellungsbildern
Deutliche Verbesserung
des Konvergenzverhaltens
34

114. Laufzeitvergleich
Efficient
pro Robust
Project Out Robust
Frame Normalization
Normalization
Matlab 27 ms 1280 ms 129 ms
C 4.3 ms 203.9 ms 20.5 ms
35

115. Laufzeitvergleich
Efficient
pro Robust
Project Out Robust
Frame Normalization
Normalization
Matlab 27 ms 1280 ms 129 ms
C 4.3 ms 203.9 ms 20.5 ms
Datenset: Testhardware:
547 Frames
11 Formparameter DualCore Pentium 4 @ 3 GHz
20 Darstellungsparameter
9981 Farbpixel
35

116. Tradition vs. Robustheit
36

117. Tradition vs. Robustheit
36

118. Was sollte ich nun
wissen?
37

119. Was sollte ich nun
wissen?
37

120. Was sollte ich nun
wissen?
37

121. Was sollte ich nun
wissen?
37

122. Was sollte ich nun
wissen?
37

123. Danke für Eure
Aufmerksamkeit !