1. Universität zu Köln. Historisch-Kulturwissenschaftliche Informationsverarbeitung
Jan G. Wieners // jan.wieners@uni-koeln.de
Basisinformationstechnologie I
Sommersemester 2013
15. Mai 2013 – Algorithmen der Bildverarbeitung II: Computervision – Vorverarbeitung

2. Maschinelles Sehen / Computer Vision
 Problemstellung: Algorithmische sinnliche
Wahrnehmung?
 Vorverarbeitung: Verbesserung des Quellmaterials
 Punktoperationen
 Binarisierung
 Histogrammausgleich
 Binarisierung, Schwellwertausgleich
 Filter
 Medianfilter
 Geometrische Operationen
 Merkmalsextraktion: Kantendetektion
 Algorithmische „kognitive“ Wahrnehmung:
 Künstliche Neuronale Netze
Themenüberblick

3. Bildverarbeitung und
maschinelles Sehen

4. http://www.graffitiresearchlab.de

5. Sinnliche Wahrnehmung
Photorezeptorenschicht der
Netzhaut:
~ 6 Millionen Zapfen
~ 120 Millionen Stäbchen

6. Struktur /
form?

7. Struktur /
form?

9. Bedeutung?

11. „Alles […], was ich bisher am ehesten für wahr
angenommen, habe ich von den Sinnen oder durch
Vermittelung der Sinne empfangen. Nun aber bin
ich dahinter gekommen, daß diese uns bisweilen
täuschen, und es ist ein Gebot der Klugheit, niemals
denen ganz zu trauen, die auch nur einmal uns
getäuscht haben.“
(Descartes, René: Meditationen über die Grundlagen der Philosophie mit den sämtlichen Einwänden und
Erwiderungen. Hamburg: meiner, 1994. S. 12)
Wahrnehmung

12. …und Computer / Rechner?

13. rot, rot, grün, grün, grün, grün, grün,
rot, rot, rot, grün, rot, rot, rot, rot, ro
t, grün, rot, rot, grün, rot, rot, rot, ro
t, rot, grün, rot, rot, rot, rot, blau, rot
, blau, rot, rot, rot, rot, rot, rot, rot, r
ot, rot, rot, rot, rot, rot, rot, rot, rot, r
ot, rot, rot, rot, blau, rot, rot, rot, rot,
rot, blau, rot, rot, rot, blau, rot, rot, r
ot, blau, rot, rot, rot, rot, rot, blau, bl
au, blau, rot, rot, rot

14. rot, rot, grün, grün, grün, grün, grün,
rot, rot, rot, grün, rot, rot, rot, rot, ro
t, grün, rot, rot, grün, rot, rot, rot, ro
t, rot, grün, rot, rot, rot, rot, blau, rot
, blau, rot, rot, rot, rot, rot, rot, rot, r
ot, rot, rot, rot, rot, rot, rot, rot, rot, r
ot, rot, rot, rot, blau, rot, rot, rot, rot,
rot, blau, rot, rot, rot, blau, rot, rot, r
ot, blau, rot, rot, rot, rot, rot, blau, bl
au, blau, rot, rot, rot

17. Woher wissen
Suchmaschinen, was in einer
Rastergrafik dargestellt ist?
Annotation:
Metainformationen, ausgefülltes
alt-Attribut des <img> Tags
Bildanalyse

19. Maschinelles Sehen

20. Von der Rastergrafik zur Merkmalsextraktion –
Algorithmen & Co.
 Vorbereitung bzw. Vorverarbeitung
 Punkt-Operationen
 Histogramm
 Filter
 Geometrische Operationen
 Drehung, Streckung, Verschiebung des Bildes
 Merkmalsextraktion
 Clustering
Maschinelles Sehen

21. Betrachtung / Veränderung eines Pixels unabhängig
von seinen Nachbarpixeln
Vorverarbeitung I: Punkt-Operationen

22. Gonzalez und Woods, 2008: „We can summarize by saying that RGB is ideal
for image color generation (as in image capture by a color camera or image
display in a monitor screen), but its use for color description is much more
limited.”
Zu viel Information: Umwandlung in Graustufenbild

23. Das IHS-Farbsystem (auch HSI, HSV Farbsystem):
 Leuchtstärke (Intensity): Maßeinheit der
Helligkeit, resultiert aus dem Durchschnitt der
Farbwerte
 Sättigung (Saturation): Beschreibt die Farbreinheit
 Farbton (Hue): Proportional zur durchschnittlichen
Wellenlänge der Farbe; basiert auf Abbildung der
Farben in einem Polarkoordinatensystem:
Zu viel Information: Umwandlung in Graustufenbild

24. 
Zu viel Information: Umwandlung in Graustufenbild

25. Zu viel Information: Umwandlung in Graustufenbild

26. Histogramm
Das Histogramm eines Bildes dokumentiert über eine Liste von 256
Elementen (8-Bit Graustufenbild) die Anzahl der Pixel des Bildes, die
mit dem entsprechenden Farb- bzw. Graustufenwert belegt sind.

27. Histogramm
Das Histogramm eines Bildes dokumentiert über eine Liste von 256
Elementen (8-Bit Graustufenbild) die Anzahl der Pixel des Bildes, die
mit dem entsprechenden Farb- bzw. Graustufenwert belegt sind.
?

28. Algorithmus:
 Betrachte jedes Pixel P der Rastergrafik
 Speichere den Graustufenwert des Pixels in einem
assoziierten Array:
// Initialisiere jede Speicherstelle des Arrays mit 0
array histogram[0-255] = 0;
// Iteriere über jedes Pixel des Bildes
array histogram[ PR ] += 1;
Histogramm

29. Histogrammausgleich (automatisch)
Z.B.: Lisani, Petro, Sbert 2012: Color and
Contrast Enhancement by Controlled
Piecewise Affine Histogram Equalization
Vgl. http://www.ipol.im/pub/art/2012/lps-pae/

30. Wie lässt sich (algorithmisch) eine Aufhellung des
Graustufenbildes vornehmen?
Übung: Bildaufhellung?

31. Wie lässt sich (algorithmisch) eine Aufhellung des
Graustufenbildes vornehmen?
Übung: Bildaufhellung?

32. Algorithmus:
 Betrachte jedes Pixel des Bildes
 Für jedes dunkle Pixel: Vermindere den Grauwert
 Für jedes helle Pixel: Erhöhe den Grauwert
Kontrastverstärkung

33. Zu viel Information II: Binarisierung
Grundfrage dieses (und der vergangenen Verfahren): Wie lässt sich
Bildinformation verwerfen, ohne die Bildcharakteristika (i.e. die Form
des Elephanten) zu zerstören?

34. Zu viel Information II: Binarisierung
Grundfrage dieses (und der vergangenen Verfahren): Wie lässt sich
Bildinformation verwerfen, ohne die Bildcharakteristika (i.e. die Form
des Elephanten) zu zerstören?

35. Zu viel Information II: Binarisierung
Zwei Pixelklassen:
Algorithmus:
 Betrachte jedes Pixel P der Rastergrafik
 Vergleiche den Farb-/Grauwert jedes Pixels mit dem
Schwellenwert T.
 Ist der Wert kleiner als der Schwellenwert, so wird es
schwarz eingefärbt (a).
 Ist der Wert größer oder gleich dem Schwellenwert, so wird
es weiß eingefärbt (b).

36. Punkt-Operation: Binarisierung mit globalem Schwellenwert

37. Übung: Binarisierung

38. Filter: Betrachtung / Veränderung eines Pixels in
Abhängigkeit seiner Nachbarpixel
Achtung: Weil Originalpixel für das Ergebnis der
Filterung relevant (und unabdingbar) ist: Nutzung eines
Zwischenbildes als Ausgabe- oder Eingabepuffer.
Filter

39.  Lineare Filter (LSI-Filter, linear shift-invariant
filters): Jedes Pixel im Verarbeitungsfenster wird
mit einem vordefinierten Wert aus einer Faltungs-
bzw. Filtermatrix multipliziert.
 Nichtlineare Filter: U.a. heuristische Ansätze
Heuristik (vgl. Prechtl / Burkard): „Lehre bzw. Theorie der Verfahren zum Finden von Neuem und Problemlösen.“
Filter

40. 
Einfacher Mittelwertfilter
Quelle: Handels 2009: Medizinische Bildverarbeitung.

41. Einfacher Mittelwertfilter: 3x3 Pixel „Hotspot“

42. Einfacher Mittelwertfilter – so schaut‘s aus

43. Was tun bei Bildrauschen?

44. Algorithmus Medianfilter (Rangordnungsfilter):
 Rangordnungsfilter betrachten die Nachbarschaftspixel
jedes Pixels, speichern die gefundenen Farb- bzw.
Graustufenwerte und sortieren die so gewonnenen Werte
in aufsteigender Reihenfolge.
 Aus einer 3x3 Pixelmatrix resultiert eine Liste, bestehend
aus insgesamt neun Werten. Relevant für das
Medianfilter ist das Element, das sich in der Mitte der
sortierten Liste der Pixelwerte befindet.
 Das Medianfilter selektiert den Pixelwert des fünften
Listenelements und weist dem Pixel in der Mitte der
Matrix den Median, d.h. den fünften Wert der Liste zu.
Beispiel Nichtlinearer Filter: Medianfilter

47. Medianfilter: Anwendungsbeispiele
Bildnachweis: http://de.wikipedia.org/w/index.php?title=Datei:Medianfilterp.png&filetimestamp=20070810172335

48. Medianfilter: Anwendungsbeispiele
Bildnachweis: http://de.wikipedia.org/w/index.php?title=Datei:Cydonia_medianrp.jpg&filetimestamp=20050313005105

49. Übung Medianfilter

50. Merkmalsextraktion:
Kantendetektion

52. Laplace-Operator / -Filter

53. Sobel-Operator
Vgl.:
http://de.wikipedia.org/wiki/Sobel-Operator
http://old.hki.uni-koeln.de/teach/ws0405/VIP/tag7/index.html

54. http://www.euromed2010.eu/e-
proceedings/content/full/140.pdf
Ein Anwendungsfall: PLANETS

55.  Künstliche Neuronale Netze, z.B. Hopfield-Netz
 Clustering
Beispiel: Selbstorganisierende Karte
…eine Portion KI…

56.  Filter & Co. Mit HTML5 und JavaScript:
http://www.html5rocks.com/en/tutorials/canvas/imagefi
lters/?redirect_from_locale=de
 OpenCV (Open Source Computer Vision):
http://opencv.org/
 OCRopus(tm) open source document analysis and
OCR system: www.code.google.com/p/ocropus/
 Framework (PC) für Playstation „Move“:
http://code.google.com/p/moveframework/
 Kinect for Windows SDK:
http://www.microsoft.com/en-
us/kinectforwindows/develop/developer-
downloads.aspx
Weiterführendes

57. /

58. Aufgabe 1 (1 Punkt)
Welche Verfahrensweisen in der Vorverarbeitung von Rastergrafiken sind mit „Punkt-
Operation“ und „Filter“ signifiziert? Stellen Sie die unterschiedlichen Ansätze vor.
Aufgabe 2 (0.5 Punkte)
Lässt sich eine 24-Bit RGB Rastergrafik in ein Graustufenbild umwandeln? Wenn ja: wie?
Aufgabe 3 (0.5 Punkte)
Was ist ein „Histogramm“ und wie lässt sich das Histogramm einer Rastergrafik generieren?
Aufgabe 4 (1 Punkt)
Was ist mit dem Begriff „Salz und Pfeffer Rauschen“ bezeichnet? Welches Verfahren würden
Sie anwenden, um ein durch „Salz und Pfeffer Rauschen“ beeinflusstes Bild aufzubereiten?
Erläutern Sie die Arbeitsweise des Verfahrens.
Aufgabe 5 (0.5 Punkte)
Welches Verfahren lässt sich dazu verwenden, um Rastergrafiken weichzuzeichnen?
Aufgabe 6 (0.5 Punkte)
Wozu dienen die Sobel- und Laplace- (und Prewitt-, Roberts-, Canny-, …) Operatoren?
Hausaufgaben