Ruby & Machine Vision - Talk at Sheffield Hallam University Feb 2009
Fokus-serien basierte Rekonstruktion von Mikroobjekten (2002)
1. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Fokusserien-basierte Rekonstruktion von Mikroobjekten
Jan Wedekind
16.5.2002
Betreuer: Axel Burkle
¨
Referent: Prof. Heinz Worn
¨
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a -1-
Automation und Robotik
2. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Motivation
aus Fokusserie rekonstruieren: Anwendung
• Oberflache (H¨henkarte)
¨ o • 3-D Modelle
• Bild erweiterter Scharfentiefe
¨ • Bilderkennung
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 2 (4/3) -
Automation und Robotik
3. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Verwandte Techniken
Strahlteiler Laser
Kamera
Laser Pfad1 Pfad2
Probe
Detektor
Piezo
α
∆z Linse1 Linse2
∆x XYZ−Tisch
Lasertriangulation Konfokales
• Vorteil: schnell, stabil Laserscanningmikroskop
• Grenze: Linienbreite, • hohe Aufl¨sung, 3-D
o
Sch¨rfentiefe
a • teuer
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 3 (10/9) -
Automation und Robotik
4. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Stand der Technik
• H¨henkarte d(x, y) aus
o Fokusserie Tiefenbild
Laplace
– Maximierung eines Sch¨rfemaßes
a
Fusion
∗ Gradientenbetrag
∗ lokale Grauwertvarianz
∗ Wavelet, 2. Ableitung
– Vergleich der Unscharfe
¨
• Bild erweiterter Sch¨rfentiefe
a Höhenkarte
v(x, y) = gd(x,y) (x, y)
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 4 (7/6) -
Automation und Robotik
5. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Meßaufbau
• Leica DM RXA Mikroskop
– 2 Kanal Beleuchtung mit
Filtereinsatz
– Motorisierter Z-Tisch
(Schrittweite 0.1 µm)
• Dual Pentium III mit 1GHz
Prozessoren
• 768 × 576 CCD-Kamera 8-Bit
⇒ Auflosung bis zu 0.74 µm/Pixel
¨
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 5 (7/6) -
Automation und Robotik
6. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Projektion von Hilfsmustern
Ohne Verwendung von
Hilfsmuster
Mit
projiziertem 13 µm-
Schachbrettmuster
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 6 (6/5) -
Automation und Robotik
7. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Systematischer Fehler
PSF
d
c
b a
d c
z Erkl¨rung
a
• Kontrast(b)>Kontrast(d)
• Kontrast(a)<Kontrast(c)
y
Schnitt durch Fokusserie
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 7 (9/8) -
Automation und Robotik
8. Fokusserien-basierte Rekonstruktion von Mikroobjekten
adaptives Sch¨rfemaß
a
Fokusserie
(·)2
gz (x, y) gz (x, y)2
⊗h ⊗h Filterung
Sch¨rfemaß fur verschiedene
a ¨
Au߬sungen
o
⊗s -(·)2 + ⊗s Filterung • hier lokale Grauwertvarianz
Verkleinerung
• Komplexitat O(N )
¨
1
⊗s -(·)2 + ⊗s Filterung
Verkleinerung
2
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a -8-
Automation und Robotik
9. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Adaptive Bestimmung der H¨henkarte
o
Ergebnis
Suchbereich
Höhenkarte Untergrenze
Auswahl
Maxima Obergrenze
1
Vergrößerung
Suchbereich,
Höhenkarte
Suchbereich
Höhenkarte Untergrenze
Auswahl
Maxima Obergrenze
2
Vergrößerung
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 9 (4/3) -
Automation und Robotik
10. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Ergebnis
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 10 (3/2) -
Automation und Robotik
11. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Au߬sungsverbesserung I
o
1
x2 + y 2 ≤ |zk|
Approximation der Punktantwort durch hz (x, y) = π(zk)2 ,
0 sonst
k kalibriert
1 g − g [⊗]h j<0
2 1 2j/(cM )
d − d (x, y) = argmin
M j∈{−M,...,+M } g1 − g2 [⊗]h2j/(cM ) j≥0
Verschlechterung
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 11 (4/3) -
Automation und Robotik
12. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Au߬sungsverbesserung II
o
Maxima
Schärfemaß
Regressions−Parabel
z
Maximum der Regressionsparabel
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 12 -
Automation und Robotik
13. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Vergleich I
ohne Muster mit Muster
Stand der Technik
adaptiv
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 13 (3/2) -
Automation und Robotik
14. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Vergleich II
simulierte 1003 -Fokusserie: geneigte Ebene
N −1 N −1
1
2
Gutemaß σd = 2 argmin
¨ (a1 x + a2 y + b − d(x, y))2
N a1 ,a2 ,b∈R x=0 y=0
Algorithmus σd
einfach 21.6531
adaptiv 1.4135
+ Vgl. d. Unscharfe
¨ 1.4956
+ Interpolation 1.3704
g50 (x, y)
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 14 (10/9) -
Automation und Robotik
15. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Vergleich III
Algorithmus σd /2 µm
einfach 3.66435
adaptiv 0.76254
+ Vgl. d. Unsch¨rfe
a 0.97060
+ Interpolation 0.67578
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 15 (11/10) -
Automation und Robotik
16. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Zusammenfassung
• Adaptiver Algorithmus unterdruckt systematische Fehler
¨
• Projektion von Hilfsmuster
• wenige Parameter
• Komplexitat O(N )
¨
• Berechnung von Tiefenbildern
• Auflosungsverbesserung durch Interpolation
¨
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 16 (7/6) -
Automation und Robotik
17. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Ausblick
• Meßaufbau:
– Helligkeitsregler fur Beleuchtung
¨
• Algorithmus:
– Adaptiver Vergleich der Unsch¨rfe
a
– Fusion von Fokusserien
– Interpolation der H¨henkarte
o
– Sch¨rfemaß aus Wavelets
a
– Zusammensetzen von H¨henkarten
o
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 17 (9/8) -
Automation und Robotik
18. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Mikrogitter
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 18 -
Automation und Robotik
19. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Rillen
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 19 -
Automation und Robotik
20. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Mikrozahnrad
Institut f¨ r Prozentrechentechnik,
u
Universit¨t Karlsruhe (TH)
a -20 -
Automation und Robotek
21. Fokusserien-basierte Rekonstruktion von Mikroobjekten
1-Cent Euro “E”
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 21 -
Automation und Robotik
22. Fokusserien-basierte Rekonstruktion von Mikroobjekten
1-Cent “1”
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 22 -
Automation und Robotik
23. Fokusserien-basierte Rekonstruktion von Mikroobjekten
kleines Mikrozahnrad
∅0.6 mm
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 23 -
Automation und Robotik
24. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Bergkristall Tiefenbild
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 24 -
Automation und Robotik
25. Fokusserien-basierte Rekonstruktion von Mikroobjekten
Ammonit 3D
Institut f¨ r Prozeßrechentechnik,
u
Universit¨t Karlsruhe (TH)
a - 25 -
Automation und Robotik