Szenengraph-Knoten für das Echtzeit-Rendern von Volumengrafiken aus grossen Datensätzen (Presentation).

1. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
OSG Volume Rendering
Szenengraph-Knoten f¨ur das Echtzeit-Rendern
von Volumengrafiken aus grossen Datens¨atzen
Semesterarbeit
Studiengang: Informatik, Modul BTI7302 Projekt 2, Vertiefung in CPVR
Autor: Roland Bruggmann, roland.bruggmann@students.bfh.ch
Betreuer: Urs K¨unzler, urs.kuenzler@bfh.ch
Datum: 5. Juni 2015
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

2. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
¨Ubersicht
1 Einleitung
Motivation
Problemstellung
2 Grundlagen
Volume Rendering
Direct Volume Rendering
Haptic CAVE System
3 Prototyp
Dom¨anenmodell
Demo
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

3. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Einleitung
OSG Volume Rendering
Motivation
Haptic CAVE System als virtuelle Trainingsumgebung1
Erweiterung: Volumengrafik aus medizinischen Bilddaten (CT, MRI)2
1
Urs K¨unzler u.a.: HOVISSE – Haptic Osteosynthesis Virtual Intra-operative Surgery Support Environment.
Springer: 2009. DOI: 10.1007978-3-642-00437-7 8.
2
CT: Computertomographie, MRI: Magnetic Resonance Imaging
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

4. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Einleitung
OSG Volume Rendering
Problemstellung
Prototyp: Volume Renderer in C/C++
OSG-Node3
f¨ur Volume Rendering
Rendern auf der GPU per GLSL4
Grosse Datens¨atze, z.B. DICOM-Format5
Haptic CAVE System Integration
3
OSG: OpenSceneGraph
4
GLSL: OpenGL Shading Language
5
DICOM: Digital Imaging and Communications in Medicine, *.dcm
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

5. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
Volume Rendering
2D: Pixel, 3D: Raum-Pixel resp. Voxel
Synthetisieren in Echtzeit
Indirect (z.B. Isosurfaces) vs. Direct Volume Rendering (DVR)
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

6. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
Direct Volume Rendering
Raycasting, setup
Prozeduraler Schnitt von Strahl und W¨urfel
Rasterisierung der Bounding Box (Ray == Fragment)
Start-Position Strahl und Exit-Position resp. -Check oder Richtungsvektor
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

7. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
DVR: 1/4 Sampling
Object vs. Image Order approach
Optisches Modell: Emission, Reflektion, Streuung, Absorption, Verdeckung
Emissions-Absorbtions-Modell, d.h. keine Streuung
”
Abtasten”: Data traversal und Skalarwert I(s) berechnen
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

8. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
DVR: 2/4 Klassifikation
”
Look” resp. Lesbarkeit durch RGBA
Voxel in Graustufen
Transferfunktion T(S)
Kolorierte Voxel
Transferfunktion T(S): Emission RGB, Absorbtion A
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

9. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
DVR: 3/4 Shading
z.B. Phong: Summe von ambient, diffus und specular
DVR: 4/4 Compositing
back-to-front vs. front-to-back
Optimierung:
early ray termination wenn Ai+1 ≈ 1
empty space skipping
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

10. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
Haptic CAVE System
Cave Automatic Virtual Environment (CAVE; engl. cave: H¨ohle)
4 Gruppen `a 2 Projektoren bescheinen 3 W¨ande und den Boden
Stereoskopisches Bild (Passiv-Stereo):
Polarisationsfilter auf Projektoren
3D-Brillen mit Polarisationsfilter
Framework Immersive 3D (I3D):
Szenengraph: OpenSceneGraph (OSG)
Parallel Rendering: Equalizer mit OpenGL Multipipe SDK (MPK)
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

11. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
Haptic CAVE System
Cave Automatic Virtual Environment (CAVE; engl. cave: H¨ohle)
4 Gruppen `a 2 Projektoren bescheinen 3 W¨ande und den Boden
Stereoskopisches Bild (Passiv-Stereo):
Polarisationsfilter auf Projektoren
3D-Brillen mit Polarisationsfilter
Framework Immersive 3D (I3D):
Szenengraph: OpenSceneGraph (OSG)
Parallel Rendering: Equalizer mit OpenGL Multipipe SDK (MPK)
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

12. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Grundlagen
OSG Volume Rendering
Haptic CAVE System
Cave Automatic Virtual Environment (CAVE; engl. cave: H¨ohle)
4 Gruppen `a 2 Projektoren bescheinen 3 W¨ande und den Boden
Stereoskopisches Bild (Passiv-Stereo):
Polarisationsfilter auf Projektoren
3D-Brillen mit Polarisationsfilter
Framework Immersive 3D (I3D):
Szenengraph: OpenSceneGraph (OSG)
Parallel Rendering: Equalizer mit OpenGL Multipipe SDK (MPK)
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

13. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Prototyp
OSG Volume Rendering
Dom¨anenmodell
Dataset
- e.g. *.dcm
User Interface
- Zoom
- Pan
- Rotate
modify MV
Visualizer
Raycaster
Volume Manager
- Model-View-Matrix
Renderer
- Data
- Render method
(e.g. Raycaster)
- Model-View-Matrix
Order
- object order
- image order
set
Compositing
- front-to-back
- back-to-front
set
set
read
use
send frame
Image Reader
- e.g. DCMTK, ITK/VTK
request reading
Transferfunction
- CLUT
- 1D Histogramm
- 2D Scatterplot
set
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

14. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Prototyp
OSG Volume Rendering
Demo
Datensatz: CT aquiriert mit 64 Detektoren, 250 Dateien, 131.7 MB.6
6
Antoine Rosset: VIX – Foot.
In: OsiriX – DICOM sample image sets, URL: http://www.osirix-viewer.com/datasets/
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

15. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
Prototyp
OSG Volume Rendering
Demo
Datensatz: CT aquiriert mit 16 Detektoren, 1559 Dateien, 138.4 MB.7
7
Antoine Rosset: OBELIX – Whole body contrast CTA. Normal study.
In: OsiriX – DICOM sample image sets, URL: http://www.osirix-viewer.com/datasets/
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences

16. Einleitung
Motivation
Problem
Grundlagen
Volume
DVR
CAVE
Prototyp
DMD
Demo
OSG Volume Rendering
Danke f¨ur Ihr Interesse.
Roland Bruggmann
Student B.Sc. FH in Computer Science
Vertiefung in Computer Perception and Virtual Reality CPVR
Berner Fachhochschule | Haute ´ecole sp´ecialis´ee bernoise | Bern University of Applied Sciences