Prof. Dr. Matthias Wölfel, ColorfulBit und HS Furtwangen
Kinetic Space
Ein intuitiver Zugang zur 3D Gestenerkennung
2 2
ENTWICKLUNG DER
MENSCH-TECHNIK-INTERAKTION
2
Etwas ging furchtbar schief!
3 3
ENTWICKLUNG DER
MENSCH-TECHNIK-INTERAKTION
3
Und die schlechte Nachricht ...
 Smartphonenutzung belastet den Rücken j...
4 4
TRADITIONELLE INTERAKTIONSPARADIGMEN
4
SelektionAufmerksamkeit PauseAuswahl
... werden oft adaptiert
 Zeigegesten der...
5 5
... können nicht einfach übernommen werden
TRADITIONELLE INTERAKTIONSPARADIGMEN
5
 Um im 3D Raum zu interagieren, kön...
Die Kunst ist es, die Besonderheit eines
jeden Mediums auszuschöpfen.
“ Matthias Wölfel
6
7 7
INTERAKTION
Explizit
7
 Der Nutzer führt Aktionen bewusst
aus, um mit einem technischen
System zu interagieren
 Benu...
8 8
INTERAKTION
Explizit
8
 Der Nutzer führt Aktionen bewusst
aus, um mit einem technischen
System zu interagieren
 Benu...
9 9
Implizit
INTERAKTION
9
 Das Verhalten des Nutzers ist
nicht primär auf die Interaktion mit
dem technischen Gerät
ausg...
10 10
Implizit
INTERAKTION
Explizit
10
 Das Verhalten des Nutzers ist
nicht primär auf die Interaktion mit
dem technische...
11 11
Implizit
INTERAKTION
11
 Das Verhalten des Nutzers ist
nicht primär auf die Interaktion mit
dem technischen Gerät
a...
12 12
Virtuelle Auswahl von Kleidungsstücken
VIRTUELLER UMKLEIDERAUM
13 13
TECHNISCHES SETUP
13
Projection Area
RGB Camera Kinect Camera
Area of Interaction
Gender & Age
Estimation
3D Gesture...
14 14
3D GesturesTouch
19
20
34
24
WAS SAGEN DIE ANWENDER
14
Ich finde es unangenehm in der Öffentlichkeit
per … zu intera...
15 15
Online Hybrid Space
WAS SAGEN DIE ANWENDER
15
29
43
20
5
45
45
6 1
Adaptive Werbung finde ich nützlich.
Starke Zusti...
16 1616
Idee
KINETIC SPACE
Minority Report
 Gestenerkennungstechnologie für jedermann zugänglich zu machen,
indem 3D Gest...
17 17
Toolkit zum Erfassen von Bewegungen
KINETIC SPACE
Klassifikation von Bewegungen Analyse von Bewegungen
 Ermöglicht ...
18 18
BEISPIEL: FERNSTEUERUNG
18
 Steuerung von
 beliebigen anderen Programmen wie
z.B.
 PowerPoint
 Max/MSP
 Pure Da...
19 19
CLIENT EXAMPLE: SPIELSTEUERUNG
19
 Integration in Computerspiele, z.B.
 Erkennen von Ballwurf und Flugrichtung (Hi...
20 20
Überwinden von Höhenangst und Trainieren des Gleichgewichtssinns
CLIENT EXAMPLE:
VIRTUELLE TRAININGSUMGEBUNG
21 21
3D-Grafik neu erleben
CLIENT EXAMPLE:
STEREOSKOPISCHES SCHAUFENSTER
22 2222
Skeletal Reflections
CLIENT EXAMPLE: ROBOTERSTEUERUNG
Chico Macmurtrie
Art and Artificial Life: Vida 1999-2012
Esp...
23 23
A media center can be controlled by particular gestures, Politecnico di Torino, Italy
CLIENT EXAMPLE: MEDIA CONTROL
24 2424
Feeding Ducks
CLIENT EXAMPLE: DUCK POND
Students of the Dresden University of Applied Sciences,
Germany lets users...
25 25
CLIENT EXAMPLE: HUMANOID ROBOT
 Gesture based communication with a
humanoid robot.
 Developed by Prof. Dr. Peer
Jo...
26 26
Zettwerk realized a training program for physical excercises with feedback
CLIENT EXAMPLE: PHYSICAL EXCERCISE
27 27
CLIENT EXAMPLE: PYROTECHNIC
 Fireworks and solenoids are controlled
by dance moves detected by Kinetic
Space.
 Rea...
28 28
a fitness game by Vincent Stebel, where you get rid of ghosts by waving arms
CLIENT EXAMPLE: VIRTUAL MARATHON
29 29
CLIENT EXAMPLE: PLAYING MUSIC
 Learning an instrument is supported by
tracking and recognizing arm movements.
 The...
30 30
ANALYSE DER ANWENDUNGSBEISPIELE
Anwendung Genauigkeit Merkmale Verdeckung Kooperation
Mediensteuerung + + + +
Rehabi...
31 31
UND WAS KÖNNTE IHR NÄCHSTES PROJEKT SEIN?
“[…] What is it good for? Well, it can read a
gesture from one person and ...
Nächste SlideShare
Wird geladen in …5
×

Kinetic Space – Ein intuitiver Zugang zur 3D Gestenerkennung

600 Aufrufe

Veröffentlicht am

Berührungslose Mensch-Maschine-Schnittstellen, die durch die Beobachtung und das
Erkennen von Bewegungsmustern im dreidimensionalen Raum anhand von Tiefensensoren ermöglicht
werden, erfreuen sich einer immer größeren Beliebtheit. Damit das volle Potential einer tiefensensorbasierten
Mensch-Maschine-Schnittstelle vielfältig genutzt werden kann, müssen traditionelle Interaktionsparadigmen
aufgegeben werden. So kommen bei der Steuerung der Xbox 360 mit der Kinect weiterhin
Interaktionsparadigmen zum Einsatz, die stark an der Maus-Cursor-Interaktion orientiert sind. Eine
aufwendige Analyse der Körperbewegungen, wie sie zum Beispiel in „Nike+ Kinect Training“ oder „Dance
Central“ implementiert ist, um die Bewegungen des Nutzers zu analysieren, kommt aber recht selten zum
Einsatz – zeigt aber bereits die potentiellen Möglichkeiten auf. Wir stellen zahlreiche mögliche Anwendungen der dreidimensionalen Gestenerkennung vor die unter anderem mit der Software Kinetic Space realisiert wurden. Dabei gehen wir auf unsere Erfahrung bei der Entwicklung und dem Support von bereits heute realisierten oder noch in
der Entwicklung befindlichen gestenbasierten Anwendungen ein und zeigen auf, was heute technisch bereits
möglich ist und wo noch Entwicklungsarbeit geleistet werden muss.

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
600
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
12
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • quotation
     
  • Kinetic Space – Ein intuitiver Zugang zur 3D Gestenerkennung

    1. 1. Prof. Dr. Matthias Wölfel, ColorfulBit und HS Furtwangen Kinetic Space Ein intuitiver Zugang zur 3D Gestenerkennung
    2. 2. 2 2 ENTWICKLUNG DER MENSCH-TECHNIK-INTERAKTION 2 Etwas ging furchtbar schief!
    3. 3. 3 3 ENTWICKLUNG DER MENSCH-TECHNIK-INTERAKTION 3 Und die schlechte Nachricht ...  Smartphonenutzung belastet den Rücken je nach Haltung um bis zu 30 Kg.
    4. 4. 4 4 TRADITIONELLE INTERAKTIONSPARADIGMEN 4 SelektionAufmerksamkeit PauseAuswahl ... werden oft adaptiert  Zeigegesten der Maus (Selektieren und Auswählen) werden auf neue „Geräte“, z.B. Touchpad oder Kinect, übertragen.  Tasten werden durch virtuelle Knöpfe ersetzt.
    5. 5. 5 5 ... können nicht einfach übernommen werden TRADITIONELLE INTERAKTIONSPARADIGMEN 5  Um im 3D Raum zu interagieren, können traditionelle Interaktionsparadigmen (wie im Beispiel gezeigt) nicht einfach übernommen werden, denn für den Anwender ergeben sich gegenüber traditionellen Eingabemethoden wie Touchpad oder Maus keine Vorteile. SelektionAufmerksamkeit PauseAuswahl
    6. 6. Die Kunst ist es, die Besonderheit eines jeden Mediums auszuschöpfen. “ Matthias Wölfel 6
    7. 7. 7 7 INTERAKTION Explizit 7  Der Nutzer führt Aktionen bewusst aus, um mit einem technischen System zu interagieren  Benutzer nimmt AKTIV am Geschehen teil:  Bedient geeignete Interaktionsgeräte  Hat in der Regel ein Benutzerziel  System reagiert (geeignet) auf Benutzereingabe Bekannt von „traditionellen“ Interaktionsparadigmen
    8. 8. 8 8 INTERAKTION Explizit 8  Der Nutzer führt Aktionen bewusst aus, um mit einem technischen System zu interagieren  Benutzer nimmt AKTIV am Geschehen teil:  Bedient geeignete Interaktionsgeräte  Hat in der Regel ein Benutzerziel  System reagiert (geeignet) auf Benutzereingabe Beispiel virtuelle Umkleide  Durch verschiedene Wisch- bewegungen der Hand werden die Kleidungsstücke gewechselt
    9. 9. 9 9 Implizit INTERAKTION 9  Das Verhalten des Nutzers ist nicht primär auf die Interaktion mit dem technischen Gerät ausgelegt. Sein Verhalten wird aber von diesem interpretiert  Benutzer ist PASSIV beteiligt:  Wird durch System beobachtet (Sensorik)  Interpretation von Kontextdaten  System löst selbstständig Ereignisse und Handlungen aus Unbekannt in „traditionellen“ Interaktionsparadigmen
    10. 10. 10 10 Implizit INTERAKTION Explizit 10  Das Verhalten des Nutzers ist nicht primär auf die Interaktion mit dem technischen Gerät ausgelegt. Sein Verhalten wird aber von diesem interpretiert  Benutzer ist PASSIV beteiligt:  Wird durch System beobachtet (Sensorik)  Interpretation von Kontextdaten  System löst selbstständig Ereignisse und Handlungen aus  Der Nutzer führt Aktionen bewusst aus, um mit einem technischen System zu interagieren  Benutzer nimmt AKTIV am Geschehen teil:  Bedient geeignete Interaktionsgeräte  Hat in der Regel ein Benutzerziel  System reagiert (geeignet) auf Benutzereingabe
    11. 11. 11 11 Implizit INTERAKTION 11  Das Verhalten des Nutzers ist nicht primär auf die Interaktion mit dem technischen Gerät ausgelegt. Sein Verhalten wird aber von diesem interpretiert  Benutzer ist PASSIV beteiligt:  Wird durch System beobachtet (Sensorik)  Interpretation von Kontextdaten  System löst selbstständig Ereignisse und Handlungen aus Beispiel virtuelle Umkleide  Alter und Geschlecht wird verwendet, um entsprechende Inhalte anzuzeigen; z.B. Kleidung  Das Mannequin ahmt den Nutzer nach.
    12. 12. 12 12 Virtuelle Auswahl von Kleidungsstücken VIRTUELLER UMKLEIDERAUM
    13. 13. 13 13 TECHNISCHES SETUP 13 Projection Area RGB Camera Kinect Camera Area of Interaction Gender & Age Estimation 3D Gesture Recognition Image Generation
    14. 14. 14 14 3D GesturesTouch 19 20 34 24 WAS SAGEN DIE ANWENDER 14 Ich finde es unangenehm in der Öffentlichkeit per … zu interagieren. 3 12 47 35 Starke Zustimmung Zustimmung Ablehnung Starke Ablehnung
    15. 15. 15 15 Online Hybrid Space WAS SAGEN DIE ANWENDER 15 29 43 20 5 45 45 6 1 Adaptive Werbung finde ich nützlich. Starke Zustimmung Zustimmung Ablehnung Starke Ablehnung
    16. 16. 16 1616 Idee KINETIC SPACE Minority Report  Gestenerkennungstechnologie für jedermann zugänglich zu machen, indem 3D Gesten aufgenommen, analysiert und angepasst werden können.
    17. 17. 17 17 Toolkit zum Erfassen von Bewegungen KINETIC SPACE Klassifikation von Bewegungen Analyse von Bewegungen  Ermöglicht einfachen und intuitiven Zugang zu Gestenerkennungstechnologie:  Bewegungen aufnehmen  Bewegungen automatisch klassifizieren  Bewegungen automatisch analysieren
    18. 18. 18 18 BEISPIEL: FERNSTEUERUNG 18  Steuerung von  beliebigen anderen Programmen wie z.B.  PowerPoint  Max/MSP  Pure Data  VVVV  Resolume  Hardware  Ermöglicht  durch Tastatur- und Mausemulation  über das OSC-Protokoll 18
    19. 19. 19 19 CLIENT EXAMPLE: SPIELSTEUERUNG 19  Integration in Computerspiele, z.B.  Erkennen von Ballwurf und Flugrichtung (Hintergrundbild „Yetis“)  Erkennen von Flügelschlägen in Flugsimulation 19
    20. 20. 20 20 Überwinden von Höhenangst und Trainieren des Gleichgewichtssinns CLIENT EXAMPLE: VIRTUELLE TRAININGSUMGEBUNG
    21. 21. 21 21 3D-Grafik neu erleben CLIENT EXAMPLE: STEREOSKOPISCHES SCHAUFENSTER
    22. 22. 22 2222 Skeletal Reflections CLIENT EXAMPLE: ROBOTERSTEUERUNG Chico Macmurtrie Art and Artificial Life: Vida 1999-2012 EspacioFundacionTelefonica,CalleFuencarral3,Madrid ExhibitionfromMay10,2012throughJanuary6,2013
    23. 23. 23 23 A media center can be controlled by particular gestures, Politecnico di Torino, Italy CLIENT EXAMPLE: MEDIA CONTROL
    24. 24. 24 2424 Feeding Ducks CLIENT EXAMPLE: DUCK POND Students of the Dresden University of Applied Sciences, Germany lets users interact and feed virtual ducks.
    25. 25. 25 25 CLIENT EXAMPLE: HUMANOID ROBOT  Gesture based communication with a humanoid robot.  Developed by Prof. Dr. Peer Johannsen (University of Pforzheim, Germany) and his students. 25
    26. 26. 26 26 Zettwerk realized a training program for physical excercises with feedback CLIENT EXAMPLE: PHYSICAL EXCERCISE
    27. 27. 27 27 CLIENT EXAMPLE: PYROTECHNIC  Fireworks and solenoids are controlled by dance moves detected by Kinetic Space.  Realized by Paul Stoffregen, USA. 27
    28. 28. 28 28 a fitness game by Vincent Stebel, where you get rid of ghosts by waving arms CLIENT EXAMPLE: VIRTUAL MARATHON
    29. 29. 29 29 CLIENT EXAMPLE: PLAYING MUSIC  Learning an instrument is supported by tracking and recognizing arm movements.  The recognized movements are visualized to give the musician relevant feedback.  Realized by Talía Baños Sánchez and Marcel F. Vesga (Hochschule für Künste Bremen) 29
    30. 30. 30 30 ANALYSE DER ANWENDUNGSBEISPIELE Anwendung Genauigkeit Merkmale Verdeckung Kooperation Mediensteuerung + + + + Rehabilitation – – – O Assisted Living O O – – Operationssaal + + O O Arbeitssicherheit + + + – Robotik – O + O Lernen O O + + Interaktiver Film + O + + Tanz, DJ, VJ O O O – Spiel + + + + Werbung O + O O Überwachung O O – –
    31. 31. 31 31 UND WAS KÖNNTE IHR NÄCHSTES PROJEKT SEIN? “[…] What is it good for? Well, it can read a gesture from one person and register it on another and you can train it to register tiny movements and, potentially, allow for full motion control of your PC. Minority Report it isn’t, but that future is getting closer and closer.” – www.techcrunch.com 2011/08/05

    ×