Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht
1. Multitouch, Tangibles und Fiducials
– Begreifbare Interaktionen im
Informatikunterricht
Jonas Neugebauer
jonas.neugebauer@uni-paderborn.de
Sebastian Thiele
sthiele2@mail.uni-paderborn.de
2. Agenda
• Begrüßung
• Worum geht es?
• Was sind Be-greifbare Interaktionen?
• Was ist Scratch4TUIO?
• Erste Schritte mit Scratch4TUIO
• Kreativ sein!
• Gedankenaustausch zum Abschluss
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 2
4. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 4
Be-greifbare Interaktion(en), dt. für Tangible User
Interface*(s)
Ansatz der Mensch-Maschine-Interaktion: Interaktion mit
Informatiksystemen durch die Manipulation physikalischer
Objekte
* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI
Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
5. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 5
Bilder von Wikimedia Commons: https://commons.wikimedia.org
6. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 6
Be-greifbare Interaktion(en), dt. für Tangible User
Interface*(s)
Ansatz der Mensch-Maschine-Interaktion: Interaktion mit
Informatiksystemen durch die Manipulation physikalischer
Objekte
+ Kopplung physikalischer Artefakte und digitaler
Information.
* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI
Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
7. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 7
Abb. Aus B. Ullmer and H. Ishii. Emerging frameworks for tangible user interfaces. Human-Computer Interaction in the New Millenium, pages 579–601, August 2001.
vs.
8. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 8
Bilder von Data
PhysicalizationWiki
(http://dataphys.org) und
Wikimedia Commons:
https://commons.wikimedia.org
9. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 9
Merkmale von TUIs
• Kopplung physikalischer Objekte (Tangibles) mit digitaler Information
• Physikalische Manipulationen der Objekte im (dreidimensionalen)
Raum (bewegen, drehen, ...) ermöglichen Interaktive Kontrolle
• Es existiert eine wahrnehmbare Verbindung der physikalischen
Darstellung mit der aktuellen digitalen Information
• Der Zustand des Objektes verkörpert Schlüsselzustände des digitalen
Systems
• Die Gruppierung und das Zusammenspiel der Objekte beeinflusst die
Funktionalität des Systems
10. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 10
Bilder von Data
PhysicalizationWiki
(http://dataphys.org) und
Wikimedia Commons:
https://commons.wikimedia.org
11. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 11
Be-greifbare Interaktionen können aber auch weiter gefasst
werden:
• Data-centred View
s.o.
• Perceptual-motor-centered View
Fokus auf die Interaktion (nicht die Schnittstellen) z.B. zur Fernsteuerung
von Maschinen. Ausnutzen eines größeren Spektrums an (körperlichen)
Interaktionsmöglichkeiten.
• Space-centered View
Der Nutzer selbst wird Teil des Interfaces. Z.B. können Bewegungen im
Raum als Interaktionen verarbeitet werden.
vgl. Eva Hornecker. A design theme for tangible interaction: Embodied facilitation. In Proceedings of the Ninth Conference on European Conference on Computer
Supported Cooperative Work, ECSCW’05, pages 23–43, New York, NY, USA, 2005. Springer-Verlag New York, Inc.
12. Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 12
Bilder von Wikimedia Commons: https://commons.wikimedia.org
13. Der nächste Schritt in der MMI
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 13
Abb. aus Ishii, H., Lakatos, D., Bonanni, L., & Labrune, J. B. (2012). Radical atoms: beyond tangible bits, toward transformable materials. interactions, 19(1), 38-51.
Verformbare Materialien statt (starrer) Tangibles
15. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 15
In den letzten Jahren haben Be-greifbare Interaktionen
indirekt durch Physical Computing teilweise Einzug in den IU
gehalten:
z.B. Gestaltung alternativer Interaktionen durch
Mikrocomputer mit angeschlossenen Motoren und Sensoren
16. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 16
Bilder von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html) und Wikimedia Commons: https://commons.wikimedia.org
17. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 17
Abb von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html)
EntwicklungNutzung
• Habtische Komponente bei
Interaktion mit IS
• Höhere Kooperation der
Anwender
18. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 18
• Bestandteil der Lebenswelt
19. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 19
• Bestandteil der Lebenswelt
• Einbettung in verschiedene
Kompetenz-/Prozess-
/Inhaltsbereiche möglich
I, M & G: Veränderung der Lebenswelt (‚ubiquitous computing‘)
Alg: Objekterkennung in Videos
M & I: Softwareprojekte
D: Kodierung von Fiducials Alg: Einführung in die Programmierung
Arg: Kodierung von Fiducials
20. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 20
• Bestandteil der Lebenswelt
• Einbettung in verschiedene
Kompetenz-/Prozess-
/Inhaltsbereiche möglich
• Schnell sichtbare Erfolge möglich (→
Motivation)
21. Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 21
• Bestandteil der Lebenswelt
• Einbettung in verschiedene
Kompetenz-/Prozess-
/Inhaltsbereiche möglich
• Schnell sichtbare Erfolge möglich (→
Motivation)
• Verschiedene Niveaus der
Umsetzung möglich
23. Was ist Scratch4TUIO?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 23
„With Scratch, you can program your own interactive stories,
games, and animations — and share your creations with
others in the online community“ 1
„TUIO is an open framework that defines a common
protocol and API for tangible multitouch surfaces“ 2
1) Mitchel Resnick, John Maloney, Andrés Monroy-Hernández, Natalie Rusk, Evelyn Eastmond, Karen Brennan, Amon Millner, Eric Rosenbaum, Jay Silver, Brian
Silverman, and Yasmin Kafai. 2009. Scratch: programming for all. Commun. ACM 52, 11 (November 2009), 60-67. DOI=http://dx.doi.org/10.1145/1592761.1592779
2) Kaltenbrunner, M. & Bovermann, T. & Bencina, R. & Costanza, E. "TUIO - A Protocol for Table-Top Tangible User Interfaces", Proceedings of the 6th International
Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes (France)
24. Was ist Scratch4TUIO?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 24
TUIO ist ein Standard-Protokoll zur Übertragung von
Zuständen und Ereignissen auf Mutlitouch-Tischen (MTT)
26. Schon wieder was neues?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 26
In den letzten Jahren gab es eine Vielzahl von neuen Arte-
fakten für den Informatikunterricht, die versuchen, die
selben Aspekte zu fördern:
• Lego Mindstorms
• Raspberry Pi
• Arduino
• Ozobot
• Micro.bits
27. Schon wieder was neues?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 27
Für uns die wichtigsten Aspekte Pro S4T:
• Ohne Zusatzhardware (kostenfrei) einsetzbar
• Durch minimalen Kostenaufwand (Webcam, Smartphone)
interessante Projekte möglich
• Nach oben hin viele Möglichkeiten zur Erweiterung (dann
ggf. mit Zusatzkosten verbunden)
• Verbindung zu anderen Komponenten möglich
30. VON TUIO NACH SCRATCH4TUIO
14.03.2016 Jonas Neugebauer und Sebastian Thiele 30
31. Aufbau und Ablauf mit TUIO
14.03.2016 3114.03.2016 31Jonas Neugebauer und Sebastian Thiele
TUIO Client
Applikation
TUIO Tracker
Applikation
Multi-Touch
Gesten
markierte
Objekte
TUIO
Protokoll
Objekt
Geometrie
32. TUIO - Features
• Event Kinds
– Add
– Update
– Remove
• Verschiedene Profile:
– TUIO- Objekt
– TUIO- Cursor
– TUIO- Blob
• Profile in 2D und 3D
14.03.2016 Jonas Neugebauer und Sebastian Thiele 32
TUIO- Punkt
33. Welche Attribute werden getrackt?
• Bewegung:
– Position
– Bewegungsgeschwindigkeit
– Bewegungsbeschleunigung
• Drehung:
– Drehwinkel
– Drehgeschwindigkeit
– Drehbeschleunigung
14.03.2016 Jonas Neugebauer und Sebastian Thiele 33
34. TUIO- Objekte
Tracking Informationen
– Markierung kodiert eine Symbolnummer
– Bewegungsinformationen
– Drehinformationen
– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele 34
35. TUIO- Objekte
vs.
14.03.2016 Jonas Neugebauer und Sebastian Thiele 35
Symbolnummer:
• Kodiert durch Marker
• Kann mehrmals
auftreten
Sitzungsnummer:
• Eindeutige ID für eine
Sitzung
• Wird bei jeder Sitzung
neu vergeben
• kann nur einmal
vorkommen
39. Von TUIO nach Scratch4TUIO
14.03.2016 Jonas Neugebauer und Sebastian Thiele 39
TUIO Client
Applikation
TUIO Tracker
Applikation
Multi-Touch
Gesten
markierte
Objekte
TUIO
Protokoll
41. 14.03.2016 41Jonas Neugebauer und Sebastian Thiele
Arbeitsphase
• Starten Sie die Softwarekomponenten und testen Sie die
Funktionalität mit einem einfachen Programm
• Wählen Sie eines der vorgegebenen Projekte und ändern
Sie die Steuerung auf ein alternatives Interaktionskonzept
um
Sind Tastatur und Maus im weitesten Sinne auch TUIs?
Nein, da ...
Klassisches Interaktionsmodell (angelehnt an MVC): Trennung zw. In- und Output
TUI Interaktionsmodell (nach Ullmer und Ishii): Keine klare Trennung mehr,
View jetzt zwei (gekoppelte) Repräsentationen: rep-p (physikalisch) und rep-d (digital)
Mable-Answering-Machine eines der ersten Bsp für TUI
Reactable, Sound Cubes, MTT mit Handy Erkennung
Anwendung der Merkmale auf Beispiele:
Murmeln repräsentieren State, lösen die Wiedergabe von Nachrichten aus
Objekte auf dem Reactable manipulieren Sound, Kombination ergibt Musik
Multitouch, Kinect, Wii lassen sich im weitesten Sinne (Space-centered View) auch als TUI nutzen.
Multitouch, Kinect, Wii lassen sich im weitesten Sinne (Space-centered View) auch als TUI nutzen.
Bsp, dieheute schon im IU verwendet werden (können):
MakeyMakey, RasPi/Arduino mit Sensoren, .Net Gadgeteer, My interactive garden
Theoretische Überlegungen zu Phy. Computing lassen sich übertragen: Motivation, Kreativität, Aktualität, ...
