SlideShare ist ein Scribd-Unternehmen logo
Multitouch, Tangibles und Fiducials
– Begreifbare Interaktionen im
Informatikunterricht
Jonas Neugebauer
jonas.neugebauer@uni-paderborn.de
Sebastian Thiele
sthiele2@mail.uni-paderborn.de
Agenda
• Begrüßung
• Worum geht es?
• Was sind Be-greifbare Interaktionen?
• Was ist Scratch4TUIO?
• Erste Schritte mit Scratch4TUIO
• Kreativ sein!
• Gedankenaustausch zum Abschluss
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 2
WAS SIND
BE-GREIFBARE INTERAKTIONEN?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 3
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 4
Be-greifbare Interaktion(en), dt. für Tangible User
Interface*(s)
Ansatz der Mensch-Maschine-Interaktion: Interaktion mit
Informatiksystemen durch die Manipulation physikalischer
Objekte
* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI
Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 5
Bilder von Wikimedia Commons: https://commons.wikimedia.org
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 6
Be-greifbare Interaktion(en), dt. für Tangible User
Interface*(s)
Ansatz der Mensch-Maschine-Interaktion: Interaktion mit
Informatiksystemen durch die Manipulation physikalischer
Objekte
+ Kopplung physikalischer Artefakte und digitaler
Information.
* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI
Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 7
Abb. Aus B. Ullmer and H. Ishii. Emerging frameworks for tangible user interfaces. Human-Computer Interaction in the New Millenium, pages 579–601, August 2001.
vs.
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 8
Bilder von Data
PhysicalizationWiki
(http://dataphys.org) und
Wikimedia Commons:
https://commons.wikimedia.org
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 9
Merkmale von TUIs
• Kopplung physikalischer Objekte (Tangibles) mit digitaler Information
• Physikalische Manipulationen der Objekte im (dreidimensionalen)
Raum (bewegen, drehen, ...) ermöglichen Interaktive Kontrolle
• Es existiert eine wahrnehmbare Verbindung der physikalischen
Darstellung mit der aktuellen digitalen Information
• Der Zustand des Objektes verkörpert Schlüsselzustände des digitalen
Systems
• Die Gruppierung und das Zusammenspiel der Objekte beeinflusst die
Funktionalität des Systems
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 10
Bilder von Data
PhysicalizationWiki
(http://dataphys.org) und
Wikimedia Commons:
https://commons.wikimedia.org
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 11
Be-greifbare Interaktionen können aber auch weiter gefasst
werden:
• Data-centred View
s.o.
• Perceptual-motor-centered View
Fokus auf die Interaktion (nicht die Schnittstellen) z.B. zur Fernsteuerung
von Maschinen. Ausnutzen eines größeren Spektrums an (körperlichen)
Interaktionsmöglichkeiten.
• Space-centered View
Der Nutzer selbst wird Teil des Interfaces. Z.B. können Bewegungen im
Raum als Interaktionen verarbeitet werden.
vgl. Eva Hornecker. A design theme for tangible interaction: Embodied facilitation. In Proceedings of the Ninth Conference on European Conference on Computer
Supported Cooperative Work, ECSCW’05, pages 23–43, New York, NY, USA, 2005. Springer-Verlag New York, Inc.
Was sind Be-greifbare Interaktionen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 12
Bilder von Wikimedia Commons: https://commons.wikimedia.org
Der nächste Schritt in der MMI
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 13
Abb. aus Ishii, H., Lakatos, D., Bonanni, L., & Labrune, J. B. (2012). Radical atoms: beyond tangible bits, toward transformable materials. interactions, 19(1), 38-51.
Verformbare Materialien statt (starrer) Tangibles
BE-GREIFBARE INTERAKTIONEN
IN DER SCHULE
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 14
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 15
In den letzten Jahren haben Be-greifbare Interaktionen
indirekt durch Physical Computing teilweise Einzug in den IU
gehalten:
z.B. Gestaltung alternativer Interaktionen durch
Mikrocomputer mit angeschlossenen Motoren und Sensoren
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 16
Bilder von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html) und Wikimedia Commons: https://commons.wikimedia.org
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 17
Abb von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html)
EntwicklungNutzung
• Habtische Komponente bei
Interaktion mit IS
• Höhere Kooperation der
Anwender
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 18
• Bestandteil der Lebenswelt
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 19
• Bestandteil der Lebenswelt
• Einbettung in verschiedene
Kompetenz-/Prozess-
/Inhaltsbereiche möglich
I, M & G: Veränderung der Lebenswelt (‚ubiquitous computing‘)
Alg: Objekterkennung in Videos
M & I: Softwareprojekte
D: Kodierung von Fiducials Alg: Einführung in die Programmierung
Arg: Kodierung von Fiducials
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 20
• Bestandteil der Lebenswelt
• Einbettung in verschiedene
Kompetenz-/Prozess-
/Inhaltsbereiche möglich
• Schnell sichtbare Erfolge möglich (→
Motivation)
Be-greifbare Interaktionen in der
Schule
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 21
• Bestandteil der Lebenswelt
• Einbettung in verschiedene
Kompetenz-/Prozess-
/Inhaltsbereiche möglich
• Schnell sichtbare Erfolge möglich (→
Motivation)
• Verschiedene Niveaus der
Umsetzung möglich
WAS IST SCRATCH4TUIO?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 22
Was ist Scratch4TUIO?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 23
„With Scratch, you can program your own interactive stories,
games, and animations — and share your creations with
others in the online community“ 1
„TUIO is an open framework that defines a common
protocol and API for tangible multitouch surfaces“ 2
1) Mitchel Resnick, John Maloney, Andrés Monroy-Hernández, Natalie Rusk, Evelyn Eastmond, Karen Brennan, Amon Millner, Eric Rosenbaum, Jay Silver, Brian
Silverman, and Yasmin Kafai. 2009. Scratch: programming for all. Commun. ACM 52, 11 (November 2009), 60-67. DOI=http://dx.doi.org/10.1145/1592761.1592779
2) Kaltenbrunner, M. & Bovermann, T. & Bencina, R. & Costanza, E. "TUIO - A Protocol for Table-Top Tangible User Interfaces", Proceedings of the 6th International
Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes (France)
Was ist Scratch4TUIO?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 24
TUIO ist ein Standard-Protokoll zur Übertragung von
Zuständen und Ereignissen auf Mutlitouch-Tischen (MTT)
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 25
tuio.org
Schon wieder was neues?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 26
In den letzten Jahren gab es eine Vielzahl von neuen Arte-
fakten für den Informatikunterricht, die versuchen, die
selben Aspekte zu fördern:
• Lego Mindstorms
• Raspberry Pi
• Arduino
• Ozobot
• Micro.bits
Schon wieder was neues?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 27
Für uns die wichtigsten Aspekte Pro S4T:
• Ohne Zusatzhardware (kostenfrei) einsetzbar
• Durch minimalen Kostenaufwand (Webcam, Smartphone)
interessante Projekte möglich
• Nach oben hin viele Möglichkeiten zur Erweiterung (dann
ggf. mit Zusatzkosten verbunden)
• Verbindung zu anderen Komponenten möglich
Bis hierher Fragen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 28
ERSTE SCHRITTE MIT
SCRATCH4TUIO
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 29
VON TUIO NACH SCRATCH4TUIO
14.03.2016 Jonas Neugebauer und Sebastian Thiele 30
Aufbau und Ablauf mit TUIO
14.03.2016 3114.03.2016 31Jonas Neugebauer und Sebastian Thiele
TUIO Client
Applikation
TUIO Tracker
Applikation
Multi-Touch
Gesten
markierte
Objekte
TUIO
Protokoll
Objekt
Geometrie
TUIO - Features
• Event Kinds
– Add
– Update
– Remove
• Verschiedene Profile:
– TUIO- Objekt
– TUIO- Cursor
– TUIO- Blob
• Profile in 2D und 3D
14.03.2016 Jonas Neugebauer und Sebastian Thiele 32
TUIO- Punkt
Welche Attribute werden getrackt?
• Bewegung:
– Position
– Bewegungsgeschwindigkeit
– Bewegungsbeschleunigung
• Drehung:
– Drehwinkel
– Drehgeschwindigkeit
– Drehbeschleunigung
14.03.2016 Jonas Neugebauer und Sebastian Thiele 33
TUIO- Objekte
Tracking Informationen
– Markierung kodiert eine Symbolnummer
– Bewegungsinformationen
– Drehinformationen
– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele 34
TUIO- Objekte
vs.
14.03.2016 Jonas Neugebauer und Sebastian Thiele 35
Symbolnummer:
• Kodiert durch Marker
• Kann mehrmals
auftreten
Sitzungsnummer:
• Eindeutige ID für eine
Sitzung
• Wird bei jeder Sitzung
neu vergeben
• kann nur einmal
vorkommen
TUIO- Cursor
Tracking Informationen
– Bewegungsinformationen
– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele 36
TUIO- Blobs
Tracking Informationen
– Mittelpunktkoordinaten
– Höhe, Breite Fläche des umgebenden Rechtecks
– Bewegungsinformationen
– Drehinformationen
– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele 37
Anwendungsbeispiele TUIO
14.03.2016 Jonas Neugebauer und Sebastian Thiele 38
TUIO Tracker
Applikation
TUIO
TUIO Client
Applikation
reacTIVision
Von TUIO nach Scratch4TUIO
14.03.2016 Jonas Neugebauer und Sebastian Thiele 39
TUIO Client
Applikation
TUIO Tracker
Applikation
Multi-Touch
Gesten
markierte
Objekte
TUIO
Protokoll
14.03.2016 40Jonas Neugebauer und Sebastian Thiele
Demonstration
14.03.2016 41Jonas Neugebauer und Sebastian Thiele
Arbeitsphase
• Starten Sie die Softwarekomponenten und testen Sie die
Funktionalität mit einem einfachen Programm
• Wählen Sie eines der vorgegebenen Projekte und ändern
Sie die Steuerung auf ein alternatives Interaktionskonzept
um
Fragen?
Anmerkungen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 42
Kreativ sein!
• Scratch Projekte
• MakeyMakey
• Fiducials
• Smartphone
• (Arduino)
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 43
Diskussion
• Würde ich TUIs im IU einsetzen?
• Warum (nicht)?
• Progressionsmöglichkeiten?
• Sinnhaftigkeit?
• Verknüpfung zu Kompetenz-/Prozess-/Inhaltsbereichen?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 44
Interessante Weblinks
Alle relevanten Links finden Sie unter:
• http://tinyurl.com/itnrw16-s4t
14.03.2016 Jonas Neugebauer und Sebastian Thiele 45
DANKE FÜR IHRE
AUFMERKSAMKEIT UND MITARBEIT
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 46
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 47
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 48

Weitere ähnliche Inhalte

Ähnlich wie Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht

Irgendwas mit Medien - oder was die digitale Transformation für den organisie...
Irgendwas mit Medien - oder was die digitale Transformation für den organisie...Irgendwas mit Medien - oder was die digitale Transformation für den organisie...
Irgendwas mit Medien - oder was die digitale Transformation für den organisie...
Andreas Hebbel-Seeger
 
Wie kann das Public Display den Kontext erkennen und darauf reagieren
Wie kann das Public Display den Kontext erkennen und darauf reagierenWie kann das Public Display den Kontext erkennen und darauf reagieren
Wie kann das Public Display den Kontext erkennen und darauf reagieren
Christoph Mühlbauer
 
Megatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der ArbeitMegatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der Arbeit
42medien
 
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 ThesenArbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
DanielPoetzsch
 
Social Software. Mitarbeiter 2.0!
Social Software. Mitarbeiter 2.0!Social Software. Mitarbeiter 2.0!
Social Software. Mitarbeiter 2.0!
Martina Goehring
 
Vorlesung Enterprise 2.0
Vorlesung Enterprise 2.0 Vorlesung Enterprise 2.0
Vorlesung Enterprise 2.0
Alexander Stocker
 
Newsletter IK im Fokus 3/2013
Newsletter IK im Fokus 3/2013Newsletter IK im Fokus 3/2013
Communote I-KNOW 2010
Communote I-KNOW 2010Communote I-KNOW 2010
Communote I-KNOW 2010
Communote GmbH
 
Lernen und Arbeiten im 21. Jahrhundert
Lernen und Arbeiten im 21. JahrhundertLernen und Arbeiten im 21. Jahrhundert
Lernen und Arbeiten im 21. Jahrhundert
Prof. Dr. Ronald Deckert
 
wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205
Lindner Martin
 
DeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMS
DeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMSDeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMS
DeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMSAnja Lorenz
 
Horizon Report 2015: Was ist der nächste heiße Scheiß im E-Learning
Horizon Report 2015: Was ist der nächste heiße Scheiß im E-LearningHorizon Report 2015: Was ist der nächste heiße Scheiß im E-Learning
Horizon Report 2015: Was ist der nächste heiße Scheiß im E-Learning
Anja Lorenz
 
Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...
Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...
Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...
Matthias Stürmer
 
Multiscreen Experience (Mai 2012, IA Konferenz, Essen)
Multiscreen Experience (Mai 2012, IA Konferenz, Essen)Multiscreen Experience (Mai 2012, IA Konferenz, Essen)
Multiscreen Experience (Mai 2012, IA Konferenz, Essen)
Wolfram Nagel
 
Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...
Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...
Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...
Matthias Stürmer
 
MINT Challenge - Die Krise als Chance 4.0
MINT Challenge - Die Krise als Chance 4.0MINT Challenge - Die Krise als Chance 4.0
MINT Challenge - Die Krise als Chance 4.0
mmbuehler
 
Sind MOOCs die Zukunft der Weiterbildung?
Sind MOOCs die Zukunft der Weiterbildung?Sind MOOCs die Zukunft der Weiterbildung?
Sind MOOCs die Zukunft der Weiterbildung?
Andreas Wittke
 
Emerging technologies - from social to mobile and seamless learning
Emerging technologies - from social to mobile and seamless learningEmerging technologies - from social to mobile and seamless learning
Emerging technologies - from social to mobile and seamless learning
Martin Ebner
 
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im WandelInformelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Hendrik Kalb
 
Trends für Schulen
Trends für Schulen Trends für Schulen
Trends für Schulen
John van Dongen
 

Ähnlich wie Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht (20)

Irgendwas mit Medien - oder was die digitale Transformation für den organisie...
Irgendwas mit Medien - oder was die digitale Transformation für den organisie...Irgendwas mit Medien - oder was die digitale Transformation für den organisie...
Irgendwas mit Medien - oder was die digitale Transformation für den organisie...
 
Wie kann das Public Display den Kontext erkennen und darauf reagieren
Wie kann das Public Display den Kontext erkennen und darauf reagierenWie kann das Public Display den Kontext erkennen und darauf reagieren
Wie kann das Public Display den Kontext erkennen und darauf reagieren
 
Megatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der ArbeitMegatrends zum Thema Zukunft der Arbeit
Megatrends zum Thema Zukunft der Arbeit
 
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 ThesenArbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
Arbeit 4.0: Megatrends digitaler Arbeit der Zukunft - 25 Thesen
 
Social Software. Mitarbeiter 2.0!
Social Software. Mitarbeiter 2.0!Social Software. Mitarbeiter 2.0!
Social Software. Mitarbeiter 2.0!
 
Vorlesung Enterprise 2.0
Vorlesung Enterprise 2.0 Vorlesung Enterprise 2.0
Vorlesung Enterprise 2.0
 
Newsletter IK im Fokus 3/2013
Newsletter IK im Fokus 3/2013Newsletter IK im Fokus 3/2013
Newsletter IK im Fokus 3/2013
 
Communote I-KNOW 2010
Communote I-KNOW 2010Communote I-KNOW 2010
Communote I-KNOW 2010
 
Lernen und Arbeiten im 21. Jahrhundert
Lernen und Arbeiten im 21. JahrhundertLernen und Arbeiten im 21. Jahrhundert
Lernen und Arbeiten im 21. Jahrhundert
 
wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205
 
DeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMS
DeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMSDeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMS
DeLFI Doktorandenforum: Kooperationsunterstützung in einem LCMS
 
Horizon Report 2015: Was ist der nächste heiße Scheiß im E-Learning
Horizon Report 2015: Was ist der nächste heiße Scheiß im E-LearningHorizon Report 2015: Was ist der nächste heiße Scheiß im E-Learning
Horizon Report 2015: Was ist der nächste heiße Scheiß im E-Learning
 
Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...
Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...
Digitale Nachhaltigkeit, was ist das? Welche Zusammenhänge bestehen zur Volks...
 
Multiscreen Experience (Mai 2012, IA Konferenz, Essen)
Multiscreen Experience (Mai 2012, IA Konferenz, Essen)Multiscreen Experience (Mai 2012, IA Konferenz, Essen)
Multiscreen Experience (Mai 2012, IA Konferenz, Essen)
 
Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...
Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...
Open Source: Aktuelle Situation und Entwicklungen in der Schweiz und Internat...
 
MINT Challenge - Die Krise als Chance 4.0
MINT Challenge - Die Krise als Chance 4.0MINT Challenge - Die Krise als Chance 4.0
MINT Challenge - Die Krise als Chance 4.0
 
Sind MOOCs die Zukunft der Weiterbildung?
Sind MOOCs die Zukunft der Weiterbildung?Sind MOOCs die Zukunft der Weiterbildung?
Sind MOOCs die Zukunft der Weiterbildung?
 
Emerging technologies - from social to mobile and seamless learning
Emerging technologies - from social to mobile and seamless learningEmerging technologies - from social to mobile and seamless learning
Emerging technologies - from social to mobile and seamless learning
 
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im WandelInformelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im Wandel
 
Trends für Schulen
Trends für Schulen Trends für Schulen
Trends für Schulen
 

Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht

  • 1. Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatikunterricht Jonas Neugebauer jonas.neugebauer@uni-paderborn.de Sebastian Thiele sthiele2@mail.uni-paderborn.de
  • 2. Agenda • Begrüßung • Worum geht es? • Was sind Be-greifbare Interaktionen? • Was ist Scratch4TUIO? • Erste Schritte mit Scratch4TUIO • Kreativ sein! • Gedankenaustausch zum Abschluss 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 2
  • 3. WAS SIND BE-GREIFBARE INTERAKTIONEN? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 3
  • 4. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 4 Be-greifbare Interaktion(en), dt. für Tangible User Interface*(s) Ansatz der Mensch-Maschine-Interaktion: Interaktion mit Informatiksystemen durch die Manipulation physikalischer Objekte * Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
  • 5. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 5 Bilder von Wikimedia Commons: https://commons.wikimedia.org
  • 6. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 6 Be-greifbare Interaktion(en), dt. für Tangible User Interface*(s) Ansatz der Mensch-Maschine-Interaktion: Interaktion mit Informatiksystemen durch die Manipulation physikalischer Objekte + Kopplung physikalischer Artefakte und digitaler Information. * Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
  • 7. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 7 Abb. Aus B. Ullmer and H. Ishii. Emerging frameworks for tangible user interfaces. Human-Computer Interaction in the New Millenium, pages 579–601, August 2001. vs.
  • 8. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 8 Bilder von Data PhysicalizationWiki (http://dataphys.org) und Wikimedia Commons: https://commons.wikimedia.org
  • 9. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 9 Merkmale von TUIs • Kopplung physikalischer Objekte (Tangibles) mit digitaler Information • Physikalische Manipulationen der Objekte im (dreidimensionalen) Raum (bewegen, drehen, ...) ermöglichen Interaktive Kontrolle • Es existiert eine wahrnehmbare Verbindung der physikalischen Darstellung mit der aktuellen digitalen Information • Der Zustand des Objektes verkörpert Schlüsselzustände des digitalen Systems • Die Gruppierung und das Zusammenspiel der Objekte beeinflusst die Funktionalität des Systems
  • 10. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 10 Bilder von Data PhysicalizationWiki (http://dataphys.org) und Wikimedia Commons: https://commons.wikimedia.org
  • 11. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 11 Be-greifbare Interaktionen können aber auch weiter gefasst werden: • Data-centred View s.o. • Perceptual-motor-centered View Fokus auf die Interaktion (nicht die Schnittstellen) z.B. zur Fernsteuerung von Maschinen. Ausnutzen eines größeren Spektrums an (körperlichen) Interaktionsmöglichkeiten. • Space-centered View Der Nutzer selbst wird Teil des Interfaces. Z.B. können Bewegungen im Raum als Interaktionen verarbeitet werden. vgl. Eva Hornecker. A design theme for tangible interaction: Embodied facilitation. In Proceedings of the Ninth Conference on European Conference on Computer Supported Cooperative Work, ECSCW’05, pages 23–43, New York, NY, USA, 2005. Springer-Verlag New York, Inc.
  • 12. Was sind Be-greifbare Interaktionen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 12 Bilder von Wikimedia Commons: https://commons.wikimedia.org
  • 13. Der nächste Schritt in der MMI 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 13 Abb. aus Ishii, H., Lakatos, D., Bonanni, L., & Labrune, J. B. (2012). Radical atoms: beyond tangible bits, toward transformable materials. interactions, 19(1), 38-51. Verformbare Materialien statt (starrer) Tangibles
  • 14. BE-GREIFBARE INTERAKTIONEN IN DER SCHULE 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 14
  • 15. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 15 In den letzten Jahren haben Be-greifbare Interaktionen indirekt durch Physical Computing teilweise Einzug in den IU gehalten: z.B. Gestaltung alternativer Interaktionen durch Mikrocomputer mit angeschlossenen Motoren und Sensoren
  • 16. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 16 Bilder von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html) und Wikimedia Commons: https://commons.wikimedia.org
  • 17. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 17 Abb von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html) EntwicklungNutzung • Habtische Komponente bei Interaktion mit IS • Höhere Kooperation der Anwender
  • 18. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 18 • Bestandteil der Lebenswelt
  • 19. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 19 • Bestandteil der Lebenswelt • Einbettung in verschiedene Kompetenz-/Prozess- /Inhaltsbereiche möglich I, M & G: Veränderung der Lebenswelt (‚ubiquitous computing‘) Alg: Objekterkennung in Videos M & I: Softwareprojekte D: Kodierung von Fiducials Alg: Einführung in die Programmierung Arg: Kodierung von Fiducials
  • 20. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 20 • Bestandteil der Lebenswelt • Einbettung in verschiedene Kompetenz-/Prozess- /Inhaltsbereiche möglich • Schnell sichtbare Erfolge möglich (→ Motivation)
  • 21. Be-greifbare Interaktionen in der Schule 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 21 • Bestandteil der Lebenswelt • Einbettung in verschiedene Kompetenz-/Prozess- /Inhaltsbereiche möglich • Schnell sichtbare Erfolge möglich (→ Motivation) • Verschiedene Niveaus der Umsetzung möglich
  • 22. WAS IST SCRATCH4TUIO? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 22
  • 23. Was ist Scratch4TUIO? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 23 „With Scratch, you can program your own interactive stories, games, and animations — and share your creations with others in the online community“ 1 „TUIO is an open framework that defines a common protocol and API for tangible multitouch surfaces“ 2 1) Mitchel Resnick, John Maloney, Andrés Monroy-Hernández, Natalie Rusk, Evelyn Eastmond, Karen Brennan, Amon Millner, Eric Rosenbaum, Jay Silver, Brian Silverman, and Yasmin Kafai. 2009. Scratch: programming for all. Commun. ACM 52, 11 (November 2009), 60-67. DOI=http://dx.doi.org/10.1145/1592761.1592779 2) Kaltenbrunner, M. & Bovermann, T. & Bencina, R. & Costanza, E. "TUIO - A Protocol for Table-Top Tangible User Interfaces", Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes (France)
  • 24. Was ist Scratch4TUIO? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 24 TUIO ist ein Standard-Protokoll zur Übertragung von Zuständen und Ereignissen auf Mutlitouch-Tischen (MTT)
  • 25. 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 25 tuio.org
  • 26. Schon wieder was neues? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 26 In den letzten Jahren gab es eine Vielzahl von neuen Arte- fakten für den Informatikunterricht, die versuchen, die selben Aspekte zu fördern: • Lego Mindstorms • Raspberry Pi • Arduino • Ozobot • Micro.bits
  • 27. Schon wieder was neues? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 27 Für uns die wichtigsten Aspekte Pro S4T: • Ohne Zusatzhardware (kostenfrei) einsetzbar • Durch minimalen Kostenaufwand (Webcam, Smartphone) interessante Projekte möglich • Nach oben hin viele Möglichkeiten zur Erweiterung (dann ggf. mit Zusatzkosten verbunden) • Verbindung zu anderen Komponenten möglich
  • 28. Bis hierher Fragen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 28
  • 29. ERSTE SCHRITTE MIT SCRATCH4TUIO 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 29
  • 30. VON TUIO NACH SCRATCH4TUIO 14.03.2016 Jonas Neugebauer und Sebastian Thiele 30
  • 31. Aufbau und Ablauf mit TUIO 14.03.2016 3114.03.2016 31Jonas Neugebauer und Sebastian Thiele TUIO Client Applikation TUIO Tracker Applikation Multi-Touch Gesten markierte Objekte TUIO Protokoll Objekt Geometrie
  • 32. TUIO - Features • Event Kinds – Add – Update – Remove • Verschiedene Profile: – TUIO- Objekt – TUIO- Cursor – TUIO- Blob • Profile in 2D und 3D 14.03.2016 Jonas Neugebauer und Sebastian Thiele 32 TUIO- Punkt
  • 33. Welche Attribute werden getrackt? • Bewegung: – Position – Bewegungsgeschwindigkeit – Bewegungsbeschleunigung • Drehung: – Drehwinkel – Drehgeschwindigkeit – Drehbeschleunigung 14.03.2016 Jonas Neugebauer und Sebastian Thiele 33
  • 34. TUIO- Objekte Tracking Informationen – Markierung kodiert eine Symbolnummer – Bewegungsinformationen – Drehinformationen – Sitzungsnummer 14.03.2016 Jonas Neugebauer und Sebastian Thiele 34
  • 35. TUIO- Objekte vs. 14.03.2016 Jonas Neugebauer und Sebastian Thiele 35 Symbolnummer: • Kodiert durch Marker • Kann mehrmals auftreten Sitzungsnummer: • Eindeutige ID für eine Sitzung • Wird bei jeder Sitzung neu vergeben • kann nur einmal vorkommen
  • 36. TUIO- Cursor Tracking Informationen – Bewegungsinformationen – Sitzungsnummer 14.03.2016 Jonas Neugebauer und Sebastian Thiele 36
  • 37. TUIO- Blobs Tracking Informationen – Mittelpunktkoordinaten – Höhe, Breite Fläche des umgebenden Rechtecks – Bewegungsinformationen – Drehinformationen – Sitzungsnummer 14.03.2016 Jonas Neugebauer und Sebastian Thiele 37
  • 38. Anwendungsbeispiele TUIO 14.03.2016 Jonas Neugebauer und Sebastian Thiele 38 TUIO Tracker Applikation TUIO TUIO Client Applikation reacTIVision
  • 39. Von TUIO nach Scratch4TUIO 14.03.2016 Jonas Neugebauer und Sebastian Thiele 39 TUIO Client Applikation TUIO Tracker Applikation Multi-Touch Gesten markierte Objekte TUIO Protokoll
  • 40. 14.03.2016 40Jonas Neugebauer und Sebastian Thiele Demonstration
  • 41. 14.03.2016 41Jonas Neugebauer und Sebastian Thiele Arbeitsphase • Starten Sie die Softwarekomponenten und testen Sie die Funktionalität mit einem einfachen Programm • Wählen Sie eines der vorgegebenen Projekte und ändern Sie die Steuerung auf ein alternatives Interaktionskonzept um
  • 42. Fragen? Anmerkungen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 42
  • 43. Kreativ sein! • Scratch Projekte • MakeyMakey • Fiducials • Smartphone • (Arduino) 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 43
  • 44. Diskussion • Würde ich TUIs im IU einsetzen? • Warum (nicht)? • Progressionsmöglichkeiten? • Sinnhaftigkeit? • Verknüpfung zu Kompetenz-/Prozess-/Inhaltsbereichen? 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 44
  • 45. Interessante Weblinks Alle relevanten Links finden Sie unter: • http://tinyurl.com/itnrw16-s4t 14.03.2016 Jonas Neugebauer und Sebastian Thiele 45
  • 46. DANKE FÜR IHRE AUFMERKSAMKEIT UND MITARBEIT 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 46
  • 47. 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 47
  • 48. 14.03.2016 ITNRW WS10: Be-greifbare Interaktionen 48

Hinweis der Redaktion

  1. Sind Tastatur und Maus im weitesten Sinne auch TUIs? Nein, da ...
  2. Klassisches Interaktionsmodell (angelehnt an MVC): Trennung zw. In- und Output TUI Interaktionsmodell (nach Ullmer und Ishii): Keine klare Trennung mehr, View jetzt zwei (gekoppelte) Repräsentationen: rep-p (physikalisch) und rep-d (digital)
  3. Mable-Answering-Machine eines der ersten Bsp für TUI Reactable, Sound Cubes, MTT mit Handy Erkennung
  4. Anwendung der Merkmale auf Beispiele: Murmeln repräsentieren State, lösen die Wiedergabe von Nachrichten aus Objekte auf dem Reactable manipulieren Sound, Kombination ergibt Musik
  5. Multitouch, Kinect, Wii lassen sich im weitesten Sinne (Space-centered View) auch als TUI nutzen.
  6. Multitouch, Kinect, Wii lassen sich im weitesten Sinne (Space-centered View) auch als TUI nutzen.
  7. Bsp, dieheute schon im IU verwendet werden (können): MakeyMakey, RasPi/Arduino mit Sensoren, .Net Gadgeteer, My interactive garden
  8. Theoretische Überlegungen zu Phy. Computing lassen sich übertragen: Motivation, Kreativität, Aktualität, ...
  9. Bis hier ca. 30 Minuten
  10. Ca. 20 Minuten
  11. Ca. 20 Minuten
  12. Ca. 10 Minuten