Smart glass integration in edcuational environments
1. Smart glass integration in
educational environments
Use case and architecture
Michael Spitzer
Martin Ebner
This work is licensed under a Creative Commons Attribution 4.0 International License.
2. Smart Glasses
Technology solution in search of a problem (Barr, 1990)
ReconJet
[http://store.reconinstruments.com/Black-Jet-profile.jpg]
3. Why Smart Glasses?
• Hands-free operations
• Augmented reality
• Record/play videos from user’s point of view → learning material
• Remote assistance and tutoring
4. Challenges
• Educational use case?
• Suitable user interaction techniques to not influence the learning
situation?
• Architecture of an information system to integrate such devices in
educational environments?
6. Knitting tutorial - workflow
• Teacher records video tutorial while knitting
• Students get a short (verbal) instruction
• Students perform the task while recording their progress
• Teacher can watch the students remotely and give advice and feedback
• Teacher can store the student’s performance as performance record
10. User interaction techniques
Voice recognition
• Hands-free
• Suitable for language stimulating educational tasks
• Not suitable in environments with high ambient noise (big student groups)
“OK Glass”
Google Glass
https://commons.wikimedia.org/wiki/File%3AGoogle_Glass_Main.jpg
11. User interaction techniques
Touch interaction (spectacle frame)
• Usable in high ambient noise environments
• Hands-free feature is lost
• May have an impact on the learning experience
• Usability in dirty environments (Industry)
• Repeatedly moving the hand to the spectacle frame → fatigue
12. User interaction techniques
Interaction with gestures
• Usable in high ambient noise environments
• No physical contact with device, usable in dirty environments
• Exhausting, if recognition fails repeatedly
• May have an impact on the learning experience
14. Information System requirements 1/2
Non technical requirements
• Creation and management of learning material
• Teacher should be able to modify the learning material on a PC
• Feedback functionality
• Transfer tasks to smart glasses
• Tracking of student’s performance
• Live interaction between students and teacher
• Seamless integration of the smart glasses in existing information systems
15. Information System requirements 2/2
Technical requirements
• Real time video transmission
• Video upload, edit and management
• Web server with data storage for video material and tutorials
• WiFi infrastructure
• Device management system
• Full featured web interface for students and teachers
• Android App
16. Lessons learned
• Creating of learning material not trivial
• Smart glass display blocks line of sight
• Teacher had problems to record in the right angle
• Teacher had to learn how to use the device efficiently
• Hardware limitations
• Only 15 seconds video recording possible (ReconJet)
• Battery lifetime
17. Outlook
• Smart glasses optimized for technology enhanced learning
• New, more efficient user interaction possibilities
• Guidelines/tutorials for teachers
18. Graz University of Technology
EDUCATIONAL TECHNOLOGY
Graz University of Technology
Martin Ebner
http://elearning.tugraz.at
martin.ebner@tugraz.at
http://elearningblog.tugraz.at
m ebn er
Slides available at:
This work is licensed under a
Creative Commons Attribution
4.0 International License.
Hinweis der Redaktion
Hier geht es hauptsächlich darum, dass immer mehr devices auf den Markt “geschmissen” werden, aber man kaum passende use cases hat, auch die Schwierigkeiten bei der Integration in IT infrastrukturen (z.B. Schulen) wird oft unterschätzt.
Warum Smart glasses und nicht nur ein Tablet/Handy oder PC?
Wie entwickelt man passende use cases für technology enhanced learning? Das Gerät darf die Lernsituation nicht beeinflussen, deshalb ist die usability extrem wichtig, der Lerndende soll das device gar nicht “merken”.Die Einbindung in bestehende infrastrukturen wird oft unterschätzt, auch das Erstellen von Lernmaterial für diese devices muss leicht und intuitiv sein.
Stricken stellvertretend für alle feinmotorischen Tasks mit den Händen, dadurch kann die Brille ihren größten Vorteil: hands-free ausspielen, und dass der user alles aus “seiner” Perspektive sieht.
Workflow des Lernszenarios vom Erstellen bis Konsumieren des Lernmaterials
Hier die Videoaufnahme der Lehrerin, Tempo muss langsam sein und die einzelnen Schritte deutlich sichtbar, hier könnte man z.B. noch erwähnen, dass dieses Video mit der Datenbrille aufgezeichnet wurde, die Qualität der Aufnahmegeräte ist jedoch noch verbesserungswürdig. Man kann auch standardmäßig nur 15sec aufnehmen => devices haben noch potential nach oben, wenn man jedoch jetzt schon die Szenarios erarbeitet und erprobt, kann man sie dann gut einsetzen, wenn bessere Geräte kommen.
Genauer Ablauf der Lernsituation:
1. Vorbereitung: Der Lehrer gibt den Schülern zuerst eine verbale Einführung, oder sie bekommen ein Lernvideo.2. Lernsituation: Die Schüler haben die Brille auf und schauen sich zuerst (mehrmals) das Video an, dann beginnen sie mit dem task. Gleichzeitig wird mit der Brille ein Video aufgenommen, welches der Lehrer live mit anschauen kann.
3. Der Lehrer analysiert den Lernfortschritt der Schüler live oder zeitversetzt, gibt feedback und entscheidet, ob der Schüler das Lernziel erreicht hat.
Beschreibung der drei naheliegensten Interaktionsmöglichkeiten mit der Brille.
Gut für tasks, die Aussprache trainieren oder Sprach-Übersetzung, problematisch in lauten Klassen, wo viele Gruppen arbeiten, dann schlechte Erkennung
Gut für große Gruppen mit hohem Geräuschpegel.
Problematisch in schmutziger Umgebung, z.B. Kind klebt mit Uhu und fasst dann an die Brille. Weiters kann die Berührung der Brille den eigentlichen Task unterbrechen, z.B. beim Stricken muss das kind die Stricknadel erst weglegen und kann dann die Brille steuern und muss dann erst wieder die Nadel nehmen und in die richtige Position bringen. Est ist auf lange Sicht ermüdend, wenn man immer auf die Brille greifen muss.
Gestures, z.B. Handbewegungen vor der Brille.
Sehr gut bei großem Lärm (keine Spracherkennung möglich) und auch in schmutziger Umgebung.
Problem, wenn die Gesten nicht erkannt werden, dann ist es sehr ermüdend.
Zusätzlich die gleichen Probleme wie bei Touch, dass die Lernerfahrung möglicherweise unterbrochen wird. (Arbeitsgeräte weglegen, “Zwischenbewegungen”)
Szenario: Lehrer erstellt Video mit Brille, und ladet das Video in die Lernplattform, dort bearbeitet er/sie das Video, z.B. Unterteilung in tasks und weist die tasks dann den Schülern zu.
Schüler nimmt die Brille, sieht seinen Task und sieht sich das Video an und beginnt dann seine Übung, der Lehrer kann mittels live Video Übertragung am Computer mitschaun und audio feedback geben.
User requirements, Lehrer und Schüler
Technische requirements
Das Erstellen war sehr schwer, viele Versuche notwendig, da man sich drauf konzentrieren muss, im richtigen Winkel auf das Strickzeug zu schauen, damit das Bild nicht abgeschnitten wird. Man darf die Ausführung nicht zu schnell machen, damit das Video keine Bewegungsunschärfe bekommt. Die 15 Sekunden sind auch sehr knapp, es gehen sich gerade mal zwei Maschen aus. Auch müssen User erstmal lernen, die Datenbrille zu benutzen. Das Navigieren in Applikationen auf der Brille ist am Anfang sehr schwer, deshalb sollte so viel wie möglich am Computer veränderbar und einstellbar sein.
Wie geht’s weiter?
Wie schaut ein Device, optimiert für Lernszenarien aus? Welche zusätzliche, “neuen” Interaktionsmöglichkeiten würden die Lernerfahrung verbessern?
Wie schult man Lehrer den Umgang mit solchen devices und IT Infrastrukturen?