1
W I S S E N  T E C H N I K  L E I D E N S C H A F T
Usability Benchmark und Aktivitäts-
Analyse mit Eye Tracking von M...
22
Inhalt
• Einleitung
• Usability-Test, Eye Tracking, 7 Stages of Action
• Forschungsfrage
• App „MANGO“
• Studiendesign
...
33
Usability-Test (1)
Usability, dt. Gebrauchstauglichkeit
• …Ziele effektiv, effizient und zufriedenstellend erreichen (D...
44
Usability-Test (2)
• Teil des Usability Engineering Lifecycle
• repräsentative Testpersonen
• verwenden fertig entwicke...
55
Eye Tracking
• Aufzeichnung Augenbewegungen
• Fixationen -> Aufmerksamkeit (Holmqvist et al., 2011)
• Sakkaden – Bewegu...
66
Seven Stages of Action (1)
08.10.2015
Verena Rexeis
Bildquelle:nachNorman(2013,S.39)
ZIEL
WELT bzw. SYSTEM
Wie bearbeit...
77
Seven Stages of Action (2)
08.10.2015
Verena Rexeis
Bildquelle:nachNorman(2013,S.41)
ZIEL
WELT bzw. SYSTEM
KLUFTDERDURC...
88
Forschungsfrage
Können mit Usability Benchmark und Aktivitäts-Analyse
durch Eye-Tracking-Unterstützung vertiefende
Kenn...
99
Testumgebung „MANGO“-App (1)
„MANGO – Mobile Augmented Reality for Nutrition
Guidance and Food Awareness“
• Ernährungsp...
1010
Testumgebung „MANGO“-App (2)
08.10.2015
Verena Rexeis
1111
Testumgebung „MANGO“-App (2)
08.10.2015
Verena Rexeis
1212
Testumgebung „MANGO“-App (2)
08.10.2015
Verena Rexeis
1313
Testumgebung „MANGO“-App (2)
08.10.2015
Verena Rexeis
1414
Studiendesign (1)
16 Testpersonen (8m, 8w)
Vorbefragung inkl. functional eating Typenzuordnung
Eye-Tracking-Teil:
• S...
1515
Studiendesign (2)
App-Bewertung
• User Experience Questionnaire (UEQ)
• System Usability Scale (SUS)
• Wahrscheinlich...
1616
Auswertung – Benchmark (1)
• 5 messbare Kernaufgaben (KA)
• 11 Ziele zu KA
• 3 Gesamt-Ziele
• 80% erfüllte Kernaufgab...
1717
Auswertung – Benchmark (2)
Verwendete Metriken:
• Zeiten
• Wege zum Ziel
• Bugs
• richtige/falsche Scans
• Antworten-...
1818
Auswertung – Aktivitäts-Analyse
• Unterteilung von Aufg. 2 in Sieben Stages of Action
• ergibt drei verschiedene Ziel...
1919
Ergebnisse – Benchmark (1)
Zielvorgaben
08.10.2015
Verena Rexeis
Erfüllungs-Quoten der Benchmark-Zielvorgaben n=15
Au...
2020
Testperson#
DauerKA
ErfolgreicheKA
(von5)
ErfüllteZiele
(von8)
#Abstürze
SUS-Score
Dauer
KA
Ziele
Fehlerfreiheit
SUS
...
2121
Ergebnisse – App-Bewertung (1)
UEQ (n=16)
08.10.2015
Verena Rexeis
2222
Ergebnis – App-Bewertung (2)
herunterladen & verwenden
• vor der Benützung:
• 𝑀𝑣 = 2,88 𝑆𝐷𝑣 = 1,5
• nach der Benützun...
2323
Ergebnisse – Aktivitäts-Analyse
• keine positive Entwicklung in Eye-Tracking-Daten mit
fortschreitenden Scan-Versuche...
2424
Ausblick
Empfehlungen
• Implementation Tutorial
• Integration Feedback beim Scannen
• Überarbeitung Aufbereitung Lebe...
2525
Quellen
Andrews, Keith (2015). „Human–Computer Interaction“ Lecture Notes. URL:
http://courses.iicm.tugraz.at/hci/hci...
26
W I S S E N  T E C H N I K  L E I D E N S C H A F T
Vielen Dank für Ihre
Aufmerksamkeit!
Verena Rexeis
v.rexeis@tugra...
2727
Anhang
Benchmark mit Ergebnissen (1)
Aufg. 1 Lesen der eigenen fe-Typenbeschreibung
KA 1 Auffinden der eigenen fe-Typ...
2828
Anhang
Benchmark mit Ergebnissen (2)
08.10.2015
Verena Rexeis
Aufg. 3 Bestes Lemi in fe-Typ der aufgebauten Lemis fin...
2929
Testperson#
DauerKA
ErfolgreicheKA
(von5)
ErfüllteZiele
(von8)
#Abstürze
SUS-Score
Dauer
KA
Ziele
Fehlerfreiheit
SUS
...
3030
T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57%
T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76%
T11 85 3 2 4 90 3% 60% 25% ...
3131
Anhang
Manuelle Auslöseversuche
08.10.2015
Verena Rexeis
3232
Anhang
Iterationen der SSA beim Scannen
08.10.2015
Verena Rexeis
3333
Anhang
Stages Dauern
08.10.2015
Verena Rexeis
3434
Anhang
Stages Dauern
08.10.2015
Verena Rexeis
3535
Anhang
Stages Dauern
08.10.2015
Verena Rexeis
3636
Anhang
Stages Dwell Time
08.10.2015
Verena Rexeis
3737
Anhang
Stages Dwell Time
08.10.2015
Verena Rexeis
3838
Anhang
Stages Dwell Time
08.10.2015
Verena Rexeis
3939
Anhang
Stages Fixationen/Sekunde
08.10.2015
Verena Rexeis
4040
Anhang
Stages Fixationen/Sekunde
08.10.2015
Verena Rexeis
4141
Anhang
Stages Fixationen/Sekunde
08.10.2015
Verena Rexeis
Nächste SlideShare
Wird geladen in …5
×

Usability Benchmark und Aktivitäts-Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen

1.936 Aufrufe

Veröffentlicht am

Diplomarbeitspräsentation, Technische Universität Graz, Oktober 2015

Veröffentlicht in: Bildung
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.936
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
381
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Usability Benchmark und Aktivitäts-Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen

  1. 1. 1 W I S S E N  T E C H N I K  L E I D E N S C H A F T Usability Benchmark und Aktivitäts- Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen Diplomarbeitspräsentation, 08.10.2015 Betreuer: Univ.-Doz. DI Dr.techn. Martin Ebner, IICM Verena Rexeis Diplomarbeit in einer Kooperation mit JOANNEUM RESEARCH Digital, DI Dr. Lucas Paletta
  2. 2. 22 Inhalt • Einleitung • Usability-Test, Eye Tracking, 7 Stages of Action • Forschungsfrage • App „MANGO“ • Studiendesign • Auswertung • Ergebnisse • Ausblick 08.10.2015 Verena Rexeis
  3. 3. 33 Usability-Test (1) Usability, dt. Gebrauchstauglichkeit • …Ziele effektiv, effizient und zufriedenstellend erreichen (DIN EN ISO 9241-11) • System muss erlernbar, einprägsam und fehlerfrei sein (Nielsen, 1993) User Experience 08.10.2015 Verena Rexeis Bildquelle: nach Sarodnick et al. (2011, S. 22)
  4. 4. 44 Usability-Test (2) • Teil des Usability Engineering Lifecycle • repräsentative Testpersonen • verwenden fertig entwickelte Systeme • Messungen und Beobachtungen • zB Formale Experimente, Fragebögen, Thinking-Aloud-Tests, Benutzungsstudien,… 08.10.2015 Verena Rexeis
  5. 5. 55 Eye Tracking • Aufzeichnung Augenbewegungen • Fixationen -> Aufmerksamkeit (Holmqvist et al., 2011) • Sakkaden – Bewegungen zwischen Fixationen • Head Mounted Displays (zB Eye Tracking Glasses) • infrarote Lichtquellen • Reflexionen auf Hornhaut • Messung videobasiert • Augen- und Szenen-Kamera 08.10.2015 Verena Rexeis Bildquelle: vgl. Santner et al. (2013)
  6. 6. 66 Seven Stages of Action (1) 08.10.2015 Verena Rexeis Bildquelle:nachNorman(2013,S.39) ZIEL WELT bzw. SYSTEM Wie bearbeite ich es? Was kann ich machen? Was ist passiert? Ist es das, was ich wollte? KLUFTDERDURCHFÜHRUNG KLUFTDEREVALUATION
  7. 7. 77 Seven Stages of Action (2) 08.10.2015 Verena Rexeis Bildquelle:nachNorman(2013,S.41) ZIEL WELT bzw. SYSTEM KLUFTDERDURCHFÜHRUNG KLUFTDEREVALUATION INTERPRETIEREN WAHRNEHMEN VERGLEICHEN SPEZIFIZIEREN AUSFÜHREN PLANEN
  8. 8. 88 Forschungsfrage Können mit Usability Benchmark und Aktivitäts-Analyse durch Eye-Tracking-Unterstützung vertiefende Kenntnisse für die App-Entwicklung im Bereich Ernährungsempfehlung gewonnen werden? 08.10.2015 Verena Rexeis
  9. 9. 99 Testumgebung „MANGO“-App (1) „MANGO – Mobile Augmented Reality for Nutrition Guidance and Food Awareness“ • Ernährungsphilosophie „functional eating“ • automatische Lebensmittelerkennung • Betriebssystem Android; iOS dzt. nicht geplant 08.10.2015 Verena Rexeis Bildquellen: functionaleating.at
  10. 10. 1010 Testumgebung „MANGO“-App (2) 08.10.2015 Verena Rexeis
  11. 11. 1111 Testumgebung „MANGO“-App (2) 08.10.2015 Verena Rexeis
  12. 12. 1212 Testumgebung „MANGO“-App (2) 08.10.2015 Verena Rexeis
  13. 13. 1313 Testumgebung „MANGO“-App (2) 08.10.2015 Verena Rexeis
  14. 14. 1414 Studiendesign (1) 16 Testpersonen (8m, 8w) Vorbefragung inkl. functional eating Typenzuordnung Eye-Tracking-Teil: • Szenarien • Aufgaben • Typenbeschreibung durchlesen • 3x Lebensmittel scannen • das beste der aufgebauten Lemis + • 3 wichtigsten Gemüsesorten nennen 08.10.2015 Verena Rexeis
  15. 15. 1515 Studiendesign (2) App-Bewertung • User Experience Questionnaire (UEQ) • System Usability Scale (SUS) • Wahrscheinlichkeit herunterladen & verwenden Checkliste zum Studienablauf Pre-Test mit 2 Personen 08.10.2015 Verena Rexeis
  16. 16. 1616 Auswertung – Benchmark (1) • 5 messbare Kernaufgaben (KA) • 11 Ziele zu KA • 3 Gesamt-Ziele • 80% erfüllte Kernaufgaben (Ziel 6) • User-Performance bei den Zielen 1a-3b, 4a, 5a 55% (Ziel 7) • SUS-Score von 80(%) (Ziel 8) 08.10.2015 Verena Rexeis zB KA 1 Auffinden der eigenen fe-Typenbeschreibung Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek.
  17. 17. 1717 Auswertung – Benchmark (2) Verwendete Metriken: • Zeiten • Wege zum Ziel • Bugs • richtige/falsche Scans • Antworten-Auswertung • SUS/UEQ-Auswertung Gesamtbeurteilung durch kombinierte Metriken 08.10.2015 Verena Rexeis
  18. 18. 1818 Auswertung – Aktivitäts-Analyse • Unterteilung von Aufg. 2 in Sieben Stages of Action • ergibt drei verschiedene Ziele • Kamera öffnen • Lebensmittel scannen • Detailinformationen aufrufen/nachlesen • Zuordnung zu Stages • Dauern der Stages • durchschnittliche Blickdauern [ms] • # der Fixationen • Fixationen/Sekunde 08.10.2015 Verena Rexeis
  19. 19. 1919 Ergebnisse – Benchmark (1) Zielvorgaben 08.10.2015 Verena Rexeis Erfüllungs-Quoten der Benchmark-Zielvorgaben n=15 Aufgabe 1 Aufgabe 2 Ziel 1a Ziel 1b Ziel 2a Ziel 2b Ziel 3a Ziel 3b Ziel 3c Ziel 3d Zielwert 90% 75% 90% 75% 75% 70% 55% 90% erreicht 73% 53% 47% 60% 47% 74% 33% 40% Aufgabe 3 Aufgabe 4 Gesamt-Ziele Ziel 4a Ziel 5a Ziel 5b Ziel 6 Ziel 7 Ziel 8 Zielwert 75% 50% 75% 80% 55% 80% erreicht 53% 13% 47% 73% 55% 80% Kernaufgaben
  20. 20. 2020 Testperson# DauerKA ErfolgreicheKA (von5) ErfüllteZiele (von8) #Abstürze SUS-Score Dauer KA Ziele Fehlerfreiheit SUS Mittelwert Mittelwertinkl. sechsUEQ-Skalen T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60% Ergebnisse – Benchmark (3) Gesamt-User-Performance (Auszug) 08.10.2015 Verena Rexeis T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75% Gesamt-Score (n=15) 66% 69% 90% Konfidenzintervall Bereich 7% 5%
  21. 21. 2121 Ergebnisse – App-Bewertung (1) UEQ (n=16) 08.10.2015 Verena Rexeis
  22. 22. 2222 Ergebnis – App-Bewertung (2) herunterladen & verwenden • vor der Benützung: • 𝑀𝑣 = 2,88 𝑆𝐷𝑣 = 1,5 • nach der Benützung: • 𝑀 𝑛 = 2,63 𝑆𝐷 𝑛 = 1,7 • männliche Testpersonen • vor: 𝑀 𝑚𝑣 = 2,75 nach: 𝑀 𝑚𝑛 = 1,88 • weibliche Testpersonen • vor: 𝑀 𝑤𝑣 = 3 nach: 𝑀 𝑤𝑛 = 3,38 08.10.2015 Verena Rexeis
  23. 23. 2323 Ergebnisse – Aktivitäts-Analyse • keine positive Entwicklung in Eye-Tracking-Daten mit fortschreitenden Scan-Versuchen • User-Verhalten durch Stages-Einteilung transparent • Auslöseversuche • innerhalb des Kamerabildes ohne Auswirkung • verlassen der App über Menüleiste 08.10.2015 Verena Rexeis
  24. 24. 2424 Ausblick Empfehlungen • Implementation Tutorial • Integration Feedback beim Scannen • Überarbeitung Aufbereitung Lebensmittel-Datenbank • Stabilitätsprobleme beheben • vergleichende Usability-Tests bzgl. des Benchmarks und der Gesamt-User-Performance 08.10.2015 Verena Rexeis
  25. 25. 2525 Quellen Andrews, Keith (2015). „Human–Computer Interaction“ Lecture Notes. URL: http://courses.iicm.tugraz.at/hci/hci.pdf (besucht am 7.10.2015) DIN EN ISO 9241-11 (1999). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten - Teil 11: Anforderungen an die Gebrauchstauglichkeit; Leitsätze (ISO 9241-11:1998); Deutsche Fassung EN ISO 9241-11:1998; Ausgabedatum: 1999-01. Berlin: Beuth-Verlag Norman, Donald A. (2013). The Design of Everyday Things. Revised and Expanded Edition. United States: Basic Books. ISBN: 9780465050659 Santner, Katrin, Gerald Fritz, Lucas Paletta und Heinz Mayer (2013). „Visual recovery of saliency maps from human attention in 3D environments“. In: 2013 IEEE International Conference on Robotics and Automation. ICRA 2013. (Karlsruhe), S. 4297–4303. DOI: 10.1109/ICRA.2013.6631185 Sarodnick, Florian und Henning Brau (2011). Methoden der Usability Evaluation: Wissenschaftliche Grundlagen und praktische Anwendung. 2. Aufl. Huber: Wirtschaftspsychologie in Anwendung. Bern, Schweiz: Verlag Hans Huber. ISBN: 9783456848839 08.10.2015 Verena Rexeis
  26. 26. 26 W I S S E N  T E C H N I K  L E I D E N S C H A F T Vielen Dank für Ihre Aufmerksamkeit! Verena Rexeis v.rexeis@tugraz.at
  27. 27. 2727 Anhang Benchmark mit Ergebnissen (1) Aufg. 1 Lesen der eigenen fe-Typenbeschreibung KA 1 Auffinden der eigenen fe-Typenbeschreibung 100% Ziel 1a 90% d. User in KA1 wählen direkt fe im Hauptmenü aus 73% Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek. 53% Aufg. 2 3x Lebensmittel scannen ausprobieren und App kennenlernen KA 2 Kameramodus öffnen 100% Ziel 2a 90% d. User in KA2 wählen direkt Kamera im Hauptmenü aus 47% Ziel 2b 75% d. User schaffen KA2 innerhalb von 10 Sek. 60% 08.10.2015 Verena Rexeis KA 3 Drei oder mehr Lemi-Scans durchführen 87% Ziel 3a 75% d. User schaffen drei Scans innerhalb 1 Min. 47% Ziel 3b Mittel der richtigen Scan-Anteile/User mind. 70% 74% Ziel 3c 55% d. User haben ausschließlich richtige Scan Ergebnisse 33% Ziel 3d Kameramodus bei 90% d. User ohne Abstürze 40%
  28. 28. 2828 Anhang Benchmark mit Ergebnissen (2) 08.10.2015 Verena Rexeis Aufg. 3 Bestes Lemi in fe-Typ der aufgebauten Lemis finden KA 4 Bestes Lemi in fe-Typ der aufgebauten Lemis finden 67% Ziel 4a 75% d. User schaffen KA4 innerhalb von 2 Minuten 53% Aufg. 4 Wichtigsten drei Gemüsesorten in fe-Typ finden KA 5 Wichtigsten drei Gemüsesorten in fe-Typ finden 13% Ziel 5a 50% d. User schaffen KA5 innerhalb 1 Minute 13% Ziel 5b 75% d. User schaffen KA5 innerhalb 2 Minuten teilw. Richtig (zwei Lemis unabhängig von Platzierung genannt) 47% Gesamt-Ziele Ziel 6 80% der KA erfolgreich 73% Ziel 7 55% der Ziele 1a, 1b, 2a, 2b, 3a, 3b, 4a, 5b erfüllt 55% Ziel 8 SUS-Score von 80 80%
  29. 29. 2929 Testperson# DauerKA ErfolgreicheKA (von5) ErfüllteZiele (von8) #Abstürze SUS-Score Dauer KA Ziele Fehlerfreiheit SUS Mittelwert Mittelwertinkl. sechsUEQ-Skalen T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T02 40 4 6 2 82,5 81% 80% 75% 71% 83% 78% 77% T03 54 4 7 2 90 56% 80% 88% 71% 90% 77% 74% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60% T06 80 3 3 3 90 12% 60% 38% 57% 90% 51% 63% T07 49 4 6 1 77,5 65% 80% 75% 86% 78% 77% 68% Anhang Gesamt-User-Performance (1) 08.10.2015 Verena Rexeis
  30. 30. 3030 T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T11 85 3 2 4 90 3% 60% 25% 43% 90% 44% 64% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T14 39 3 6 0 70 81% 60% 75% 100% 70% 77% 60% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75% T16 58 3 4 3 70 49% 60% 50% 57% 70% 57% 64% Gesamt-Score 66% 69% 90% Konfidenzintervall Bereich 7% 5% Anhang Gesamt-User-Performance (2) 08.10.2015 Verena Rexeis Testperson# DauerKA ErfolgreicheKA (von5) ErfüllteZiele (von8) #Abstürze SUS-Score Dauer KA Ziele Fehlerfreiheit SUS Mittelwert Mittelwertinkl. sechsUEQ-Skalen
  31. 31. 3131 Anhang Manuelle Auslöseversuche 08.10.2015 Verena Rexeis
  32. 32. 3232 Anhang Iterationen der SSA beim Scannen 08.10.2015 Verena Rexeis
  33. 33. 3333 Anhang Stages Dauern 08.10.2015 Verena Rexeis
  34. 34. 3434 Anhang Stages Dauern 08.10.2015 Verena Rexeis
  35. 35. 3535 Anhang Stages Dauern 08.10.2015 Verena Rexeis
  36. 36. 3636 Anhang Stages Dwell Time 08.10.2015 Verena Rexeis
  37. 37. 3737 Anhang Stages Dwell Time 08.10.2015 Verena Rexeis
  38. 38. 3838 Anhang Stages Dwell Time 08.10.2015 Verena Rexeis
  39. 39. 3939 Anhang Stages Fixationen/Sekunde 08.10.2015 Verena Rexeis
  40. 40. 4040 Anhang Stages Fixationen/Sekunde 08.10.2015 Verena Rexeis
  41. 41. 4141 Anhang Stages Fixationen/Sekunde 08.10.2015 Verena Rexeis

×