Jedes Online-Projektresultat muss einfach und verständlich sein! Dieser Anspruch wird jedem Projektverantwortlichen übertragen und entscheidet tatsächlich über Erfolg und Misserfolg. Die professionell präsentierte "Hochglanz-Lösung" Ihrer Agentur ist natürlich überzeugend wie eh und je; trotzdem plagt Sie ein ungutes Gefühl und Sie fragen sich: "Wird unsere neue Lösung funktionieren?"
Thomas Link und Andri Stoffel zeigen, wie Sie diese "Bauchschmerzen" mit selbst durchgeführten Usability Tests aus der Welt schaffen können. Dabei lernen Sie, wie Sie dafür am besten vorgehen und welche Tools und Instrumente am besten geeignet sind.
• "Yes we can" – Warum ausgerechnet Sie die Tests durchführen
• Organisiertes und Ad-hoc-Testing
• Produkt-Roadmap entlang Usability-Meilensteinen
• So geht’s und das sollten Sie beachten - eine Checkliste
• Changing your Organisation
Fachveranstaltung Digital Marketing – Multichannel, CRM, Kampagnen – und was ...
Usability-Testing - nichts leichter als das!
1. aiciti. eBusiness Kongress 2011. Usability Testing- nichts leichter als das. Namics. Thomas Link. Creative Director. Partner. Andri Stoffel. Senior Manager. 11. Mai 2011
2.
3. Agenda. Yes wecan... warum ausgerechnet Sie testen sollen Organisiertes und Ad-hoc Testing Produkt-Roadmap entlang Usability Meilensteinen Wandel im Unternehmen erreichen So geht‘s... das sollten Sie beachten – eine Checkliste 90 Minuten im Überblick. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 3
4. Yes wecan! Warum ausgerechnet Sie testen sollen. 11. Mai 2011 4 aiciti. Usability Testing - nichts leichter als das.
5. Testen ist keine Wissenschaft. Yes wecan! Photoby Lew57 - http://flic.kr/p/7XhKB9
6. Ein Orchester statt separate Spezialisten. Yes wecan! Photobykevindooley - http://flic.kr/p/7ejcDF
7. Usability Tests sind nicht „objektiv“. Yes wecan! Photobyeprouveze - http://flic.kr/p/48kDzX
12. Wollen Sie besser als Ihre Mitbewerber sein? Yes wecan! Picture bymdpettitt - www.flickr.com/photos/mdpettitt
13. Natürlich wollen Sie den Erfolg! Yes wecan! 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 13 Ziele Sie erhalten, was Sie testen… Optimierung Analyse A/B Split Test 5 Status quo Test 1 Performance und Erfolg Innovation KontrollTest 4 Konzeption Umsetzung Prototyp Test 2 Usability Controlling 3 User Centered Design Quelle: http://blog.namics.com/2009/11/user-centered-d.html
14. Warum Sie testen sollen. Mutige Innovationen bestätigen Innovation von der „Quelle“ abschöpfen Und darum besser als Ihr Mitbewerber Persönliche Lernkurve „Vom User lernen“ macht Sie zum Entscheider Erleichterung der internen Argumentation und Diskussion Konzept-Sicherheit und Ziel Erreichung Ruhiger Schlafen – „Teures will man kennen“ Yes wecan! 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 14
15. Organisiertes und Ad-hoc Testing. 11. Mai 2011 15 aiciti. Usability Testing - nichts leichter als das.
16. Eine Frage der Frage. Organisiertes und Ad-hoc Testing Antwort Prototyp ? Testaufgaben & Ziel Testplan Test Rekrutierung Antwort ? Woche 3 Woche 4 Woche 2 Woche 1 Ad-hoc Test Organisierter Test 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 16
17. Ad-hoc Test: „Tabellensortierung“ Sind Pfeile zur Markierung der Sortierung nötig? Organisiertes und Ad-hoc Testing 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 17 Variante A: Pfeile Variante B: Links http://bit.ly/gNQA8S
18. Organisierter Test: „Folksonomy“ Kann das Tagging Prinzip im Intranet eingesetzt werden? Organisiertes und Ad-hoc Testing 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 18
19. Zwei Fragen, zwei verschiedene Tests. Abgeschlossene Frage Sind Pfeile zur Markierung der Sortierung nötig? Teilnehmerzahl grösser als 10 Verständlichkeit, Gebrauchseignung und Effizienz Test mit vorhandenem Arbeitsstand Umfassende Suche Kann das Tagging Prinzip im Intranet eingesetzt werden? 5 Testpersonen Gebrauchseignung, Effektivität und Lernbarkeit Test am Beispiel bekannter Websites Organisiertes und Ad-hoc Testing 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 19
20. Gemeinsame Grundlage aller Tests. Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 20 Erstellung eines geeigneten Prototyps Problem-Hypothese(Lernziel) Usability Test Grundlagen Korrekte und bewussteTeilnehmerwahl Testfälle konzipierenund schreiben Zielformulierungfür Bedienbarkeit
21. Problem-Hypothese (Lernziel). Was will man vom Nutzer lernen? Kein Test ohne Lernbedarf Abgeschlossene Fragen vs. umfassende Suche Wahrscheinlichkeit zu Scheitern Bereitschaft zur Design-Iteration Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 21 Je grösser die Wahrscheinlichkeit zu Scheitern, umso wertvoller ist die Feststellung des Erfolgs!
22. Korrekte und bewusste Teilnehmerwahl. Suchen Sie Ihre Nutzer sorgfältig aus Vorhandene Research-Arbeit (Persona) nutzen Rekrutieren Sie auf Ihrer Website Nehmen Sie sich Zeit Entschädigen Sie grosszügig Wie viele Teilnehmer? Überzeugungsgrad der Antworten vs. Dauer der Sessions Wenige Teilnehmer? Dann 4 Personen Ab 11 Testpersonen wird es „langweilig“ Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 22
23. Zielformulierung für Bedienbarkeit. Grundsätzliche Dimensionen "Easeoflearning" vs. "Efficiency ofuseover time“ Problemstellen erkennen Fehlinformationen Unvollständige Transaktionen Andauernder Bedarf an User-Support Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 23
24. Tasks konzipieren und schreiben. Basierend auf Zielen der Nutzung Immer im Bezug auf den Produkt-Erfolg Sie erhalten, was Sie messen Angemessene Komplexität Eingeschränkte und vorhersehbare Menge an Lösungswegen Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 24
25. Erstellung eines geeigneten Prototyps. Ohne Studienobjekt kein Test Meine Auswahl an Tools:Papier, PowerPoint, Visio, Fireworks, Axure RP Pro, HTML Low-fidelity vs. High-fidelity Papier heisst nicht zwingend „low-fidelity“ Obligatorisch: 1-2 Usability Tests zur Probe Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 25 Je präziser Inhalt und Form des Prototyps, desto präziser wird das Feedback!
27. Was kostet ein „Test“? Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 27 Ad-hoc Test 5 Testpersonen 15min Testdauer Design Briefing Test 1 5 Testpersonen 1h Testdauer PPT Report 10min Video Test 2 11 Testpersonen 1h Remote-Test Schriftlicher Report 20min Video
29. In-House Test – selbst durchgeführt. Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 29 Ad-hoc Test 5 Testpersonen 15min Testdauer Design Briefing Test 1 5 Testpersonen 1h Testdauer PPT Report 10min Video Test 2 11 Testpersonen 1h Remote-Test Schriftlicher Report 20min Video 45 - 50 Stunden CHF 5,300 Arbeitsaufwand CHF 800 fürRekrutierung CHF 400 fürEntschädigung CHF 0 für Labor CHF 100 fürSpesen CHF 6,600 – 7,100 85 - 100 Stunden CHF 8,500 Arbeitsaufwand CHF 700 fürRekrutierung CHF 1,000 fürEntschädigung CHF 300 für Labor* CHF 0 fürSpesen CHF 10,500 – 12,000 5 - 7 Stunden CHF 500 Arbeitsaufwand CHF 300 fürRekrutierung CHF 200 fürEntschädigung CHF 0 für Labor CHF 0 fürSpesen CHF 1,000 – 1,200
30. Kostenrelevante Entscheidungen. Unnötige Fragestellung Anzahl Tasks (Testfälle) Insbesondere bei Konzept-Tests (Prototypen) Ausführliches Reporting – macht den Test nicht besser Sorgfältige Rekrutierung kostet Zeit Besonders wichtig bei wenig Testpersonen Sparpotential Eigene Website zur Selektion & Rekrutierung Remote-Testing ab 10 Testpersonen in Erwägung ziehen Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 30
31. Hilfreiche Online-Dienstleister Remote Testing loop11.com Unmoderierte Tests mit guter Führung der Testpersonen Kein Eingriff in die Website nötig (meistens) Erste Auswertung ohne aufwändige Analyse Userfeedback.ch Unmoderierte Tests mit Video als Resultat Preis pro Test-Person incl. Entschädigung Rekrutierung ethnio.com Einfachste Rekrutierung auf Ihrer eigenen Website „Screening“ Fragen im PopUp Keine Koordination mit Recruiting-Firma und Aufbau des eigenen Testpersonen-Pool Ihre eigene Website Organisiertes und Ad-hoc Testing. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 31 Gutschein-Codes: 3 zum Preis von 2: AICITI3FOR2 5 zum Preis von 3: AICITI5FOR3
33. Produkt-Roadmap. Produkt-Roadmap entlang Usability Meilensteinen. Wer hat‘s erfunden? Pläne. Ziele. Picture by 23633172@N07 - www.flickr.com/photos/23633172@N07
34. Hören Sie nie auf mit Usability Testing. Produkt-Roadmap entlang Usability Meilensteinen. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 34 Usability Test WOW Neues Feature Aktueller Release Unerfülltes Bedürfnis
35. Usability Test WOW Neues Feature Aktueller Release WOW WOW WOW WOW WOW WOW WOW Hören Sie nie auf mit Usability Testing. Innovation User Experience ist nach oben unlimitiert Ein kompetitiver, gesättigter Markt erfordert Innovation Kunde und Zusammenspiel aller „Touchpoints“ Produkt-Roadmap entlang Usability Meilensteinen. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 35 Unerfülltes Bedürfnis
36. UCD im Innovationsprozess. Produkt-Roadmap entlang Usability Meilensteinen. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 36 braucht Innovation User CenteredDesign generiert
37. Wandel im Unternehmen erreichen. ChangingyourOrganisation 11. Mai 2011 37 aiciti. Usability Testing - nichts leichter als das.
39. Wo setze ich an? Wandel... ...ist ein stetiger Ablauf und erfolgt nicht von heute auf morgen ...erfordert einen spürbaren und beständigen Willen zur Verbesserung ...ist typischerweise top-down getrieben und erfolgreich Wandel im Unternehmen erreichen. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 39
40. Feiern Sie die gefundenen Probleme! Wandel im Unternehmen erreichen. alle... ...damit alle wissen, was nicht funktioniert! alle... alle... Picture bydeegephotos - www.flickr.com/photos/deegephotos
41. Sorgen Sie für Zahlen! 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 41 Wandel im Unternehmen erreichen. Analytics Conversion Performance A/B Varianten Absolut Verhältnis Zielerreichung Optionen
42. Framework. Wandel im Unternehmen erreichen. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 42 Business Resultate zählen Fry thebiggestfishes ResultsOrganisation StrategyExperience Buy-in Kern
43. So geht‘s... das sollten Sie beachten. 11. Mai 2011 43 aiciti. Usability Testing - nichts leichter als das.
44. UX-Staffing. So geht‘s... das sollten Sie beachten. Generator Validator Photoby Universalmuseum Joanneum - www.museum-joanneum.at Photobywww.basilrathbone.net/films
45. UX-Staffing. Generator. ideenreich innovativ unabhängig mutig zahlreich Validator. überprüfend bedienbar umsetzbar absichernd selektiv So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 45 wechselseitigeine furchtbar fruchtbare Kombination
46. Argumente für externe Partner. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 46 ...und wie Sie diese entkräften! Unabhängigkeit der Auswertung zu einfache Testaufgaben machen die Objektivität hinfällig Bekanntschaften reduzieren die Unabhängigkeit Aufwand gering, da Labor bereits vorhanden auch ihre Firma verfügt über zwei Sitzungszimmer Fancy Technik wie Eye-Tracking Sollen die Beobachter eine Heerschar Techies sein?
47. In 21 Tagen zum erfolgreichen Testresultat. So geht‘s... das sollten Sie beachten. aiciti. Usability Testing - nichts leichter als das. 11. Mai 2011 47
48. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 48 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Test-Ziele festlegen Test-Inhalt & -Funktionen bestimmen Test-Personenprofile entwickeln& Assessmentfragen ableiten Start Rekrutierung Equipment reservieren & zusammenstellen (Computer, Kamera, Bildschirme, etc.)
49. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 49 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen TIPP: Test-Ziele festlegen Sie bekommen, was Sie messen Easy-to-learn oder Effizienz in der täglichen Nutzung Hypothesen erstellen, wo Problemstellen vermutet werden(Kein Alibi-Test)
50. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 50 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Tasks und Szenarios schreiben Tagesplanung für den Test-Tag erstellen Beobachter einladen
51. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 51 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Überprüfung Stand Rekrutierung Test-Plan finalisieren, Erlaubnis zur Datenverwendung, Treffpunkt & -ort den Testpersonen zustellen Überprüfung Prototyp, ob Test-Szenarien abbildbar Backupszenario und Ersatzbatterien organisieren
52. Backupszenario Achtung beim Test auf Entwicklungs-Umgebungen:„Freeze“ für den Test-Tag verlangen Wenn möglich, Alternativen vorbereiten Redundanter Server HTML-Abbild Screenshots So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 52 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen
53. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 53 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Test-Tasks auf Indexkarten drucken Test-Skript für Moderator drucken Fragebogen drucken oder Google Spreadsheet aufsetzen Erlaubnis zur Datenverwendung drucken (falls Testpersonen diese vergessen) Instruktionen für denBeobachter drucken Test-Szenarien auf 1 Blatt drucken Pilottest durchführen (Test-Skript und Szenarien anpassen)
54. So geht‘s... das sollten Sie beachten. 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Entschädigung für Test-Personen bereitlegen Quittungen für den Erhalt der Entschädigung drucken Test-Plan mit Telefonnummern drucken Mit den morgigen Test-Personen Kontakt aufnehmen und Teilnahme bestätigen lassen E-Mail an Beobachter mit Test-Plan und Teilnahme bestätigen lassen 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 54
55. So geht‘s... das sollten Sie beachten. 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Schliessen sämtlicher unüblicher Software auf dem Test-Rechner (Instant Messenger, E-Mail & Kalender Alarme, etc.) Lesezeichen mit der URL des Prototypen setzen Herausschreiben der Telefonnummer des internen technischen Firmensupports 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 55
56. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 56 3 Wochendavor 2 Wochen davor 1 Wochedavor 1 Tagdavor Am Morgen Beobachtungsraum einrichten: Instruktionen, Szenarioliste und Test-Plan bereitlegen Funktionstüchtigkeit des Prototyps nochmals überprüfen Aufzeichnungssoftware überprüfen(Audio & Video) Übertragung zum Beobachtungsraum überprüfen
57. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 57 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach „Reset“ der Prototypen-Webseite: Browser-History, Cookies, leeres Browserfenster öffnen Bildschirm abschalten,Rechner laufen lassen Aufzeichnungs-Software starten Test-Task Indexkarten bereitlegen (sortiert/zufällig)
58. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 58 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach Erwartungen abholen, klären und beruhigen Test-Setup erklären Entschädigung übergeben und Quittung unterzeichnen lassen Erlaubnis zur Datenverwendung unterzeichnen lassen
59. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 59 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach TIPP: Entschädigung vor Test übergeben Die Test-Teilnahme entschädigen und nicht das erfolgreiche Lösen einer Test-Aufgabe! Entschädigung muss nicht verdient werden! ...führt zu entspannten Test-Personen!
60. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 60 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach Überleitung zum Fragebogen Check, ob für Beobachter Unklarheiten bestehen Recording anhalten und verständlich benennen: Nummer, Name, Datum Vorbereitung für die nächste Testperson
61. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 61 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach TIPP: Offene Fragen stellen und Test-Person „sprudeln“ lassen Was haben Sie unter diesem Titel verstanden? Beschreiben Sie mit ein paar Worten wie nützlich Sie die Funktion empfinden? Gibt es einen anderen Ort auf der Seite, an welchem diese Funktion für Sie hilfreich wäre? Keine geschlossenen Fragen (Ja / Nein Antworten) „Haben Sie diesen Titel verstanden?“
62. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 62 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach Debriefing: Findings mit dem Beobachter besprechen und die Top Issues bestimmen Backup aller Recordings erstellen Dankes-Mail an die Test-Personen des Tages versenden
63. Debriefing statt Reporting Top 10 Issues – nur Daten oder Beobachtung des Verhaltens erlaubt, keine Interpretationen Beobachtung Zitate Fehler-/Erfolgs-Rate Gruppierung & Bewertung Diskussion Verzicht auf Reporting bei Konsens in Issues und Lösungen So geht‘s... das sollten Sie beachten. LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 63
64. So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 64 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach Präsentation der Test-Findings und Lösungsvorschläge Verkaufen der erzielten Test-Erfolge
65. TIPP: Videos überzeugen! Lange Reports nicht... So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 65 LetzteVorbereitung Willkommen Direkt im Anschluss AmAbend 1 Wochedanach
66. Stolperfallen und Rührei. Testen ohne Ziel(e) Pre-Test nicht oder unvollständig gemacht Prototyp nicht ausreichend oder fehlerhaft Zu wenig Zeit zwischen den Testpersonen Task unverständlich oder zu einfach Moderator: Sichtbar frustriert oder mangelnde Distanz Die Testperson hat immer recht So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 66
67. Buchtipp. Handbook ofUsabiltiyTestingvon Rubin & Chisnell (EN) www.usabilityworks.net Download von Templates, Beispielen und Links zu weiteren Quellen www.wiley.com/go/usabilitytesting So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 67 $34
68. Resultate zählen – nicht gefundene Probleme. So geht‘s... das sollten Sie beachten. Picture bydeegephotos - www.flickr.com/photos/deegephotos
69. Und genau das wollen wir... So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 69 Ziele Optimierung Analyse A/B Split Test 5 Status quo Test 1 Performance und Erfolg Innovation KontrollTest 4 Konzeption Umsetzung Prototyp Test 2 Usability Controlling 3 User Centered Design Quelle: http://blog.namics.com/2009/11/user-centered-d.html
70. Usability Testing - Nichts leichter als das. Sie tragen die Verantwortung – darum sollten Sie testen Testen kann jeder – es muss nur gemacht werden Das Ziel und das Resultat ist relevant – nicht die Erkenntnis, dass der Wurm drin steckt Die Organisation muss sich darauf ausrichten – das erreichen Sie über unternehmerischen Gewinn Im Zentrum stehen Ihre Kunden – der Hebel ist dieUser Experience So geht‘s... das sollten Sie beachten. 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 70
71. Bezug Referat und Checkliste. Kurz gemerkt http://j.mp/usability-testing Blog Namics mit allen Namics aiciti-Referaten http://blog.namics.com/2011/05/usability-testing-selbstgemacht.html 11. Mai 2011 aiciti. Usability Testing - nichts leichter als das. 71 DOWNLOAD
73. Mehr Namics. Save the date. Namics Fachtagung, 19. Mai 2011, Zürich Ein "One size Intranet" gibt es nicht - zum Glück. Aiciti Referatsreihe bei Digicomp, 14. Juni 2011, Zürich E-Publishing auf dem iPad. Business Ideen und Praxistipps für Konzeption und Interaction Design. Smart Business Day, 29. September 2011, Zürich „Commerce – jetzt aber richtig“ – Best Practices, Studienergebnisse und Expertenmeinungen Details und Anmeldung unter:www.namics.com/kalender 11.05.11 Denken. Präsentieren. Umsetzen. 73
Hinweis der Redaktion
15 Uhr
Genau Sie sollten testen: Weil……Usability Testing keinen Doktortitel braucht – Nein,den brauchen Sie auch nicht!Sie brauchen auch keine „Mords-Instrumente“ – Sie müssen nur ZUHÖREN können und AUFMERKSAMKEIT schenken.Story: Lynda ResnickisthebillionairemarketerwhobroughtusPom (thepomegranatejuice in thestrangelyshapedbottle), Fijibottledwater, andother well-knownbrands. In therecent New Yorker article "PomegranatePrincess," shereveals her "secret" forconsistentlydeliveringproductsthatcustomerswant:People say, 'She's a marketinggenius, she just getsit' ... Ireallydon't. I cameupwiththisepiphanytheotherday: being a greatmarketerissynonymouswithbeing a greatfriend. In otherwords, youhaveto listen. ... Youdon'thavetobe a genius. ... youhavetoseewhatpeoplearewatching. Youhaveto listen toconversations. Youhavetopayattention.Youhaveto listen. Youhavetopayattention. That'sprettylow-techadviceforhigh-techmarketersandproductmanagers. Andyet I can'tthinkof a betterfoundationforcustomer-centeredwork. LISTEN.
Genau Sie sollten testen: Weil…...es einen Dirigenten braucht, der dafür sorgt, dass alle Spezialisten perfekt zusammenspielen und am gleichen Resultat arbeiten.
Genau Sie sollten testen: Weil……es Ihnen auch in einem Restaurant mit 5 Sternen nicht schmecken kann. Rolf Molichand Joseph S. Dumas: Comparative Usability Evaluation (CUE-1 bis CUE-9)CUE-4: 17 Team testen eine Website mit den identischen Testaufgaben. Von 340 gefundenenProblemstellen waren nur 9 bei mehr als der Hälfte der Agenturen gemeinsam… aber das bedeutet einfach nur, dass man selbst in einem „ausgezeichneten“ Restaurant gegessen haben muss.
Genau Sie sollten testen: Weil…...wie wollen Sie ein aussergewöhnliches Resultat erreichen, wenn Sie in der Konzeption nicht regelmässig Personen bei der Nutzung Ihres Werks zuschauen?Umfrage zum (persönlichen) Nutzen von Usability Tests70% zusehen in der Nutzung der Innovation20% Teamarbeit während der Testvorbereitung8% Diskussion des ErlebtenÜberleitung zum nächsten Slide mit Eye-Tracking zum Anlocken von Techies
Genau Sie sollten testen: Weil…...sie sich nicht von technischen Bahnen lenken lassen wollen. Wozu haben Sie ein Lenkrad in der Hand?...die perfekte Technologie ohne den Kontext der Nutzung nicht programmiert werden kann.
Genau Sie sollten testen: Weil…...Sie müssen Entscheidungen treffen.Warum zerbrechen Sie sich den Kopfoder führen (scheinbar) endlose Diskussionen - statt informierte Entscheidungen selbstbewusst und sicher zu treffen?Sie haben keine Zeit? Aber für Diskussionen haben Sie Zeit?10facher Zeitaufwand für Korrekturen im Nachhinein (Badewannen-Modell)
Genau Sie sollten testen: Weil…...sie ja besser als Ihre Mitbewerber sein wollen! Dann aber erst recht testen! Alle Websites die ausschliesslich von Experten - quasi unter Ausschluss der Nutzer - kreiert , lassen einen einfachen, aber entscheidenden Marktvorteil ungenutzt: Die Kenntnis des Kunden. Vielleicht mögen die Annahmen der Experten nicht daneben liegen, aber die exzellenten Resultate gehen über den "naheliegenden" Standard hinaus. Alle Mitarbeiter/Experten von Internetagenturen lesen die gleichen Blogs, Fachzeitschritten und kennen die gleiche Literatur und Referenzen...
Anim 5Early andoften!Exploratory, formative: Early in the design of a siteorpartof a siteAssessment, summative: Early andmidwaythroughdevelopmentValidation, verification: Close tolaunch, but withenough time toincorporatechangesEin Usabilty Test ist 10x jeden Franken und jede Stunde wert, wenn ein innovatives, sexy Design "bestätigt" wird!Die Chance zum Scheitern muss man in Kauf nehmen ;-)"The ruleofthumb in manyusability-aware organizationsisthatthecost-benefitratioforusabilityis $1:$10-$100. Once a systemis in development, correcting a problemcosts 10 timesasmuchasfixingthe same problem in design. Ifthesystemhasbeenreleased, itcosts 100 timesasmuch relative tofixing in design." (Gilb, 1988)
Kleine Kinder kleine Sorgen; grosse Kinder grosse Sorgen. Eine schnelle Antwort auf ein oder zwei abgeschlossene Fragen? Oder die umfassende Suche nach dem "Fehler" im Design einer Web-Applikation? Die Antwort drängt sich auf…Ad-hoc Tests sind eine Bereicherung der normalen Projektarbeit und können mit jedem gerade vorliegenden Arbeitsresultat durchgeführt werden.Ist der Senden-Button im Bestellprozess gross genug?Sind Mega-Dropdowns auch in Ihrem Fall problemlos einsetzbar?Ein organisierter Test wird zur Beantwortung von komplexen Fragen die geeignete Wahl sein – dabei stehen in der Regel grössere und damit entscheidende, „teure“ Bestandteile auf dem Prüfstand.Ist der gesamte Bestellprozess so konzipiert, dass der Erfolg garantiert werden kann? (Abbruchquote oder Fehlbestellungen)Können die Mitarbeiter im Intranet alle relevanten Inhalte auffinden und zum Wissen beitragen?
Fazit der Tabellensortierung: Deutliche Vorteile für Variation B (nur Links) – diese Erkenntnis reduziert alleine den Diskussionsaufwand um die Zeit, welche der Test benötigt.
Tipp: 4 Personen können im Resultat ein klareres Ergebnis liefern– bei 5 ergibt sich keine deutlicheMehrheit, aber immer eine Mehrheit ➔ Nach-Test nötig, falls eine wichtige Frage betroffen!Trotzdem bleiben diese Aussagen nur qualitativ relevant.
Anim 2Führen sie lieber keinen Test durch, wenn Sie keinen "Lernbedarf" haben!Eine einfache Hypothese, dass etwas wahrscheinlich nicht funktionieren wird genügt.Je mutiger der Prototyp und grösser die Wahrscheinlichkeit des Scheiterns, desto wertvoller ist die Aussage, dass das Konzept (trotzdem) funktioniert.
Anim 3Würden Sie einen Hypothekenrechner mit einem Viertklässler testen? Wohl kaum - also prüfen Sie gut, ob Ihr Kollege, der auf einen Kaffee bei Ihnen vorbeischaut und dabei schnell am Test teilnimmt tatsächlich den primären Persona entspricht. Die Zusammenstellung der Interview-Partner aus der Research Phase kann einen guten Anhaltspunkt geben.
Anim 1Das Resultat soll dem Nutzer das Erreichen seiner Ziele erleichtern.Effectivenessis all aboutgettingthejobdone.Efficiency is all aboutsaving time, moneyoreffort.DE: Gebrauchseignung | Effizienz (Zeit, Geld, Aufwand) | Effektivität (Zielerreichung) | Lernbarkeit | Zufriedenheit (Freude) | Verständlichkeit (Zugang)EN:Usefulness ! Efficiency ! Effectiveness ! Learnability ! Satisfaction ! Accessibility
Anim 3- Papier (lowfidelity) vs. Screen - Präzises Design der User Experience (high fidelity) vs. grobe Annäherung (Wireframe)Egal welche Art: Wenn man vorher sicher weiss, dass der Prototyp funktionieren wird, dann kann man sich den Test sparen (…aber man hat vermutlich auch ein sehr durchschnittliches Resultat)
15.35 UhrKostenvergleichVergleich im ZeitaufwandRemote Testing und Testingas a Service
Test 1: 5 Testpersonen = 1 anstrengender Test-TagTest 2: Remote-Tests bringen Vorteile in der Rekrutierung und sind ab 10 Testpersonen interessantAusführlichesReporting
*Einrichtungskosten für einen Test (z.B. Loop11)Test 220 Testpersonen45min TestdauerAbstimmungsmeetingsDesign Briefing--60 - 70 StundenCHF 16,500 ArbeitsaufwandCHF 5,500 fürRekrutierungCHF 1,600 fürEntschädigungCHF 0 für LaborCHF 500 fürSpesenCHF 24,000 – 26,000
Stundensätze sind nur ca. 40% des externen DienstleistersSpesen für Test 1 = Teilnahme Agentur am BriefingReduzierter Aufwand für Projektleitung
Anim 1Neues Release = neue FeaturesÄnderungen am bestehenden Feature-Set und –MixFeatures können „Killer“ sein, selbst wenn sie für sich gut gemacht sind
Anim 1
Fazit:Das nächste Mal wenn sie einen Event besuchen, prüfen sie die Agenda bez. Vorträge zu Themen...Messbarkeit von Business Resultaten oder wie präsentiere ich Resultate aus UX-Projekten einem Senior VicePresident?...Wie kann IT und Marketing besser zusammenarbeiten?...Wie stelle ich mein Customer Experience Team zusammen, mit einem VicePresesident als Kopf?...Wie verändere ich meine Organisation?Quelle:Next time you'reat an event, check theagendaforsessions on howtomeasurebusinessresults; orhowtoget Marketing and IT toworktogetherbetter; orhowtopresenttheresultsof a UX projectto a senior VP; orhowtobuild a customerexperienceteam, with a VP of Customer Experience atthehelm; howtochangetheorganization. Those will serveyoumuchbetter.
Anim 4Stellen Sie Ihre Kunden ins Zentrum, denn eine besser User Experience steigert deren Anzahl und Ihren ErfolgShop x Anzahl Kunden = Erfolg (ROI)