aiciti. eBusiness Kongress 2011. Usability Testing- nichts leichter als das. Namics.Thomas Link. Creative Director. Partner.Andri Stoffel. Senior Manager.11. Mai 2011
Agenda.Yes wecan... warum ausgerechnet Sie testen sollenOrganisiertes und Ad-hoc TestingProdukt-Roadmap entlang Usability MeilensteinenWandel im Unternehmen erreichenSo geht‘s... das sollten Sie beachten – eine Checkliste90 Minuten im Überblick.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.3
Yes wecan!Warum ausgerechnet Sie testen sollen.11. Mai 20114aiciti. Usability Testing - nichts leichter als das.
Testen ist keine Wissenschaft.Yes wecan!Photoby Lew57 - http://flic.kr/p/7XhKB9
Ein Orchester statt separate Spezialisten.Yes wecan!Photobykevindooley - http://flic.kr/p/7ejcDF
Usability Tests sind nicht „objektiv“.Yes wecan!Photobyeprouveze - http://flic.kr/p/48kDzX
Konzeption heisst Testpersonen erleben.Yes wecan!Photobyvisualpun.ch - http://flic.kr/p/8VCkZf
Technologie ist das Einzige was in Ihrer IT zählt?Yes wecan!Photobyflydime - http://flic.kr/p/8hB5oD
Sie haben keine Zeit… für Diskussionen?Yes wecan!PhotobyPulpolux !!! - http://flic.kr/p/w5T6p
Treffen Sie informierte Entscheidungen.Yes wecan!#0044CC, das 80 Million Dollar Blue…
Wollen Sie besser als Ihre Mitbewerber sein?Yes wecan!Picture bymdpettitt - www.flickr.com/photos/mdpettitt
Natürlich wollen Sie den Erfolg!Yes wecan!11. Mai 2011aiciti. Usability Testing - nichts leichter als das.13ZieleSie erhalten, was Sie testen…OptimierungAnalyseA/B Split Test5Status quo Test1Performance und ErfolgInnovationKontrollTest4KonzeptionUmsetzungPrototyp Test2Usability Controlling3User Centered DesignQuelle: http://blog.namics.com/2009/11/user-centered-d.html
Warum Sie testen sollen.Mutige Innovationen bestätigenInnovation von der „Quelle“ abschöpfenUnd darum besser als Ihr MitbewerberPersönliche Lernkurve „Vom User lernen“ macht Sie zum EntscheiderErleichterung der internen Argumentation und DiskussionKonzept-Sicherheit und Ziel ErreichungRuhiger Schlafen – „Teures will man kennen“Yes wecan!11. Mai 2011aiciti. Usability Testing - nichts leichter als das.14
Organisiertes und Ad-hoc Testing.11. Mai 201115aiciti. Usability Testing - nichts leichter als das.
Eine Frage der Frage.Organisiertes und Ad-hoc TestingAntwortPrototyp?Testaufgaben & ZielTestplanTestRekrutierungAntwort?Woche 3Woche 4Woche 2Woche 1Ad-hoc TestOrganisierter Test11. Mai 2011aiciti. Usability Testing - nichts leichter als das.16
Ad-hoc Test: „Tabellensortierung“Sind Pfeile zur Markierung der Sortierung nötig?Organisiertes und Ad-hoc Testing11. Mai 2011aiciti. Usability Testing - nichts leichter als das.17Variante A: PfeileVariante B: Linkshttp://bit.ly/gNQA8S
Organisierter Test: „Folksonomy“Kann das Tagging Prinzip im Intranet eingesetzt werden?Organisiertes und Ad-hoc Testing11. Mai 2011aiciti. Usability Testing - nichts leichter als das.18
Zwei Fragen, zwei verschiedene Tests.Abgeschlossene FrageSind Pfeile zur Markierung der Sortierung nötig?Teilnehmerzahl grösser als 10Verständlichkeit, Gebrauchseignung und EffizienzTest mit vorhandenem ArbeitsstandUmfassende SucheKann das Tagging Prinzip im Intranet eingesetzt werden?5 Testpersonen Gebrauchseignung, Effektivität und LernbarkeitTest am Beispiel bekannter WebsitesOrganisiertes und Ad-hoc Testing11. Mai 2011aiciti. Usability Testing - nichts leichter als das.19
Gemeinsame Grundlage aller Tests.Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.20Erstellung eines geeigneten PrototypsProblem-Hypothese(Lernziel)Usability Test GrundlagenKorrekte und bewussteTeilnehmerwahlTestfälle konzipierenund schreibenZielformulierungfür Bedienbarkeit
Problem-Hypothese (Lernziel).Was will man vom Nutzer lernen?Kein Test ohne LernbedarfAbgeschlossene Fragen vs. umfassende SucheWahrscheinlichkeit zu ScheiternBereitschaft zur Design-IterationOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.21Je grösser die Wahrscheinlichkeit zu Scheitern, umso wertvoller ist die Feststellung des Erfolgs!
Korrekte und bewusste Teilnehmerwahl.Suchen Sie Ihre Nutzer sorgfältig ausVorhandene Research-Arbeit (Persona) nutzenRekrutieren Sie auf Ihrer WebsiteNehmen Sie sich ZeitEntschädigen Sie grosszügigWie viele Teilnehmer?Überzeugungsgrad der Antworten vs. Dauer der SessionsWenige Teilnehmer? Dann 4 PersonenAb 11 Testpersonen wird es „langweilig“Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.22
Zielformulierung für Bedienbarkeit.Grundsätzliche Dimensionen "Easeoflearning" vs. "Efficiency ofuseover time“Problemstellen erkennenFehlinformationenUnvollständige TransaktionenAndauernder Bedarf an User-SupportOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.23
Tasks konzipieren und schreiben. Basierend auf Zielen der NutzungImmer im Bezug auf den Produkt-ErfolgSie erhalten, was Sie messenAngemessene KomplexitätEingeschränkte und vorhersehbare Menge an LösungswegenOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.24
Erstellung eines geeigneten Prototyps.Ohne Studienobjekt kein TestMeine Auswahl an Tools:Papier, PowerPoint, Visio, Fireworks, Axure RP Pro, HTMLLow-fidelity vs. High-fidelityPapier heisst nicht zwingend „low-fidelity“Obligatorisch: 1-2 Usability Tests zur ProbeOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.25Je präziser Inhalt und Form des Prototyps, desto präziser wird das Feedback!
Unterschiede.Organisiertes und Ad-hoc Testing.Photobylaw_keven - http://flic.kr/p/5vbMzh
Was kostet ein „Test“?Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.27Ad-hoc Test5 Testpersonen15min TestdauerDesign BriefingTest 15 Testpersonen1h TestdauerPPT Report10min VideoTest 211 Testpersonen1h Remote-TestSchriftlicher Report20min Video
Usability Consulting Firma.Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.28Ad-hoc Test5 Testpersonen15min TestdauerDesign BriefingTest 15 Testpersonen1h TestdauerPPT Report10min VideoTest 211 Testpersonen1h Remote-TestSchriftlicher Report20min Video45 - 50 StundenCHF 12,200 ArbeitsaufwandCHF 1,800 fürRekrutierungCHF 400 fürEntschädigungCHF 0 für LaborCHF 100 fürSpesenCHF 14,500 – 16,00085 - 100 StundenCHF 23,000 ArbeitsaufwandCHF 1,600 fürRekrutierungCHF 1,000 fürEntschädigungCHF 300 für Labor*CHF 60 fürSpesenCHF 26,000 – 32,0005 - 7 StundenCHF 1,350 ArbeitsaufwandCHF 300 fürRekrutierungCHF 200 fürEntschädigungCHF 0 für LaborCHF 0 fürSpesenCHF 1,850 – 2,000
In-House Test – selbst durchgeführt.Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.29Ad-hoc Test5 Testpersonen15min TestdauerDesign BriefingTest 15 Testpersonen1h TestdauerPPT Report10min VideoTest 211 Testpersonen1h Remote-TestSchriftlicher Report20min Video45 - 50 StundenCHF 5,300 ArbeitsaufwandCHF 800 fürRekrutierungCHF 400 fürEntschädigungCHF 0 für LaborCHF 100 fürSpesenCHF 6,600 – 7,10085 - 100 StundenCHF 8,500 ArbeitsaufwandCHF 700 fürRekrutierungCHF 1,000 fürEntschädigungCHF 300 für Labor*CHF 0 fürSpesenCHF 10,500 – 12,0005 - 7 StundenCHF 500 ArbeitsaufwandCHF 300 fürRekrutierungCHF 200 fürEntschädigungCHF 0 für LaborCHF 0 fürSpesenCHF 1,000 – 1,200
Kostenrelevante Entscheidungen.Unnötige FragestellungAnzahl Tasks (Testfälle)Insbesondere bei Konzept-Tests (Prototypen)Ausführliches Reporting – macht den Test nicht besserSorgfältige Rekrutierung kostet ZeitBesonders wichtig bei wenig Testpersonen SparpotentialEigene Website zur Selektion & RekrutierungRemote-Testing ab 10 Testpersonen in Erwägung ziehenOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.30
Hilfreiche Online-DienstleisterRemote Testing loop11.comUnmoderierte Tests mit guter Führung der TestpersonenKein Eingriff in die Website nötig (meistens)Erste Auswertung ohne aufwändige AnalyseUserfeedback.chUnmoderierte Tests mit Video als ResultatPreis pro Test-Person incl. EntschädigungRekrutierungethnio.comEinfachste Rekrutierung auf Ihrer eigenen Website„Screening“ Fragen im PopUpKeine Koordination mit Recruiting-Firma und Aufbau des eigenen Testpersonen-Pool Ihre eigene WebsiteOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.31Gutschein-Codes: 3 zum Preis von 2: AICITI3FOR2 5 zum Preis von 3: AICITI5FOR3
Produkt-Roadmap entlang Usability Meilensteinen.11. Mai 201132aiciti. Usability Testing - nichts leichter als das.
Produkt-Roadmap.Produkt-Roadmap entlang Usability Meilensteinen.Wer hat‘s erfunden?Pläne.Ziele.Picture by 23633172@N07 - www.flickr.com/photos/23633172@N07
Hören Sie nie auf mit Usability Testing.Produkt-Roadmap entlang Usability Meilensteinen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.34Usability TestWOWNeues FeatureAktueller ReleaseUnerfülltes Bedürfnis
Usability TestWOWNeues FeatureAktueller ReleaseWOWWOWWOWWOWWOWWOWWOWHören Sie nie auf mit Usability Testing.InnovationUser Experience ist nach oben unlimitiertEin kompetitiver, gesättigter Markt erfordert InnovationKunde und Zusammenspiel aller „Touchpoints“ Produkt-Roadmap entlang Usability Meilensteinen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.35Unerfülltes Bedürfnis
UCD im Innovationsprozess.Produkt-Roadmap entlang Usability Meilensteinen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.36brauchtInnovationUser CenteredDesigngeneriert
Wandel im Unternehmen erreichen.ChangingyourOrganisation11. Mai 201137aiciti. Usability Testing - nichts leichter als das.
But how?„Changingtheorganizationisthemostdifficultandmostimportantpartofuserexperiencework.“
Wo setze ich an?Wandel......ist ein stetiger Ablauf und erfolgt nicht von heute auf morgen...erfordert einen spürbaren und beständigen Willen zur Verbesserung...ist typischerweise top-down getrieben und erfolgreichWandel im Unternehmen erreichen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.39
Feiern Sie die gefundenen Probleme!Wandel im Unternehmen erreichen.alle......damit alle wissen, was nicht funktioniert!alle...alle...Picture bydeegephotos - www.flickr.com/photos/deegephotos
Sorgen Sie für Zahlen! 11. Mai 2011aiciti. Usability Testing - nichts leichter als das.41Wandel im Unternehmen erreichen.AnalyticsConversionPerformanceA/B VariantenAbsolutVerhältnisZielerreichungOptionen
Framework.Wandel im Unternehmen erreichen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.42Business Resultate zählenFry thebiggestfishesResultsOrganisation StrategyExperienceBuy-inKern
So geht‘s... das sollten Sie beachten.11. Mai 201143aiciti. Usability Testing - nichts leichter als das.
UX-Staffing.So geht‘s... das sollten Sie beachten.GeneratorValidatorPhotoby Universalmuseum Joanneum - www.museum-joanneum.atPhotobywww.basilrathbone.net/films
UX-Staffing.Generator.ideenreichinnovativunabhängigmutigzahlreichValidator.überprüfendbedienbarumsetzbarabsicherndselektivSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.45wechselseitigeine furchtbar fruchtbare Kombination
Argumente für externe Partner.So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.46...und wie Sie diese entkräften!Unabhängigkeit der Auswertungzu einfache Testaufgaben machen die Objektivität hinfälligBekanntschaften reduzieren die UnabhängigkeitAufwand gering, da Labor bereits vorhandenauch ihre Firma verfügt über zwei SitzungszimmerFancy Technik wie Eye-TrackingSollen die Beobachter eine Heerschar Techies sein?
In 21 Tagen zum erfolgreichen Testresultat.So geht‘s... das sollten Sie beachten.aiciti. Usability Testing - nichts leichter als das.11. Mai 201147
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.483 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen	Test-Ziele festlegen	Test-Inhalt & -Funktionen bestimmen	Test-Personenprofile entwickeln& Assessmentfragen ableiten	Start Rekrutierung	Equipment reservieren & zusammenstellen (Computer, Kamera, Bildschirme, etc.)
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.493 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenTIPP: Test-Ziele festlegenSie bekommen, was Sie messenEasy-to-learn oder Effizienz in der täglichen NutzungHypothesen erstellen, wo Problemstellen vermutet werden(Kein Alibi-Test)
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.503 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenTasks und Szenarios schreibenTagesplanung für den Test-Tag erstellenBeobachter einladen
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.513 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen	Überprüfung Stand Rekrutierung	Test-Plan finalisieren, Erlaubnis zur Datenverwendung, Treffpunkt & -ort den Testpersonen zustellen	Überprüfung Prototyp, ob Test-Szenarien abbildbar	Backupszenario und Ersatzbatterien organisieren
BackupszenarioAchtung beim Test auf Entwicklungs-Umgebungen:„Freeze“ für den Test-Tag verlangenWenn möglich, Alternativen vorbereitenRedundanter ServerHTML-AbbildScreenshotsSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.523 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.533 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenTest-Tasks auf Indexkarten druckenTest-Skript für Moderator druckenFragebogen drucken oder Google Spreadsheet aufsetzenErlaubnis zur Datenverwendung drucken (falls Testpersonen diese vergessen)Instruktionen für denBeobachter druckenTest-Szenarien auf 1 Blatt druckenPilottest durchführen (Test-Skript und Szenarien anpassen)
So geht‘s... das sollten Sie beachten.3 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen	Entschädigung für Test-Personen bereitlegen	Quittungen für den Erhalt der Entschädigung druckenTest-Plan mit Telefonnummern druckenMit den morgigen Test-Personen Kontakt aufnehmen und Teilnahme bestätigen lassenE-Mail an Beobachter mit Test-Plan und Teilnahme bestätigen lassen11. Mai 2011aiciti. Usability Testing - nichts leichter als das.54
So geht‘s... das sollten Sie beachten.3 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen	Schliessen sämtlicher unüblicher Software auf dem Test-Rechner (Instant Messenger, E-Mail & Kalender Alarme, etc.)	Lesezeichen mit der URL des Prototypen setzen	Herausschreiben der Telefonnummer des internen technischen Firmensupports11. Mai 2011aiciti. Usability Testing - nichts leichter als das.55
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.563 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenBeobachtungsraum einrichten: Instruktionen, Szenarioliste  und Test-Plan bereitlegenFunktionstüchtigkeit des Prototyps nochmals überprüfenAufzeichnungssoftware überprüfen(Audio & Video)Übertragung zum Beobachtungsraum überprüfen
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.57LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach„Reset“ der Prototypen-Webseite: Browser-History, Cookies, leeres Browserfenster öffnen	Bildschirm abschalten,Rechner laufen lassen	Aufzeichnungs-Software starten	Test-Task Indexkarten bereitlegen (sortiert/zufällig)
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.58LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach	Erwartungen abholen, klären und beruhigen	Test-Setup erklären	Entschädigung übergeben und Quittung unterzeichnen lassen	Erlaubnis zur Datenverwendung unterzeichnen lassen
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.59LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachTIPP: Entschädigung vor Test übergebenDie Test-Teilnahme entschädigen und nicht das erfolgreiche Lösen einer Test-Aufgabe!Entschädigung muss nicht verdient werden!...führt zu entspannten Test-Personen!
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.60LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach	Überleitung zum Fragebogen	Check, ob für Beobachter Unklarheiten bestehen	Recording anhalten und verständlich benennen: Nummer, Name, Datum	Vorbereitung für die nächste Testperson
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.61LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachTIPP: Offene Fragen stellen und Test-Person „sprudeln“ lassenWas haben Sie unter diesem Titel verstanden?Beschreiben Sie mit ein paar Worten wie nützlich Sie die Funktion empfinden?Gibt es einen anderen Ort auf der Seite, an welchem diese Funktion für Sie hilfreich wäre?Keine geschlossenen Fragen (Ja / Nein Antworten)„Haben Sie diesen Titel verstanden?“
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.62LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachDebriefing: Findings mit dem Beobachter besprechen und die Top Issues bestimmen	Backup aller Recordings erstellen	Dankes-Mail an die Test-Personen des Tages versenden
Debriefing statt ReportingTop 10 Issues – nur Daten oder Beobachtung des Verhaltens erlaubt, keine Interpretationen BeobachtungZitateFehler-/Erfolgs-RateGruppierung & BewertungDiskussionVerzicht auf Reporting bei Konsens in Issues und LösungenSo geht‘s... das sollten Sie beachten.LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach11. Mai 2011aiciti. Usability Testing - nichts leichter als das.63
So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.64LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachPräsentation der Test-Findings und LösungsvorschlägeVerkaufen der erzielten Test-Erfolge
TIPP: Videos überzeugen! Lange Reports nicht...So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.65LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach
Stolperfallen und Rührei.Testen ohne Ziel(e)Pre-Test nicht oder unvollständig gemachtPrototyp nicht ausreichend oder fehlerhaftZu wenig Zeit zwischen den TestpersonenTask unverständlich oder zu einfachModerator: Sichtbar frustriert oder mangelnde DistanzDie Testperson hat immer rechtSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.66
Buchtipp.Handbook ofUsabiltiyTestingvon Rubin & Chisnell (EN)www.usabilityworks.netDownload von Templates, Beispielen und Links zu weiteren Quellen www.wiley.com/go/usabilitytestingSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.67$34
Resultate zählen – nicht gefundene Probleme.So geht‘s... das sollten Sie beachten.Picture bydeegephotos - www.flickr.com/photos/deegephotos
Und genau das wollen wir...So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.69ZieleOptimierungAnalyseA/B Split Test5Status quo Test1Performance und ErfolgInnovationKontrollTest4KonzeptionUmsetzungPrototyp Test2Usability Controlling3User Centered DesignQuelle: http://blog.namics.com/2009/11/user-centered-d.html
Usability Testing - Nichts leichter als das.Sie tragen die Verantwortung – darum sollten Sie testenTesten kann jeder – es muss nur gemacht werdenDas Ziel und das Resultat ist relevant – nicht die Erkenntnis, dass der Wurm drin stecktDie Organisation muss sich darauf ausrichten – das erreichen Sie über unternehmerischen GewinnIm Zentrum stehen Ihre Kunden – der Hebel ist dieUser ExperienceSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.70
Bezug Referat und Checkliste.Kurz gemerkthttp://j.mp/usability-testingBlog Namics mit allen Namics aiciti-Referatenhttp://blog.namics.com/2011/05/usability-testing-selbstgemacht.html11. Mai 2011aiciti. Usability Testing - nichts leichter als das.71DOWNLOAD
Vielen Dank für Ihre Aufmerksamkeit.thomas.link@namics.com | @tlinkandri.stoffel@namics.com | @andristoffel© Namics11. Mai 201172aiciti. Usability Testing - nichts leichter als das.
Mehr Namics. Save the date.Namics Fachtagung, 19. Mai 2011, ZürichEin "One size Intranet" gibt es nicht - zum Glück.Aiciti Referatsreihe bei Digicomp, 14. Juni 2011, ZürichE-Publishing auf dem iPad. Business Ideen und Praxistipps für Konzeption und Interaction Design. Smart Business Day, 29. September 2011, Zürich„Commerce – jetzt aber richtig“ – Best Practices, Studienergebnisse und ExpertenmeinungenDetails und Anmeldung unter:www.namics.com/kalender11.05.11Denken. Präsentieren. Umsetzen.73

Usability-Testing - nichts leichter als das!

  • 1.
    aiciti. eBusiness Kongress2011. Usability Testing- nichts leichter als das. Namics.Thomas Link. Creative Director. Partner.Andri Stoffel. Senior Manager.11. Mai 2011
  • 3.
    Agenda.Yes wecan... warumausgerechnet Sie testen sollenOrganisiertes und Ad-hoc TestingProdukt-Roadmap entlang Usability MeilensteinenWandel im Unternehmen erreichenSo geht‘s... das sollten Sie beachten – eine Checkliste90 Minuten im Überblick.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.3
  • 4.
    Yes wecan!Warum ausgerechnetSie testen sollen.11. Mai 20114aiciti. Usability Testing - nichts leichter als das.
  • 5.
    Testen ist keineWissenschaft.Yes wecan!Photoby Lew57 - http://flic.kr/p/7XhKB9
  • 6.
    Ein Orchester stattseparate Spezialisten.Yes wecan!Photobykevindooley - http://flic.kr/p/7ejcDF
  • 7.
    Usability Tests sindnicht „objektiv“.Yes wecan!Photobyeprouveze - http://flic.kr/p/48kDzX
  • 8.
    Konzeption heisst Testpersonenerleben.Yes wecan!Photobyvisualpun.ch - http://flic.kr/p/8VCkZf
  • 9.
    Technologie ist dasEinzige was in Ihrer IT zählt?Yes wecan!Photobyflydime - http://flic.kr/p/8hB5oD
  • 10.
    Sie haben keineZeit… für Diskussionen?Yes wecan!PhotobyPulpolux !!! - http://flic.kr/p/w5T6p
  • 11.
    Treffen Sie informierteEntscheidungen.Yes wecan!#0044CC, das 80 Million Dollar Blue…
  • 12.
    Wollen Sie besserals Ihre Mitbewerber sein?Yes wecan!Picture bymdpettitt - www.flickr.com/photos/mdpettitt
  • 13.
    Natürlich wollen Sieden Erfolg!Yes wecan!11. Mai 2011aiciti. Usability Testing - nichts leichter als das.13ZieleSie erhalten, was Sie testen…OptimierungAnalyseA/B Split Test5Status quo Test1Performance und ErfolgInnovationKontrollTest4KonzeptionUmsetzungPrototyp Test2Usability Controlling3User Centered DesignQuelle: http://blog.namics.com/2009/11/user-centered-d.html
  • 14.
    Warum Sie testensollen.Mutige Innovationen bestätigenInnovation von der „Quelle“ abschöpfenUnd darum besser als Ihr MitbewerberPersönliche Lernkurve „Vom User lernen“ macht Sie zum EntscheiderErleichterung der internen Argumentation und DiskussionKonzept-Sicherheit und Ziel ErreichungRuhiger Schlafen – „Teures will man kennen“Yes wecan!11. Mai 2011aiciti. Usability Testing - nichts leichter als das.14
  • 15.
    Organisiertes und Ad-hocTesting.11. Mai 201115aiciti. Usability Testing - nichts leichter als das.
  • 16.
    Eine Frage derFrage.Organisiertes und Ad-hoc TestingAntwortPrototyp?Testaufgaben & ZielTestplanTestRekrutierungAntwort?Woche 3Woche 4Woche 2Woche 1Ad-hoc TestOrganisierter Test11. Mai 2011aiciti. Usability Testing - nichts leichter als das.16
  • 17.
    Ad-hoc Test: „Tabellensortierung“SindPfeile zur Markierung der Sortierung nötig?Organisiertes und Ad-hoc Testing11. Mai 2011aiciti. Usability Testing - nichts leichter als das.17Variante A: PfeileVariante B: Linkshttp://bit.ly/gNQA8S
  • 18.
    Organisierter Test: „Folksonomy“Kanndas Tagging Prinzip im Intranet eingesetzt werden?Organisiertes und Ad-hoc Testing11. Mai 2011aiciti. Usability Testing - nichts leichter als das.18
  • 19.
    Zwei Fragen, zweiverschiedene Tests.Abgeschlossene FrageSind Pfeile zur Markierung der Sortierung nötig?Teilnehmerzahl grösser als 10Verständlichkeit, Gebrauchseignung und EffizienzTest mit vorhandenem ArbeitsstandUmfassende SucheKann das Tagging Prinzip im Intranet eingesetzt werden?5 Testpersonen Gebrauchseignung, Effektivität und LernbarkeitTest am Beispiel bekannter WebsitesOrganisiertes und Ad-hoc Testing11. Mai 2011aiciti. Usability Testing - nichts leichter als das.19
  • 20.
    Gemeinsame Grundlage allerTests.Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.20Erstellung eines geeigneten PrototypsProblem-Hypothese(Lernziel)Usability Test GrundlagenKorrekte und bewussteTeilnehmerwahlTestfälle konzipierenund schreibenZielformulierungfür Bedienbarkeit
  • 21.
    Problem-Hypothese (Lernziel).Was willman vom Nutzer lernen?Kein Test ohne LernbedarfAbgeschlossene Fragen vs. umfassende SucheWahrscheinlichkeit zu ScheiternBereitschaft zur Design-IterationOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.21Je grösser die Wahrscheinlichkeit zu Scheitern, umso wertvoller ist die Feststellung des Erfolgs!
  • 22.
    Korrekte und bewussteTeilnehmerwahl.Suchen Sie Ihre Nutzer sorgfältig ausVorhandene Research-Arbeit (Persona) nutzenRekrutieren Sie auf Ihrer WebsiteNehmen Sie sich ZeitEntschädigen Sie grosszügigWie viele Teilnehmer?Überzeugungsgrad der Antworten vs. Dauer der SessionsWenige Teilnehmer? Dann 4 PersonenAb 11 Testpersonen wird es „langweilig“Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.22
  • 23.
    Zielformulierung für Bedienbarkeit.GrundsätzlicheDimensionen "Easeoflearning" vs. "Efficiency ofuseover time“Problemstellen erkennenFehlinformationenUnvollständige TransaktionenAndauernder Bedarf an User-SupportOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.23
  • 24.
    Tasks konzipieren undschreiben. Basierend auf Zielen der NutzungImmer im Bezug auf den Produkt-ErfolgSie erhalten, was Sie messenAngemessene KomplexitätEingeschränkte und vorhersehbare Menge an LösungswegenOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.24
  • 25.
    Erstellung eines geeignetenPrototyps.Ohne Studienobjekt kein TestMeine Auswahl an Tools:Papier, PowerPoint, Visio, Fireworks, Axure RP Pro, HTMLLow-fidelity vs. High-fidelityPapier heisst nicht zwingend „low-fidelity“Obligatorisch: 1-2 Usability Tests zur ProbeOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.25Je präziser Inhalt und Form des Prototyps, desto präziser wird das Feedback!
  • 26.
    Unterschiede.Organisiertes und Ad-hocTesting.Photobylaw_keven - http://flic.kr/p/5vbMzh
  • 27.
    Was kostet ein„Test“?Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.27Ad-hoc Test5 Testpersonen15min TestdauerDesign BriefingTest 15 Testpersonen1h TestdauerPPT Report10min VideoTest 211 Testpersonen1h Remote-TestSchriftlicher Report20min Video
  • 28.
    Usability Consulting Firma.Organisiertesund Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.28Ad-hoc Test5 Testpersonen15min TestdauerDesign BriefingTest 15 Testpersonen1h TestdauerPPT Report10min VideoTest 211 Testpersonen1h Remote-TestSchriftlicher Report20min Video45 - 50 StundenCHF 12,200 ArbeitsaufwandCHF 1,800 fürRekrutierungCHF 400 fürEntschädigungCHF 0 für LaborCHF 100 fürSpesenCHF 14,500 – 16,00085 - 100 StundenCHF 23,000 ArbeitsaufwandCHF 1,600 fürRekrutierungCHF 1,000 fürEntschädigungCHF 300 für Labor*CHF 60 fürSpesenCHF 26,000 – 32,0005 - 7 StundenCHF 1,350 ArbeitsaufwandCHF 300 fürRekrutierungCHF 200 fürEntschädigungCHF 0 für LaborCHF 0 fürSpesenCHF 1,850 – 2,000
  • 29.
    In-House Test –selbst durchgeführt.Organisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.29Ad-hoc Test5 Testpersonen15min TestdauerDesign BriefingTest 15 Testpersonen1h TestdauerPPT Report10min VideoTest 211 Testpersonen1h Remote-TestSchriftlicher Report20min Video45 - 50 StundenCHF 5,300 ArbeitsaufwandCHF 800 fürRekrutierungCHF 400 fürEntschädigungCHF 0 für LaborCHF 100 fürSpesenCHF 6,600 – 7,10085 - 100 StundenCHF 8,500 ArbeitsaufwandCHF 700 fürRekrutierungCHF 1,000 fürEntschädigungCHF 300 für Labor*CHF 0 fürSpesenCHF 10,500 – 12,0005 - 7 StundenCHF 500 ArbeitsaufwandCHF 300 fürRekrutierungCHF 200 fürEntschädigungCHF 0 für LaborCHF 0 fürSpesenCHF 1,000 – 1,200
  • 30.
    Kostenrelevante Entscheidungen.Unnötige FragestellungAnzahlTasks (Testfälle)Insbesondere bei Konzept-Tests (Prototypen)Ausführliches Reporting – macht den Test nicht besserSorgfältige Rekrutierung kostet ZeitBesonders wichtig bei wenig Testpersonen SparpotentialEigene Website zur Selektion & RekrutierungRemote-Testing ab 10 Testpersonen in Erwägung ziehenOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.30
  • 31.
    Hilfreiche Online-DienstleisterRemote Testingloop11.comUnmoderierte Tests mit guter Führung der TestpersonenKein Eingriff in die Website nötig (meistens)Erste Auswertung ohne aufwändige AnalyseUserfeedback.chUnmoderierte Tests mit Video als ResultatPreis pro Test-Person incl. EntschädigungRekrutierungethnio.comEinfachste Rekrutierung auf Ihrer eigenen Website„Screening“ Fragen im PopUpKeine Koordination mit Recruiting-Firma und Aufbau des eigenen Testpersonen-Pool Ihre eigene WebsiteOrganisiertes und Ad-hoc Testing.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.31Gutschein-Codes: 3 zum Preis von 2: AICITI3FOR2 5 zum Preis von 3: AICITI5FOR3
  • 32.
    Produkt-Roadmap entlang UsabilityMeilensteinen.11. Mai 201132aiciti. Usability Testing - nichts leichter als das.
  • 33.
    Produkt-Roadmap.Produkt-Roadmap entlang UsabilityMeilensteinen.Wer hat‘s erfunden?Pläne.Ziele.Picture by 23633172@N07 - www.flickr.com/photos/23633172@N07
  • 34.
    Hören Sie nieauf mit Usability Testing.Produkt-Roadmap entlang Usability Meilensteinen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.34Usability TestWOWNeues FeatureAktueller ReleaseUnerfülltes Bedürfnis
  • 35.
    Usability TestWOWNeues FeatureAktuellerReleaseWOWWOWWOWWOWWOWWOWWOWHören Sie nie auf mit Usability Testing.InnovationUser Experience ist nach oben unlimitiertEin kompetitiver, gesättigter Markt erfordert InnovationKunde und Zusammenspiel aller „Touchpoints“ Produkt-Roadmap entlang Usability Meilensteinen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.35Unerfülltes Bedürfnis
  • 36.
    UCD im Innovationsprozess.Produkt-Roadmapentlang Usability Meilensteinen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.36brauchtInnovationUser CenteredDesigngeneriert
  • 37.
    Wandel im Unternehmenerreichen.ChangingyourOrganisation11. Mai 201137aiciti. Usability Testing - nichts leichter als das.
  • 38.
  • 39.
    Wo setze ichan?Wandel......ist ein stetiger Ablauf und erfolgt nicht von heute auf morgen...erfordert einen spürbaren und beständigen Willen zur Verbesserung...ist typischerweise top-down getrieben und erfolgreichWandel im Unternehmen erreichen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.39
  • 40.
    Feiern Sie diegefundenen Probleme!Wandel im Unternehmen erreichen.alle......damit alle wissen, was nicht funktioniert!alle...alle...Picture bydeegephotos - www.flickr.com/photos/deegephotos
  • 41.
    Sorgen Sie fürZahlen! 11. Mai 2011aiciti. Usability Testing - nichts leichter als das.41Wandel im Unternehmen erreichen.AnalyticsConversionPerformanceA/B VariantenAbsolutVerhältnisZielerreichungOptionen
  • 42.
    Framework.Wandel im Unternehmenerreichen.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.42Business Resultate zählenFry thebiggestfishesResultsOrganisation StrategyExperienceBuy-inKern
  • 43.
    So geht‘s... dassollten Sie beachten.11. Mai 201143aiciti. Usability Testing - nichts leichter als das.
  • 44.
    UX-Staffing.So geht‘s... dassollten Sie beachten.GeneratorValidatorPhotoby Universalmuseum Joanneum - www.museum-joanneum.atPhotobywww.basilrathbone.net/films
  • 45.
    UX-Staffing.Generator.ideenreichinnovativunabhängigmutigzahlreichValidator.überprüfendbedienbarumsetzbarabsicherndselektivSo geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.45wechselseitigeine furchtbar fruchtbare Kombination
  • 46.
    Argumente für externePartner.So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.46...und wie Sie diese entkräften!Unabhängigkeit der Auswertungzu einfache Testaufgaben machen die Objektivität hinfälligBekanntschaften reduzieren die UnabhängigkeitAufwand gering, da Labor bereits vorhandenauch ihre Firma verfügt über zwei SitzungszimmerFancy Technik wie Eye-TrackingSollen die Beobachter eine Heerschar Techies sein?
  • 47.
    In 21 Tagenzum erfolgreichen Testresultat.So geht‘s... das sollten Sie beachten.aiciti. Usability Testing - nichts leichter als das.11. Mai 201147
  • 48.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.483 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen Test-Ziele festlegen Test-Inhalt & -Funktionen bestimmen Test-Personenprofile entwickeln& Assessmentfragen ableiten Start Rekrutierung Equipment reservieren & zusammenstellen (Computer, Kamera, Bildschirme, etc.)
  • 49.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.493 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenTIPP: Test-Ziele festlegenSie bekommen, was Sie messenEasy-to-learn oder Effizienz in der täglichen NutzungHypothesen erstellen, wo Problemstellen vermutet werden(Kein Alibi-Test)
  • 50.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.503 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenTasks und Szenarios schreibenTagesplanung für den Test-Tag erstellenBeobachter einladen
  • 51.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.513 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen Überprüfung Stand Rekrutierung Test-Plan finalisieren, Erlaubnis zur Datenverwendung, Treffpunkt & -ort den Testpersonen zustellen Überprüfung Prototyp, ob Test-Szenarien abbildbar Backupszenario und Ersatzbatterien organisieren
  • 52.
    BackupszenarioAchtung beim Testauf Entwicklungs-Umgebungen:„Freeze“ für den Test-Tag verlangenWenn möglich, Alternativen vorbereitenRedundanter ServerHTML-AbbildScreenshotsSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.523 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen
  • 53.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.533 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenTest-Tasks auf Indexkarten druckenTest-Skript für Moderator druckenFragebogen drucken oder Google Spreadsheet aufsetzenErlaubnis zur Datenverwendung drucken (falls Testpersonen diese vergessen)Instruktionen für denBeobachter druckenTest-Szenarien auf 1 Blatt druckenPilottest durchführen (Test-Skript und Szenarien anpassen)
  • 54.
    So geht‘s... dassollten Sie beachten.3 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen Entschädigung für Test-Personen bereitlegen Quittungen für den Erhalt der Entschädigung druckenTest-Plan mit Telefonnummern druckenMit den morgigen Test-Personen Kontakt aufnehmen und Teilnahme bestätigen lassenE-Mail an Beobachter mit Test-Plan und Teilnahme bestätigen lassen11. Mai 2011aiciti. Usability Testing - nichts leichter als das.54
  • 55.
    So geht‘s... dassollten Sie beachten.3 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm Morgen Schliessen sämtlicher unüblicher Software auf dem Test-Rechner (Instant Messenger, E-Mail & Kalender Alarme, etc.) Lesezeichen mit der URL des Prototypen setzen Herausschreiben der Telefonnummer des internen technischen Firmensupports11. Mai 2011aiciti. Usability Testing - nichts leichter als das.55
  • 56.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.563 Wochendavor2 Wochen davor1 Wochedavor1 TagdavorAm MorgenBeobachtungsraum einrichten: Instruktionen, Szenarioliste und Test-Plan bereitlegenFunktionstüchtigkeit des Prototyps nochmals überprüfenAufzeichnungssoftware überprüfen(Audio & Video)Übertragung zum Beobachtungsraum überprüfen
  • 57.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.57LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach„Reset“ der Prototypen-Webseite: Browser-History, Cookies, leeres Browserfenster öffnen Bildschirm abschalten,Rechner laufen lassen Aufzeichnungs-Software starten Test-Task Indexkarten bereitlegen (sortiert/zufällig)
  • 58.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.58LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach Erwartungen abholen, klären und beruhigen Test-Setup erklären Entschädigung übergeben und Quittung unterzeichnen lassen Erlaubnis zur Datenverwendung unterzeichnen lassen
  • 59.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.59LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachTIPP: Entschädigung vor Test übergebenDie Test-Teilnahme entschädigen und nicht das erfolgreiche Lösen einer Test-Aufgabe!Entschädigung muss nicht verdient werden!...führt zu entspannten Test-Personen!
  • 60.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.60LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach Überleitung zum Fragebogen Check, ob für Beobachter Unklarheiten bestehen Recording anhalten und verständlich benennen: Nummer, Name, Datum Vorbereitung für die nächste Testperson
  • 61.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.61LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachTIPP: Offene Fragen stellen und Test-Person „sprudeln“ lassenWas haben Sie unter diesem Titel verstanden?Beschreiben Sie mit ein paar Worten wie nützlich Sie die Funktion empfinden?Gibt es einen anderen Ort auf der Seite, an welchem diese Funktion für Sie hilfreich wäre?Keine geschlossenen Fragen (Ja / Nein Antworten)„Haben Sie diesen Titel verstanden?“
  • 62.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.62LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachDebriefing: Findings mit dem Beobachter besprechen und die Top Issues bestimmen Backup aller Recordings erstellen Dankes-Mail an die Test-Personen des Tages versenden
  • 63.
    Debriefing statt ReportingTop10 Issues – nur Daten oder Beobachtung des Verhaltens erlaubt, keine Interpretationen BeobachtungZitateFehler-/Erfolgs-RateGruppierung & BewertungDiskussionVerzicht auf Reporting bei Konsens in Issues und LösungenSo geht‘s... das sollten Sie beachten.LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach11. Mai 2011aiciti. Usability Testing - nichts leichter als das.63
  • 64.
    So geht‘s... dassollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.64LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 WochedanachPräsentation der Test-Findings und LösungsvorschlägeVerkaufen der erzielten Test-Erfolge
  • 65.
    TIPP: Videos überzeugen!Lange Reports nicht...So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.65LetzteVorbereitungWillkommenDirekt im AnschlussAmAbend1 Wochedanach
  • 66.
    Stolperfallen und Rührei.Testenohne Ziel(e)Pre-Test nicht oder unvollständig gemachtPrototyp nicht ausreichend oder fehlerhaftZu wenig Zeit zwischen den TestpersonenTask unverständlich oder zu einfachModerator: Sichtbar frustriert oder mangelnde DistanzDie Testperson hat immer rechtSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.66
  • 67.
    Buchtipp.Handbook ofUsabiltiyTestingvon Rubin& Chisnell (EN)www.usabilityworks.netDownload von Templates, Beispielen und Links zu weiteren Quellen www.wiley.com/go/usabilitytestingSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.67$34
  • 68.
    Resultate zählen –nicht gefundene Probleme.So geht‘s... das sollten Sie beachten.Picture bydeegephotos - www.flickr.com/photos/deegephotos
  • 69.
    Und genau daswollen wir...So geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.69ZieleOptimierungAnalyseA/B Split Test5Status quo Test1Performance und ErfolgInnovationKontrollTest4KonzeptionUmsetzungPrototyp Test2Usability Controlling3User Centered DesignQuelle: http://blog.namics.com/2009/11/user-centered-d.html
  • 70.
    Usability Testing -Nichts leichter als das.Sie tragen die Verantwortung – darum sollten Sie testenTesten kann jeder – es muss nur gemacht werdenDas Ziel und das Resultat ist relevant – nicht die Erkenntnis, dass der Wurm drin stecktDie Organisation muss sich darauf ausrichten – das erreichen Sie über unternehmerischen GewinnIm Zentrum stehen Ihre Kunden – der Hebel ist dieUser ExperienceSo geht‘s... das sollten Sie beachten.11. Mai 2011aiciti. Usability Testing - nichts leichter als das.70
  • 71.
    Bezug Referat undCheckliste.Kurz gemerkthttp://j.mp/usability-testingBlog Namics mit allen Namics aiciti-Referatenhttp://blog.namics.com/2011/05/usability-testing-selbstgemacht.html11. Mai 2011aiciti. Usability Testing - nichts leichter als das.71DOWNLOAD
  • 72.
    Vielen Dank fürIhre Aufmerksamkeit.thomas.link@namics.com | @tlinkandri.stoffel@namics.com | @andristoffel© Namics11. Mai 201172aiciti. Usability Testing - nichts leichter als das.
  • 73.
    Mehr Namics. Savethe date.Namics Fachtagung, 19. Mai 2011, ZürichEin "One size Intranet" gibt es nicht - zum Glück.Aiciti Referatsreihe bei Digicomp, 14. Juni 2011, ZürichE-Publishing auf dem iPad. Business Ideen und Praxistipps für Konzeption und Interaction Design. Smart Business Day, 29. September 2011, Zürich„Commerce – jetzt aber richtig“ – Best Practices, Studienergebnisse und ExpertenmeinungenDetails und Anmeldung unter:www.namics.com/kalender11.05.11Denken. Präsentieren. Umsetzen.73

Hinweis der Redaktion

  • #2 15 Uhr
  • #6 Genau Sie sollten testen: Weil……Usability Testing keinen Doktortitel braucht – Nein,den brauchen Sie auch nicht!Sie brauchen auch keine „Mords-Instrumente“ – Sie müssen nur ZUHÖREN können und AUFMERKSAMKEIT schenken.Story: Lynda ResnickisthebillionairemarketerwhobroughtusPom (thepomegranatejuice in thestrangelyshapedbottle), Fijibottledwater, andother well-knownbrands. In therecent New Yorker article "PomegranatePrincess," shereveals her "secret" forconsistentlydeliveringproductsthatcustomerswant:People say, 'She's a marketinggenius, she just getsit' ... Ireallydon't. I cameupwiththisepiphanytheotherday: being a
greatmarketerissynonymouswithbeing a greatfriend. In otherwords, youhaveto listen. ... Youdon'thavetobe a genius. ...
youhavetoseewhatpeoplearewatching. Youhaveto listen toconversations. Youhavetopayattention.Youhaveto listen. Youhavetopayattention. That'sprettylow-techadviceforhigh-techmarketersandproductmanagers. Andyet I can'tthinkof a betterfoundationforcustomer-centeredwork. LISTEN.
  • #7 Genau Sie sollten testen: Weil…...es einen Dirigenten braucht, der dafür sorgt, dass alle Spezialisten perfekt zusammenspielen und am gleichen Resultat arbeiten.
  • #8 Genau Sie sollten testen: Weil……es Ihnen auch in einem Restaurant mit 5 Sternen nicht schmecken kann. Rolf Molichand Joseph S. Dumas: Comparative Usability Evaluation (CUE-1 bis CUE-9)CUE-4: 17 Team testen eine Website mit den identischen Testaufgaben. Von 340 gefundenenProblemstellen waren nur 9 bei mehr als der Hälfte der Agenturen gemeinsam… aber das bedeutet einfach nur, dass man selbst in einem „ausgezeichneten“ Restaurant gegessen haben muss.
  • #9 Genau Sie sollten testen: Weil…...wie wollen Sie ein aussergewöhnliches Resultat erreichen, wenn Sie in der Konzeption nicht regelmässig Personen bei der Nutzung Ihres Werks zuschauen?Umfrage zum (persönlichen) Nutzen von Usability Tests70% zusehen in der Nutzung der Innovation20% Teamarbeit während der Testvorbereitung8% Diskussion des ErlebtenÜberleitung zum nächsten Slide mit Eye-Tracking zum Anlocken von Techies
  • #10 Genau Sie sollten testen: Weil…...sie sich nicht von technischen Bahnen lenken lassen wollen. Wozu haben Sie ein Lenkrad in der Hand?...die perfekte Technologie ohne den Kontext der Nutzung nicht programmiert werden kann.
  • #11 Genau Sie sollten testen: Weil…...Sie müssen Entscheidungen treffen.Warum zerbrechen Sie sich den Kopfoder führen (scheinbar) endlose Diskussionen - statt informierte Entscheidungen selbstbewusst und sicher zu treffen?Sie haben keine Zeit? Aber für Diskussionen haben Sie Zeit?10facher Zeitaufwand für Korrekturen im Nachhinein (Badewannen-Modell)
  • #13 Genau Sie sollten testen: Weil…...sie ja besser als Ihre Mitbewerber sein wollen! Dann aber erst recht testen! Alle Websites die ausschliesslich von Experten - quasi unter Ausschluss der Nutzer - kreiert , lassen einen einfachen, aber entscheidenden Marktvorteil ungenutzt: Die Kenntnis des Kunden. Vielleicht mögen die Annahmen der Experten nicht daneben liegen, aber die exzellenten Resultate gehen über den "naheliegenden" Standard hinaus. Alle Mitarbeiter/Experten von Internetagenturen lesen die gleichen Blogs, Fachzeitschritten und kennen die gleiche Literatur und Referenzen...
  • #14 Anim 5Early andoften!Exploratory, formative: Early in the design of a siteorpartof a siteAssessment, summative: Early andmidwaythroughdevelopmentValidation, verification: Close tolaunch, but withenough time toincorporatechangesEin Usabilty Test ist 10x jeden Franken und jede Stunde wert, wenn ein innovatives, sexy Design "bestätigt" wird!Die Chance zum Scheitern muss man in Kauf nehmen ;-)"The ruleofthumb in manyusability-aware organizationsisthatthecost-benefitratioforusabilityis $1:$10-$100. Once a systemis in development, correcting a problemcosts 10 timesasmuchasfixingthe same problem in design. Ifthesystemhasbeenreleased, itcosts 100 timesasmuch relative tofixing in design." (Gilb, 1988)
  • #17 Kleine Kinder kleine Sorgen; grosse Kinder grosse Sorgen. Eine schnelle Antwort auf ein oder zwei abgeschlossene Fragen? Oder die umfassende Suche nach dem "Fehler" im Design einer Web-Applikation? Die Antwort drängt sich auf…Ad-hoc Tests sind eine Bereicherung der normalen Projektarbeit und können mit jedem gerade vorliegenden Arbeitsresultat durchgeführt werden.Ist der Senden-Button im Bestellprozess gross genug?Sind Mega-Dropdowns auch in Ihrem Fall problemlos einsetzbar?Ein organisierter Test wird zur Beantwortung von komplexen Fragen die geeignete Wahl sein – dabei stehen in der Regel grössere und damit entscheidende, „teure“ Bestandteile auf dem Prüfstand.Ist der gesamte Bestellprozess so konzipiert, dass der Erfolg garantiert werden kann? (Abbruchquote oder Fehlbestellungen)Können die Mitarbeiter im Intranet alle relevanten Inhalte auffinden und zum Wissen beitragen?
  • #18 Fazit der Tabellensortierung: Deutliche Vorteile für Variation B (nur Links) – diese Erkenntnis reduziert alleine den Diskussionsaufwand um die Zeit, welche der Test benötigt.
  • #20 Tipp: 4 Personen können im Resultat ein klareres Ergebnis liefern– bei 5 ergibt sich keine deutlicheMehrheit, aber immer eine Mehrheit ➔ Nach-Test nötig, falls eine wichtige Frage betroffen!Trotzdem bleiben diese Aussagen nur qualitativ relevant.
  • #22 Anim 2Führen sie lieber keinen Test durch, wenn Sie keinen "Lernbedarf" haben!Eine einfache Hypothese, dass etwas wahrscheinlich nicht funktionieren wird genügt.Je mutiger der Prototyp und grösser die Wahrscheinlichkeit des Scheiterns, desto wertvoller ist die Aussage, dass das Konzept (trotzdem) funktioniert.
  • #23 Anim 3Würden Sie einen Hypothekenrechner mit einem Viertklässler testen? Wohl kaum - also prüfen Sie gut, ob Ihr Kollege, der auf einen Kaffee bei Ihnen vorbeischaut und dabei schnell am Test teilnimmt tatsächlich den primären Persona entspricht. Die Zusammenstellung der Interview-Partner aus der Research Phase kann einen guten Anhaltspunkt geben.
  • #24 Anim 1Das Resultat soll dem Nutzer das Erreichen seiner Ziele erleichtern.Effectivenessis all aboutgettingthejobdone.Efficiency is all aboutsaving time, moneyoreffort.DE: Gebrauchseignung | Effizienz (Zeit, Geld, Aufwand) | Effektivität (Zielerreichung) | Lernbarkeit | Zufriedenheit (Freude) | Verständlichkeit (Zugang)EN:Usefulness ! Efficiency ! Effectiveness ! Learnability ! Satisfaction ! Accessibility
  • #25 Anim 3Beispiel: Steuererklärung erledigenBelege und Wertschriftenverzeichnis organisierenNötige Formulare korrekt ausfüllenFormulare einreichenBezahlen
  • #26 Anim 3- Papier (lowfidelity) vs. Screen - Präzises Design der User Experience (high fidelity) vs. grobe Annäherung (Wireframe)Egal welche Art: Wenn man vorher sicher weiss, dass der Prototyp funktionieren wird, dann kann man sich den Test sparen (…aber man hat vermutlich auch ein sehr durchschnittliches Resultat)
  • #27 15.35 UhrKostenvergleichVergleich im ZeitaufwandRemote Testing und Testingas a Service
  • #28 Test 1: 5 Testpersonen = 1 anstrengender Test-TagTest 2: Remote-Tests bringen Vorteile in der Rekrutierung und sind ab 10 Testpersonen interessantAusführlichesReporting
  • #29 *Einrichtungskosten für einen Test (z.B. Loop11)Test 220 Testpersonen45min TestdauerAbstimmungsmeetingsDesign Briefing--60 - 70 StundenCHF 16,500 ArbeitsaufwandCHF 5,500 fürRekrutierungCHF 1,600 fürEntschädigungCHF 0 für LaborCHF 500 fürSpesenCHF 24,000 – 26,000
  • #30 Stundensätze sind nur ca. 40% des externen DienstleistersSpesen für Test 1 = Teilnahme Agentur am BriefingReduzierter Aufwand für Projektleitung
  • #35 Anim 1Neues Release = neue FeaturesÄnderungen am bestehenden Feature-Set und –MixFeatures können „Killer“ sein, selbst wenn sie für sich gut gemacht sind
  • #36 Anim 1
  • #70 Fazit:Das nächste Mal wenn sie einen Event besuchen, prüfen sie die Agenda bez. Vorträge zu Themen...Messbarkeit von Business Resultaten oder wie präsentiere ich Resultate aus UX-Projekten einem Senior VicePresident?...Wie kann IT und Marketing besser zusammenarbeiten?...Wie stelle ich mein Customer Experience Team zusammen, mit einem VicePresesident als Kopf?...Wie verändere ich meine Organisation?Quelle:Next time you'reat an event, check theagendaforsessions on howtomeasurebusinessresults; orhowtoget Marketing and IT toworktogetherbetter; orhowtopresenttheresultsof a UX projectto a senior VP; orhowtobuild a customerexperienceteam, with a VP of Customer Experience atthehelm; howtochangetheorganization. Those will serveyoumuchbetter.
  • #71 Anim 4Stellen Sie Ihre Kunden ins Zentrum, denn eine besser User Experience steigert deren Anzahl und Ihren ErfolgShop x Anzahl Kunden = Erfolg (ROI)