UX-Controlling 
Gezielt zum Produkt mit positiver 
User Experience 
Dominique Winter 
& Sven Bittenbinder 
Buhl Data Servi...
Was wollen wir? 
? ?? 
?
Die Nutzung unserer Produkte soll ein 
positives Erlebnis sein!
Wann ist die User Experience meines 
Produkts positiv?
Ziele setzen
Wahrnehmung und Reaktionen 
einer Person, die aus der tatsächlichen 
und/oder der erwarteten 
Benutzung eines Produkts, ei...
Fähigkeiten 
Charakter 
Emotionen 
Verhaltensweisen 
Vorlieben 
Vorstellungen 
Wahrnehmungen 
Systemleistung 
Darstellung ...
Der User Experience 
Questionnaire 
(Kurzversion) ist ein standardisierter 
Fragebogen zur quantitativen Ermittlung 
der U...
Die Attraktivität unseres Produkts soll 
gut bis sehr gut sein. 
Attraktivität >= 1,1* 
*bei einer Evaluation mit dem UEQ
Fortschritts-messung
UX Evaluation 
Planung
Was muss ich beachten?
Auswahl der richtigen 
Nutzer für die UX Evaluation.
Ausreichend viele Nutzer 
befragen, damit Antworten 
übertragbar sind.
Kontinuierliche und 
regelmäßige Erhebungen.
Nutzern eine Pause gönnen, 
damit die Datenerhebung nicht 
zum Störfaktor wird.
2-4 Wochen 
Effiziente 
Erhebung 
< 2 Wochen 
• Datenflut 
• Unnötige Belastung 
der Probanden 
> 4 Wochen 
• Reaktionszei...
Aufbereitung der Ergebnisse, 
für Ab- und Vergleich.
Auszeichnungkritischer 
Werte sowie Dokumentation 
interner und externer 
Ereignisse.
1 
Attraktivität 
1,0 
2 3 4 5 6 
Konfidenzintervall 
zu groß 
Veröffentlichung 
Redesign 
Veröffentlichung 
Version 1.2 
...
Integration ins 
Agile
Plan 
Produktentwicklung 
Konzeption 
Entwicklung 
Evaluation 
Do 
Check 
Act
Aufgabe 
Aufgabe 
Aufgabe 
Aufgabe 
Aufgabe 
Aufgabe 
Aufgabe 
Aufgabe 
10 h 
8 h 
3 h 
3 h 
2 h 
13 h 
20 h 
8h 
Attrakti...
E-Mail ausdrucken 
Als Anwender möchte ich meine E-Mail ausdrucken können, 
damit ich sie auch offline weiter geben kann. ...
Beispiel
Attraktivität, 
Durchschaubarkeit und 
Stimulation mindestens 
gut
Jeden Monat 30 Nutzer nach 
3 Minuten Nutzung befragen und dann 
3 Monaten in Ruhe lassen
Zu wenig Teilnehmer und 
Wechsel der Zielgruppe 
erschweren das Controlling
1. UX Ziele können durch Messinstrumente 
quantitativ gesetzt werden 
2. Ein Informationssystem muss etabliert 
werden 
3....
Danke für Ihre 
Aufmerksamkeit 
Dominique Winter 
dwinter@buhl-data.com 
@designik 
designik.de 
Sven Bittenbinder 
bitten...
UX Controlling
Nächste SlideShare
Wird geladen in …5
×

UX Controlling

1.661 Aufrufe

Veröffentlicht am

User Experience ist ein entscheidender Qualitätsfaktor im Wettbewerb der Produkte um die Gunst der Nutzer. Es gilt daher Produkte zu entwickeln, die eine optimierte User Experience bieten, um die Entwicklungsressourcen eines Unternehmens effizient einzusetzen. Um diese Effizienz zu erreichen, müssen Ziele gesteckt und ihre Erreichung nach gehalten werden. Hat man in den für seine Kunden relevanten Bereichen der User Experience wirklich erreicht, was man wollte? Um diese Frage zu beantworten, hilft es ein UX-Controlling aufzubauen. In diesem werden Ziele definiert, kontrolliert und auf Erreichen geprüft. Anschließende Maßnahmen um gezielt Verbesserungen in Teilbereichen der User Experience zu gestalten runden das UX-Controlling ab.

Wie aber baut man nun ein solches UX-Controlling auf? Welche Methoden müssen Verwendung finden und welche Prozesse etabliert werden?

Veröffentlicht in: Leadership & Management
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.661
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
962
Aktionen
Geteilt
0
Downloads
12
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Wie kontrolliere ich die Zielerreichung?
  • Durch einen SOLL/IST-Vergleich.
    In unserem Fall mittels einer UX Evaluation, einer Befragung der Anwender.
    Die Ergebnisse der UX Evaluation dienen als Basis für einen Planungsprozess. Dieser Controlling-Prozess, der nicht nur 1x, sondern immer wieder abläuft, muss nun den Produktentwicklungsprozess erweitern.

    ___
    Der Prozess.
    Um letztendlich die UX-Anforderungen mit der erreichten UX zu vergleichen, ist ein Controlling-Prozess notwendig.
    (Kontinuierliche Kontrolle)
  • Wir haben uns gefragt, was muss ich für eine regelmäßige und zielorientierte Befragung, unserer UX Evaluation, beachten?
  • Wichtig ist die Probandenauswahl.
    Natürlich können wir nicht immer alle Nutzer befragen, trotzdem wollen wir die UX aller Kunden erfahren.
    Dazu nutzen wir eine Zufallsstichprobe. Da jedes Element der Grundgesamtheit dabei die gleiche Chance hat, ausgewählt zu werden, lässt sich später das Ergebnis verallgemeinern.
    Allerdings müssen bestimmte Gütekriterien erfüllt werden, damit sich das Ergebnis auch verallgemeinern lässt.

    ___
    Ideal: alle Nutzer befragen. Aber: aus Zeit- und Kostengründen nicht durchführbar.
    Deswegen: Zufallsstichprobe (probabilistisches Verfahren). Jedes Element der Grundgesamtheit hat dabei die gleiche Chance, in die Stichprobe aufgenommen zu werden. Dadurch auf Grundgesamtheit schließen (Verallgemeinerung).

    Die Grundgesamtheit wird mittels sachlicher, räumlicher und zeitlicher Definition exakt beschrieben.
  • Eins der Gütekriterien ist die Stichprobengröße und die Responsequote.
    Es sollten mindestens 30 Ergebnisdatensätze vorhanden sein, damit sich der Ergebnisse an die Normalverteilung annähern.
    Die Menge sollte zusätzlich ausreichen, um weiteren Gütekriterien wie Reliabilität, Standardabweichung, Konfidenzintervall etc. genügen zu können.

    ___
    Es gibt weitere Qualitätskriterien, die Berücksichtigung finden. Werden weiter hinten beschrieben.
  • Erhebungsintervall
    Kontinuierlich bedeutet immer wieder, damit wir uns auch kontinuierlich verbessern. Mit regelmäßig sind bestimmte Regeln gemeint, beispielsweise immer gleiche Intervalle, um verschiedene Ergebnisse miteinander vergleichen zu können.

    ___
    Kontinuierlich und regelmäßig, um einzelne Entwicklungszyklen miteinander vergleichen zu können und die Auswirkung neuer Teilprodukte zu messen.
    Synchronisation von Erhebungsintervallen mit Sprints (feste Länge, max. 30 Tage).
  • Eine weitere Regel lautet: …
    Wir fragen das Nutzungserlebnis ab. Durch permanente Störungen in eigentlichen Arbeitsablauf (durch Befragungen), kann sich das negativ auswirken.
    In der Tat auf das Erlebnis oder die Antworten -> sollen ehrlich bleiben. Keine Trotz-Antworten.
    Dennoch die Pause („Erholungszeit“) nicht zu groß wählen, damit ausreichend Daten erhoben werden können.
    TradeOff: Erholungszeit <> Datenmenge
  • Nicht nur das individuelle Befragungsintervall beim Nutzer gilt es zu beachten, sondern auch das regelmäßige Befragungsintervall der UX.

    Ist das Intervall zu kurz, evaluieren wir nur noch und kommen nicht mehr zur Planung und Umsetzung. Außerdem werden die Probanden zu stark belastet.

    Zu kurze Erhebungsintervalle verursachen eine Datenflut, die nur schwer verarbeitet werden kann. Falls doch, hätte man jeden Tag wechselnde Anforderungen an die Entwicklung!! Synchronisation mit Entwicklung notwendig.

    Zu lange Intervalle verschleiern ggf. Ergebnisse und die Reaktionszeit ist zu lang.
    (Wenn bspw. der Rückkanal „offline“ funktioniert, kann es Schwierigkeiten bei der Auswertung der Ergebnisse geben.)

    Y-Achse: „Effizienz des Erhebungsintervalls“
  • Ergebnisausbereitung

    Die Aufbereitung soll möglichst automatisiert erfolgen. Dadurch werden Ressourcen geschont, die Möglichkeit eines Monitorsystems und die Ergebnisverteilung ist gegeben und es lässt sich in einem IT-Unternehmen recht schnell etablieren.
  • Was sind „kritische Werte“? -> Gütekriterien der Ergebnisse für Verlässlichkeit.
    Reliabilität, Standardabweichung und Konfidenzintervalls

    Interne Ereignisse: Newsletterversand, Sonderangebote, etc.
    Externe Ereignisse: Neue Betriebssysteme mit bspw. Einem UI-Wechsel, Browserwechsel, Produkt-Update, Maßnahmen der Konkurrenz, relevante Messen/Veranstaltungen, etc.
  • Dieses Vorgehen integrieren wir nun als Demingkreis (kontinuierlichen Verbesserungsprozess) in den Produktentwicklungsprozes.
  • Integration der UX Evaluation in den Produktentwicklungsprozess
    Plan-Do-Act-Check Demingkreis (für kontinuierliche Verbesserungen).
    Beim Beispiel Scrum haben wir pro Sprint verschiedene Phasen (Konzept, Entwicklung, Evaluation). Demingkreis beansprucht 4 Entwicklungzyklen (Sprints).
    Hier erkennt man gut, warum sich die Synchronisierung von Sprint und Erhebungsintervall gut eignet.

    Das „Plan“ kann bei guter/vollständiger Konzeption recht kurz gehalten werden. Backlog wird auch aus anderen Quellen befüllt und Stories durch Expertengruppen direkt die relevanten Dimensionen zugeordnet.

    Interessant: Die summative Evaluation liefert am Ende eines Entwicklungs-/Erhebungszyklus die Daten für die Auswertung.
    Aus dem Blickwinkel des Gesamtprojekts kann man die einzelnen summativen Evaluationen als formative Evaluation betrachten.
  • Beispiel Product Backlog: den Stories werden bereits bei Erstellung die Dimensionen zugeordnet, die beeinflusst werden und durch eine Expertengruppe so beurteilt wurden. Bedeutet, dass hier keine detaillierte Planung und Konzeptionsphase innerhalb des Demingkreises erfolgen muss.

    User Stories gelangen auch über andere Wege als der UX Evaluation ins Backlog, so dass immer genügend Futter da sein dürfte.

    Expertengruppen sind nicht der ideale Wege, aber recht einfach und leicht im Unternehmen zu etablieren.
  • Steuerbarkeit und Originalität nicht schlecht
  • Erholungspause wird berücksichtigt.

    Die Einladung erfolgt dezent, um das Nutzungserlebnis nicht negativ zu beeinflussen. Ist die nötige Teilnehmermenge erreicht, werden keine Einladungen mehr angezeigt.
  • Konfidenzintervall sehr groß, 10 Leute reichen nicht, Von Mitgliedern zu Verwaltern, kompletter Perspektivenwechsel
  • UX Controlling

    1. 1. UX-Controlling Gezielt zum Produkt mit positiver User Experience Dominique Winter & Sven Bittenbinder Buhl Data Service GmbH
    2. 2. Was wollen wir? ? ?? ?
    3. 3. Die Nutzung unserer Produkte soll ein positives Erlebnis sein!
    4. 4. Wann ist die User Experience meines Produkts positiv?
    5. 5. Ziele setzen
    6. 6. Wahrnehmung und Reaktionen einer Person, die aus der tatsächlichen und/oder der erwarteten Benutzung eines Produkts, eines Systems oder einer Dienstleistung resultieren. DIN EN ISO 9241-210
    7. 7. Fähigkeiten Charakter Emotionen Verhaltensweisen Vorlieben Vorstellungen Wahrnehmungen Systemleistung Darstellung Funktionalität interaktives Verhaltens unterstützenden Ressourcen Erfahrungen persönlichen Ziele Einstellungen Gebrauchstauglichkeit Interaktion Markenwahrnehmung
    8. 8. Der User Experience Questionnaire (Kurzversion) ist ein standardisierter Fragebogen zur quantitativen Ermittlung der User Experience. Attraktivität Durchschaubarkeit Effizienz Stimulation Originalität ueq-online.org
    9. 9. Die Attraktivität unseres Produkts soll gut bis sehr gut sein. Attraktivität >= 1,1* *bei einer Evaluation mit dem UEQ
    10. 10. Fortschritts-messung
    11. 11. UX Evaluation Planung
    12. 12. Was muss ich beachten?
    13. 13. Auswahl der richtigen Nutzer für die UX Evaluation.
    14. 14. Ausreichend viele Nutzer befragen, damit Antworten übertragbar sind.
    15. 15. Kontinuierliche und regelmäßige Erhebungen.
    16. 16. Nutzern eine Pause gönnen, damit die Datenerhebung nicht zum Störfaktor wird.
    17. 17. 2-4 Wochen Effiziente Erhebung < 2 Wochen • Datenflut • Unnötige Belastung der Probanden > 4 Wochen • Reaktionszeit zu lang • Rückkanal zu langsam
    18. 18. Aufbereitung der Ergebnisse, für Ab- und Vergleich.
    19. 19. Auszeichnungkritischer Werte sowie Dokumentation interner und externer Ereignisse.
    20. 20. 1 Attraktivität 1,0 2 3 4 5 6 Konfidenzintervall zu groß Veröffentlichung Redesign Veröffentlichung Version 1.2 2,0 7 8 9 Geplante Veröffent-lichung Version 1.3
    21. 21. Integration ins Agile
    22. 22. Plan Produktentwicklung Konzeption Entwicklung Evaluation Do Check Act
    23. 23. Aufgabe Aufgabe Aufgabe Aufgabe Aufgabe Aufgabe Aufgabe Aufgabe 10 h 8 h 3 h 3 h 2 h 13 h 20 h 8h Attraktivität Durchschaubarkeit Stimulation - Attraktivität Attraktivität Steuerbarkeit Durchschaubarkeit Einfluss geschätzt durch Expertenkreis Aufgabenliste
    24. 24. E-Mail ausdrucken Als Anwender möchte ich meine E-Mail ausdrucken können, damit ich sie auch offline weiter geben kann. Akzeptanzkriterien: - Ausdruck der E-Mail mit den Daten Empfänger, Sender, Betreff, Inhalt, etc. - Bei mehreren Seiten sollen Seitenzahlen mittig am unteren Rand ausgedruckt werden. - etc. Aufwand: 8h UX: +1 Stimulation
    25. 25. Beispiel
    26. 26. Attraktivität, Durchschaubarkeit und Stimulation mindestens gut
    27. 27. Jeden Monat 30 Nutzer nach 3 Minuten Nutzung befragen und dann 3 Monaten in Ruhe lassen
    28. 28. Zu wenig Teilnehmer und Wechsel der Zielgruppe erschweren das Controlling
    29. 29. 1. UX Ziele können durch Messinstrumente quantitativ gesetzt werden 2. Ein Informationssystem muss etabliert werden 3. Integration der UX als Kennzahl in das allgemeine Produktcontrolling 4. Einzelergebnisse auf Güte überprüfen! 5. Nutzer ausreichend motivieren mitzuwirken 6. Bei großen Nutzergruppen weitere Differenzierung nach Nutzereigenschaften möglich
    30. 30. Danke für Ihre Aufmerksamkeit Dominique Winter dwinter@buhl-data.com @designik designik.de Sven Bittenbinder bittenbinder@buhl-data.com THX

    ×