KPIs vs. UX
Ist User Experience messbar?
die firma . experience design / Matthias Feit
„Mit dem engl. Begriff key performance
indicators (KPI) werden in der
Betriebswirtschaftslehre allgemeine
Kennzahlen bezeichnet, die sich auf den
Erfolg, die Leistung oder Auslastung des
Betriebs, seiner einzelnen organisatorischen
Einheiten oder einer Maschine beziehen“
http://wirtschaftslexikon.gabler.de/Definition/key-performance-indicator-kpi.html
Taylorismus // Industriezeitalter
Weite Märkte
Wenig Konkurrenz
Lineare Systeme
Steuerung durch KPIs
Post-Taylorismus // Wissenszeitalter
Digitalisierung = Nicht-Lineare
Systeme = Komplexität
Enge globale Märkte
Viel Konkurrenz
Steuerung durch KPIs?
„User experience
encompasses all aspects of
the end-user's interaction
with the company, its
services, and its products.“
– Don Norman, Jakob Nielsen
https://www.nngroup.com/articles/definition-user-experience/
Äpfel und Birnen?
KPIs
Bilanz
UX
Nutzungserlebnis
KundeUnternehmen UX
Elemente der UX
Strategische Vorgaben
Unternehmensstrategie
Markenstrategie
Produktstrategie
UX	Strategie
Quelle: www.agux.co/blog/ux-strategy-goals-and-getting-to-the-future-state
Quelle: www.experiencinginformation.com/2014/08/12/ux-strategy-blueprint/
Elemente des UX Strategy Blueprints
• Challenges (welche Probleme müssen wir lösen)
• Aspirations (welches Ergebnis streben wir an)
• Focus Areas (welche Kunden/Märkte/Kanäle sind im Fokus)
• Guiding Principles (auf welche Prinzipen achten wir)
• Activities (welche Tätigkeiten fallen voraussichtlich an)
• Measurements (wie messen wir den Erfolg unserer Maßnahmen)
Wie misst man UX?
UX Metrics
Klassische KPIs der Versicherungsbranche
. Revenue per Policyholder
. Average cost per claim
. Average time to settle a claim
. Return on surplus
. Loss ratio
. Frequency
. Severity
. Average policy size
. …
Quelle: https://guidingmetrics.com/content/insurance-industrys-18-most-critical-metrics/
Quelle: https://innovationenglish.sites.ku.dk/files/2016/07/lEAN-startup_RKO.png
Unser Anliegen: Messung
der Performance von
Interaktionen
Einige der wichtigsten (quantitativen) UX Metriken
Statistische Auswertungen
• Task Success Rate
• Time on Task
• Verwendung der Suche vs. Navigation
• Error (Occurence) Rate
Umfrage
• System Usability Scale (SUS)
Task Success Rate (Task Completion Rate)
• Prozentueller Anteil erfolgreich abgeschlossener
Aufgaben durch den Nutzer
• Nur möglich wenn es ein klares Ziel oder Endpunkt gibt
(z.B. Schadensmeldung, Einrichten eines Accounts)
Anzahl erfolgreich abgeschlossener Aufgaben
Anzahl Versuche (gesamt)
Time On Task
• Wie lange benötigt einer Nutzer – in Minuten und
Sekunden ausgedrückt – um eine Aufgabe zu erledigen
• Üblicherweise betrachtet man den durchschnittlichen
Wert (z.B. Neukundenregistrierung 2:45 Min)
• Nützlich um Verbesserungen zwischen
Versionen/Iterationen zu bewerten
Suche vs. Navigation
• Bewertungskriterium für die Effektivität der
Informationsarchitektur bzw. Navigation
Anzahl erfolgreich abgeschlossener Aufgaben durch
Verwendung der Suche (Navigation)
Anzahl abgeschlossener Aufgaben (gesamt)
User Error Rate
• Guter Indikator im Hinblick auf die generelle
Verwendbarkeit eines Systems
• Hilfreich beim Auffinden versteckter Usability Issues
• Unterschiedliche Varianten möglich z.B. Error Occurrence
Rate (s. Beispiel unten)
Anzahl aufgetretener Fehler für alle Nutzer (gesamt)
Anzahl möglicher Fehler für alle Nutzer (gesamt)
Error Occurrence Rate (Beispiel)
• Fünf Benutzer haben eine Kreditkartenzahlung
durchgeführt. Es gibt sieben Stellen im Prozess an
denen bei der Eingabe Fehler gemacht werden können.
• Folgende Fehler wurden pro User verursacht: 2,4,1,2, und
3
• Die durchschnittliche Error Occurence Rate berechnet
sich folgendermaßen:
(2+4+1+2+3) / 7 * 5 = 0.34 à 34%
System Usability Scale (SUS)
• Keine Auswertung statistischer Nutzungsdaten sondern
Nutzer-Umfrage
• Etabliertes Werkzeug um die Verwendbarkeit und
Nützlichkeit eines Systems durch Nutzer bewerten zu
lassen
• Zehn Statements zu denen die Zustimmungswerte der
Nutzer erfasst werden (0–4 Punkte)
• Der maximale Score liegt bei 100 (Summe * 2,5)
• Ich kann mir sehr gut vorstellen, das System regelmäßig zu nutzen.
• Ich empfinde das System als unnötig komplex.
• Ich empfinde das System als einfach zu nutzen.
• Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen.
• Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind.
• Ich finde, dass es im System zu viele Inkonsistenzen gibt.
• Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen.
• Ich empfinde die Bedienung als sehr umständlich.
• Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt.
• Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte.
SUS-Score
Useful
Valuable
Credible
Desirable
Accessible
Usable
Findable
Quelle: http://semanticstudios.com/user_experience_design/
Wie messen wir Nützlichkeit, Attraktivitität und Glaubwürdigkeit
Metriken &
Customer
Lifecycles
Quelle: https://www.slideshare.net/brantcooper/customer-zoom-value-stream-discovery-and-market-segmentation
Acquisition
Activation
Retention
Referrals
Revenue
Pirate Metrics
Quelle: https://en.wikipedia.org/wiki/File:Piratey,_vector_version.svgQuelle: https://www.slideshare.net/dmc500hats/startup-metrics-for-pirates-long-version
Das wichtigste Werkzeug:
Empathie!
Zusammenfassung
• Gute UX schafft durch Verständigung zwischen
Nutzerbedürfnissen und Unternehmenszielen einen
Mehrwert für beide Seiten
• Um mittels UX Unternehmensziele befördern zu können
brauchen wir klare strategische Vorgaben und eine
genaue Vorstellung, was Erfolg für uns bedeutet
Zusammenfassung (2)
• Mit KPIs messen wir die betriebswirtschaftliche
Performance eines Unternehmens
• Mit UX Metriken messen wir die Performance von
Interaktionen (Usability)
• Statistische Auswertungen alleine reichen nicht aus
• Umfragen (z.B. SUS), Customer Lifecycles, User
Interviews vervollständigen das Bild im Hinblick auf
Kundenbedürfnisse
Ein Rat zum Schluss
Bevor wir mit
Verbesserungen
starten...
...messen wir die UX im
bestehenden System
Wir verbessern nur eine
Metrik pro Iteration!
Mehr zum Thema
Viel Erfolg beim Messen!
Fragen?
@matthiasfeit
Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für
Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das
Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der
zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne
Vereinbarung bzw. Einverständnis ist nicht zulässig
(vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte
(sowohl als Gesamtdokument wie auch in Auszügen).
Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für
Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das
Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der
zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne
Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie
eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen).
Schwalbacher Straße 78
D-65183 Wiesbaden
Tel +49 611 2385010
www.diefirma.de
@matthiasfeit
0611-2385012
m.feit@diefirma.de
Matthias Feit
Kontakt

KPIs vs. UX – ist User Experience messbar?

  • 1.
    KPIs vs. UX IstUser Experience messbar? die firma . experience design / Matthias Feit
  • 2.
    „Mit dem engl.Begriff key performance indicators (KPI) werden in der Betriebswirtschaftslehre allgemeine Kennzahlen bezeichnet, die sich auf den Erfolg, die Leistung oder Auslastung des Betriebs, seiner einzelnen organisatorischen Einheiten oder einer Maschine beziehen“ http://wirtschaftslexikon.gabler.de/Definition/key-performance-indicator-kpi.html
  • 3.
    Taylorismus // Industriezeitalter WeiteMärkte Wenig Konkurrenz Lineare Systeme Steuerung durch KPIs
  • 4.
    Post-Taylorismus // Wissenszeitalter Digitalisierung= Nicht-Lineare Systeme = Komplexität Enge globale Märkte Viel Konkurrenz
  • 5.
  • 6.
    „User experience encompasses allaspects of the end-user's interaction with the company, its services, and its products.“ – Don Norman, Jakob Nielsen https://www.nngroup.com/articles/definition-user-experience/
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
    Elemente des UXStrategy Blueprints • Challenges (welche Probleme müssen wir lösen) • Aspirations (welches Ergebnis streben wir an) • Focus Areas (welche Kunden/Märkte/Kanäle sind im Fokus) • Guiding Principles (auf welche Prinzipen achten wir) • Activities (welche Tätigkeiten fallen voraussichtlich an) • Measurements (wie messen wir den Erfolg unserer Maßnahmen)
  • 14.
    Wie misst manUX? UX Metrics
  • 15.
    Klassische KPIs derVersicherungsbranche . Revenue per Policyholder . Average cost per claim . Average time to settle a claim . Return on surplus . Loss ratio . Frequency . Severity . Average policy size . … Quelle: https://guidingmetrics.com/content/insurance-industrys-18-most-critical-metrics/
  • 17.
  • 18.
    Unser Anliegen: Messung derPerformance von Interaktionen
  • 19.
    Einige der wichtigsten(quantitativen) UX Metriken Statistische Auswertungen • Task Success Rate • Time on Task • Verwendung der Suche vs. Navigation • Error (Occurence) Rate Umfrage • System Usability Scale (SUS)
  • 20.
    Task Success Rate(Task Completion Rate) • Prozentueller Anteil erfolgreich abgeschlossener Aufgaben durch den Nutzer • Nur möglich wenn es ein klares Ziel oder Endpunkt gibt (z.B. Schadensmeldung, Einrichten eines Accounts) Anzahl erfolgreich abgeschlossener Aufgaben Anzahl Versuche (gesamt)
  • 21.
    Time On Task •Wie lange benötigt einer Nutzer – in Minuten und Sekunden ausgedrückt – um eine Aufgabe zu erledigen • Üblicherweise betrachtet man den durchschnittlichen Wert (z.B. Neukundenregistrierung 2:45 Min) • Nützlich um Verbesserungen zwischen Versionen/Iterationen zu bewerten
  • 22.
    Suche vs. Navigation •Bewertungskriterium für die Effektivität der Informationsarchitektur bzw. Navigation Anzahl erfolgreich abgeschlossener Aufgaben durch Verwendung der Suche (Navigation) Anzahl abgeschlossener Aufgaben (gesamt)
  • 23.
    User Error Rate •Guter Indikator im Hinblick auf die generelle Verwendbarkeit eines Systems • Hilfreich beim Auffinden versteckter Usability Issues • Unterschiedliche Varianten möglich z.B. Error Occurrence Rate (s. Beispiel unten) Anzahl aufgetretener Fehler für alle Nutzer (gesamt) Anzahl möglicher Fehler für alle Nutzer (gesamt)
  • 24.
    Error Occurrence Rate(Beispiel) • Fünf Benutzer haben eine Kreditkartenzahlung durchgeführt. Es gibt sieben Stellen im Prozess an denen bei der Eingabe Fehler gemacht werden können. • Folgende Fehler wurden pro User verursacht: 2,4,1,2, und 3 • Die durchschnittliche Error Occurence Rate berechnet sich folgendermaßen: (2+4+1+2+3) / 7 * 5 = 0.34 à 34%
  • 25.
    System Usability Scale(SUS) • Keine Auswertung statistischer Nutzungsdaten sondern Nutzer-Umfrage • Etabliertes Werkzeug um die Verwendbarkeit und Nützlichkeit eines Systems durch Nutzer bewerten zu lassen • Zehn Statements zu denen die Zustimmungswerte der Nutzer erfasst werden (0–4 Punkte) • Der maximale Score liegt bei 100 (Summe * 2,5)
  • 26.
    • Ich kannmir sehr gut vorstellen, das System regelmäßig zu nutzen. • Ich empfinde das System als unnötig komplex. • Ich empfinde das System als einfach zu nutzen. • Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen. • Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind. • Ich finde, dass es im System zu viele Inkonsistenzen gibt. • Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen. • Ich empfinde die Bedienung als sehr umständlich. • Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt. • Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte.
  • 27.
  • 28.
  • 29.
    Wie messen wirNützlichkeit, Attraktivitität und Glaubwürdigkeit Metriken & Customer Lifecycles
  • 30.
  • 31.
  • 33.
  • 34.
    Zusammenfassung • Gute UXschafft durch Verständigung zwischen Nutzerbedürfnissen und Unternehmenszielen einen Mehrwert für beide Seiten • Um mittels UX Unternehmensziele befördern zu können brauchen wir klare strategische Vorgaben und eine genaue Vorstellung, was Erfolg für uns bedeutet
  • 35.
    Zusammenfassung (2) • MitKPIs messen wir die betriebswirtschaftliche Performance eines Unternehmens • Mit UX Metriken messen wir die Performance von Interaktionen (Usability) • Statistische Auswertungen alleine reichen nicht aus • Umfragen (z.B. SUS), Customer Lifecycles, User Interviews vervollständigen das Bild im Hinblick auf Kundenbedürfnisse
  • 36.
    Ein Rat zumSchluss Bevor wir mit Verbesserungen starten...
  • 37.
    ...messen wir dieUX im bestehenden System
  • 38.
    Wir verbessern nureine Metrik pro Iteration!
  • 39.
  • 40.
    Viel Erfolg beimMessen! Fragen? @matthiasfeit
  • 41.
    Diese Ausarbeitung beinhaltetgeistiges Eigentum von Die Firma GmbH und ist ausschließlich für Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen). Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen). Schwalbacher Straße 78 D-65183 Wiesbaden Tel +49 611 2385010 www.diefirma.de @matthiasfeit 0611-2385012 m.feit@diefirma.de Matthias Feit Kontakt