Lügen meine Leistungskennzahlen?
Niels Dahnke
Madsack Market Solutions GmbH
Belügen wir uns selbst?
Was sind die relevanten Zahlen?
Wie erkennt man Manipulationen?

Niels Dahnke
Folie: 2
• Seit 2011 bei Madsack
• Vorher 10 Jahre heise online
• EDV-Beratung seit 1997
• Erste kommerzielle
Online-Projekte 1995
• Veröffentlichungen in
Fachzeitschriften
• Redner auf Fachkonferenzen
• Mitglied im IHK-Prüfungsausschuss
• Referent der Niedersächsischen Akademie
Niels Dahnke – Lügen meine Leistungskennzahlen?

Wieso können KPIs lügen?
Folie: 3
• Weil wir die falschen Fragen stellen.
• Weil wir sie falsch berechnen.
• Weil wir uns verrechnen.
• Weil wir sie missbrauchen.
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com

Leistungskennzahlen (KPIs)
Der Begriff Key Performance Indicator (KPI)
bzw. Leistungskennzahl bezeichnet in der
Betriebswirtschaftslehre Kennzahlen, anhand derer der
Fortschritt oder der Erfüllungsgrad hinsichtlich wichtiger
Zielsetzungen oder kritischer Erfolgsfaktoren innerhalb
einer Organisation gemessen und/oder ermittelt werden
kann.
Quelle: Wikipedia
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 4

Eigenschaften von KPIs
• Kennzahlen sind stets mit direkten oder indirekten
Geschäftszielen verbunden.
• Kennzahlen zeichnen sich durch ihre Aussagekraft in
einem bestimmten geschäftlichen Rahmen aus.
• Kennzahlen verdichten verschiedene Informationen
zu einer Zahl, um Ziele kurz und klar darstellen und
messen zu können.
• Kennzahlen beweisen sich in der Praxis
oder sind über"üssig.
• Kennzahlen beantworten die Frage des Erfolgs.
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 5

Ziele messen mit KPIs
• Wer nicht fragt...
...bekommt keine Antwort.
• Wer falsch fragt...
...bekommt keine zielführenden Antworten.
• Wer nicht hinterfragt...
...trifft falsche Entscheidungen.
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 6

Ziele erreichen mit KPIs
Kennzahlen sind Antworten,
die mit klaren
Verantwortlichkeiten
&
Handlungsoptionen
verknüpft sein sollten.
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 7

Was sind die SEO-KPIs?
• Pagerank
• Sichtbarkeit / Reichweite
• Kennzahlen aus Alexa und Compete
• Indexierte Seiten / Videos / Bilder
• Google News Oneboxen
• Backlinks
• verlinkende Domains
• verlinkende IPs
• Linkstärke
• Linktexte
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 8

Noch mehr relevante KPIs?
• Reichweite
• Click-Through-Rate (CTR) / Klickrate
• Page Impressions / Seitenabrufe
• Visits / Besuche
• wiederkehrende Besucher
• Verweildauer
• Stickiness
• Performance der Keywords
• Markenbekanntheit
• durchschnittliche Bestellwert
• Abbruchrate im Bestellprozess
• ausgefüllte Kontaktformulare
• Zahl der Downloads
• Umsatz je Besucherklasse
• durchschnittliche Bestellwert
• Abbruchrate im Bestellprozess
• ausgefüllte Kontaktformulare
• Zahl der Downloads
• Umsatz je Besucherklasse
• Social Media
• Erwähnungen
• Recommendations
• Engagement
• Involvement
• Sentiment
• Markenbekanntheit
• Zahl der Nennungen
• Reichweite
(Freunde / Follower)
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 9

Was sind denn nun relevante KPIs?
Folie: 10
• KPIs für wen?
• Geschäftsführung / Entscheider
• Controlling
• PR / Kommunikation / Marketing
• Einkauf / Vertrieb
• Kundenservice
• Marktforschung
• Produktion / Entwicklung
• Strategie
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com

Was sind denn nun relevante KPIs?
Folie: 11
• KPIs für was?
• Agenturpitch
• Monitoring / Marktbeobachtung
• Planung
• Strategie
• Themen / Produkte
• Ressourcen (Budget, Personal, Zeit)
• Dashboard
• Tages- / Monats-Analyse
• Echtzeit-Monitoring
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com

Wieso können KPIs lügen?
Folie: 12
• Weil wir die falschen Fragen stellen.
• Weil wir sie falsch berechnen.
• Weil wir uns verrechnen.
• Weil wir sie falsch bewerten.
• Weil wir sie falsch visualisieren.
• Weil wir sie missbrauchen.
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com

Mögliche Fragen
• Welche Keywords erzeugen hohe Deckungsbeiträge?
• Woher kommen die wertvollsten Besucher?
• Wie kann ich die Abbruchrate im Bestellprozess
verringern?
• Wie hoch ist die vorhandene Reichweite einer
Website im Verhältnis zum Potential?
• Welche Kampagnen oder Partnerseiten generieren
den wertvollsten Traffic?
• Was kostet ein neuer Kunde?
Folie: 13
Niels Dahnke – Lügen meine Leistungskennzahlen?

Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Folie: 14
Niels Dahnke – Lügen meine Leistungskennzahlen?

Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Ist McDonalds für den
Weltfrieden wichtig?
Folie: 15
Niels Dahnke – Lügen meine Leistungskennzahlen?

Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Es haben noch nie zwei Länder gegeneinander Krieg geführt, in denen es McDonalds gibt.
Folie: 16
Niels Dahnke – Lügen meine Leistungskennzahlen?

Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Folie: 17
Niels Dahnke – Lügen meine Leistungskennzahlen?

Falsch bewertet?
Folie: 18
Alles wird besser, obwohl sich nichts ändert.
Garten
Heimwerken
KFZ
Banner-­‐A
Banner-­‐B
Banner-­‐A
Banner-­‐B
Niels Dahnke – Lügen meine Leistungskennzahlen?
Banner-­‐A
Banner-­‐B
Ad-­‐Impressions
200
40
20
20
30
100
Klicks
60
8
16
2
24
70
CTR
30%
20%
80%
10%
80%
70%
Welche Kampagne ist erfolgreicher,
gemessen an der CTR?

Falsch bewertet?
Folie: 19
Alles wird besser, obwohl sich nichts ändert.
Garten
Heimwerken
KFZ
Banner-­‐A
Banner-­‐B
Banner-­‐A
Banner-­‐B
Niels Dahnke – Lügen meine Leistungskennzahlen?
Banner-­‐A
Banner-­‐B
Ad-­‐Impressions
200
40
20
20
30
100
Klicks
60
8
16
2
24
70
CTR
30%
20%
80%
10%
80%
70%
Aufsummiert
Banner-­‐A
Banner-­‐B
Ad-­‐Impressions
250
160
Klicks
100
80
CTR
40%
50%

Falsch bewertet?
Aus diesem als Will-Rogers-Phänomen bekannten
Effekt, sollte man folgenden Schluss ziehen:
Folie: 20
Alles wird besser, obwohl sich nichts ändert.
Garten
Heimwerken
KFZ
Banner-­‐A
Banner-­‐B
Banner-­‐A
Banner-­‐B
Ohne Drill-Down trifft man
eventuell falsche Entscheidungen!
Niels Dahnke – Lügen meine Leistungskennzahlen?
Banner-­‐A
Banner-­‐B
Ad-­‐Impressions
200
40
20
20
30
100
Klicks
60
8
16
2
24
70
CTR
30%
20%
80%
10%
80%
70%
Aufsummiert
Banner-­‐A
Banner-­‐B
Ad-­‐Impressions
250
160
Klicks
100
80
CTR
40%
50%

Falsch gerechnet, falsche Daten
Folie: 21
• 90% der Analysten erstellen ihre
Berechnungen in Excel
• 50% alle Excel-Tabellen sind die
Basis für Entscheidungen
• Nur 33% der Kalkulationen sind
Dokumentiert
• Durchschnittliche Lebenszeit eines
Excel-Sheets ist 5 Jahre, eine Prüfung
der Berechnung $ndet fast nie statt.
• Geschätzte Verluste jährlich
10 Milliarden US-Dollar
Niels Dahnke – Lügen meine Leistungskennzahlen?
Felienne Hermans

Falsch Visualisieren
Quelle: www.businessobjects.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 22

Richtig Visualisieren
Quelle: www.graphomate.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 23

Visualisierungs-Tricks
Folie: 24
Keine Manipulation: Ausgangsdaten
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 25
Skalen-Manipulation: Zeitraum begrenzen
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Skalen-Manipulation: höheres Maximum der y-Achse
Folie: 26
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 27
Skalen-Manipulation: niedrigeres Max. auf y-Achse
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 28
Skalen-Manipulation: Abstände x-Achse
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 29
Skalen-Manipulation: abgeschnittene y-Achse
Niels Dahnke – Lügen meine Leistungskennzahlen?
Quelle: www.hichert.com

Visualisierungs-Tricks
Folie: 30
Skalen-Manipulation: zweite y-Achse
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 31
Skalen-Manipulation: logarithmische Teilung
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 32
Ausgangsdaten
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 33
Skalen-Manipulation: logarithmische Teilung
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 34
Manipulation: Ausgangsdaten
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 35
Manipulation: Zeitfenster wählen
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 36
Manipulation: Selektion der Datenpunkte
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 37
Manipulation: Selektion der Datenpunkte
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 38
Manipulation: Selektion der Datenpunkte
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 39
Manipulation: Selektion der Datenpunkte
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 40
Steigerung in Prozent
Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant
Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant
Steigerung um 2.600%
Niels Dahnke – Lügen meine Leistungskennzahlen?

Visualisierungs-Tricks
Folie: 41
Steigerung in Prozent
Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant
Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant
Steigerung um 2.600%
Niels Dahnke – Lügen meine Leistungskennzahlen?

Wieso können KPIs lügen?
Folie: 42
Typische Datenmanipulationen
• Skalen-Manipulation
• Achsen stauchen / strecken
• Achsen abschneiden
• Datenreihen abschneiden
• Wahl des Zeitfensters
• Darstellungsformen
• Einheiten-Tricks
• Wahl der Vergleichswerte
• Begrenzte Fragestellung
• Stichproben
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com

So prüft man Statistiken
Folie: 43
1. Sind die Werte für mich überhaupt relevant?
2. Sind die Zahlen überhaupt ermittelbar?
3. Visuelle Manipulationen ausschließen.
4. Vergleichsdaten besorgen und vergleichen.
5. Ein"ussfaktoren & deren Gewichtung bestimmen.
6. Nachrechnen mit eigenen Formeln.
7. Daten hinter den Gra$ken anfordern.
8. Was genau werde berechnet?
9. Querdenken um Fehler zu $nden.
10. Je höher die Investitionssumme,
desto mehr Zeit für die Prüfung einplanen.
Niels Dahnke – Lügen meine Leistungskennzahlen?

KPIs vs. Firmenpolitik
Quelle: www.dilbert.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 44

Sie haben noch Fragen?
Niels Dahnke