Lügen meine Leistungskennzahlen? 
Niels Dahnke 
Madsack Market Solutions GmbH 
Belügen wir uns selbst? 
Was sind die relev...
Niels Dahnke 
Folie: 2 
• Seit 2011 bei Madsack 
• Vorher 10 Jahre heise online 
• EDV-Beratung seit 1997 
• Erste kommerz...
Wieso können KPIs lügen? 
Folie: 3 
• Weil wir die falschen Fragen stellen. 
• Weil wir sie falsch berechnen. 
• Weil wir ...
Leistungskennzahlen (KPIs) 
Der Begriff Key Performance Indicator (KPI) 
bzw. Leistungskennzahl bezeichnet in der 
Betrieb...
Eigenschaften von KPIs 
• Kennzahlen sind stets mit direkten oder indirekten 
Geschäftszielen verbunden. 
• Kennzahlen zei...
Ziele messen mit KPIs 
• Wer nicht fragt... 
...bekommt keine Antwort. 
• Wer falsch fragt... 
...bekommt keine zielführen...
Ziele erreichen mit KPIs 
Kennzahlen sind Antworten, 
die mit klaren 
Verantwortlichkeiten 
& 
Handlungsoptionen 
verknüpf...
Was sind die SEO-KPIs? 
• Pagerank 
• Sichtbarkeit / Reichweite 
• Kennzahlen aus Alexa und Compete 
• Indexierte Seiten /...
Noch mehr relevante KPIs? 
• Reichweite 
• Click-Through-Rate (CTR) / Klickrate 
• Page Impressions / Seitenabrufe 
• Visi...
Was sind denn nun relevante KPIs? 
Folie: 10 
• KPIs für wen? 
• Geschäftsführung / Entscheider 
• Controlling 
• PR / Kom...
Was sind denn nun relevante KPIs? 
Folie: 11 
• KPIs für was? 
• Agenturpitch 
• Monitoring / Marktbeobachtung 
• Planung ...
Wieso können KPIs lügen? 
Folie: 12 
• Weil wir die falschen Fragen stellen. 
• Weil wir sie falsch berechnen. 
• Weil wir...
Mögliche Fragen 
• Welche Keywords erzeugen hohe Deckungsbeiträge? 
• Woher kommen die wertvollsten Besucher? 
• Wie kann ...
Falsch Bewerten, falsche Fragen 
• Korrelationen – Was ist Ursache und was ist Wirkung? 
• Bewirkt Social Media ein besser...
Falsch Bewerten, falsche Fragen 
• Korrelationen – Was ist Ursache und was ist Wirkung? 
• Bewirkt Social Media ein besser...
Falsch Bewerten, falsche Fragen 
• Korrelationen – Was ist Ursache und was ist Wirkung? 
• Bewirkt Social Media ein besser...
Falsch Bewerten, falsche Fragen 
• Korrelationen – Was ist Ursache und was ist Wirkung? 
• Bewirkt Social Media ein besser...
Falsch bewertet? 
Folie: 18 
Alles wird besser, obwohl sich nichts ändert. 
Garten 
Heimwerken 
KFZ 
Banner-­‐A 
Banner-­‐...
Falsch bewertet? 
Folie: 19 
Alles wird besser, obwohl sich nichts ändert. 
Garten 
Heimwerken 
KFZ 
Banner-­‐A 
Banner-­‐...
Falsch bewertet? 
Aus diesem als Will-Rogers-Phänomen bekannten 
Effekt, sollte man folgenden Schluss ziehen: 
Folie: 20 
...
Falsch gerechnet, falsche Daten 
Folie: 21 
• 90% der Analysten erstellen ihre 
Berechnungen in Excel 
• 50% alle Excel-Ta...
Falsch Visualisieren 
Quelle: www.businessobjects.com 
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 22
Richtig Visualisieren 
Quelle: www.graphomate.com 
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 23
Visualisierungs-Tricks 
Folie: 24 
Keine Manipulation: Ausgangsdaten 
Niels Dahnke – Lügen meine Leistungskennzahlen?
Visualisierungs-Tricks 
Folie: 25 
Skalen-Manipulation: Zeitraum begrenzen 
Niels Dahnke – Lügen meine Leistungskennzahlen...
Visualisierungs-Tricks 
Skalen-Manipulation: höheres Maximum der y-Achse 
Folie: 26 
Niels Dahnke – Lügen meine Leistungsk...
Visualisierungs-Tricks 
Folie: 27 
Skalen-Manipulation: niedrigeres Max. auf y-Achse 
Niels Dahnke – Lügen meine Leistungs...
Visualisierungs-Tricks 
Folie: 28 
Skalen-Manipulation: Abstände x-Achse 
Niels Dahnke – Lügen meine Leistungskennzahlen?
Visualisierungs-Tricks 
Folie: 29 
Skalen-Manipulation: abgeschnittene y-Achse 
Niels Dahnke – Lügen meine Leistungskennza...
Visualisierungs-Tricks 
Folie: 30 
Skalen-Manipulation: zweite y-Achse 
Niels Dahnke – Lügen meine Leistungskennzahlen?
Visualisierungs-Tricks 
Folie: 31 
Skalen-Manipulation: logarithmische Teilung 
Niels Dahnke – Lügen meine Leistungskennza...
Visualisierungs-Tricks 
Folie: 32 
Ausgangsdaten 
Niels Dahnke – Lügen meine Leistungskennzahlen?
Visualisierungs-Tricks 
Folie: 33 
Skalen-Manipulation: logarithmische Teilung 
Niels Dahnke – Lügen meine Leistungskennza...
Visualisierungs-Tricks 
Folie: 34 
Manipulation: Ausgangsdaten 
Niels Dahnke – Lügen meine Leistungskennzahlen?
Visualisierungs-Tricks 
Folie: 35 
Manipulation: Zeitfenster wählen 
Niels Dahnke – Lügen meine Leistungskennzahlen?
Visualisierungs-Tricks 
Folie: 36 
Manipulation: Selektion der Datenpunkte 
Niels Dahnke – Lügen meine Leistungskennzahlen...
Visualisierungs-Tricks 
Folie: 37 
Manipulation: Selektion der Datenpunkte 
Niels Dahnke – Lügen meine Leistungskennzahlen...
Visualisierungs-Tricks 
Folie: 38 
Manipulation: Selektion der Datenpunkte 
Niels Dahnke – Lügen meine Leistungskennzahlen...
Visualisierungs-Tricks 
Folie: 39 
Manipulation: Selektion der Datenpunkte 
Niels Dahnke – Lügen meine Leistungskennzahlen...
Visualisierungs-Tricks 
Folie: 40 
Steigerung in Prozent 
Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant 
Sichtbarkeit...
Visualisierungs-Tricks 
Folie: 41 
Steigerung in Prozent 
Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant 
Sichtbarkeit...
Wieso können KPIs lügen? 
Folie: 42 
Typische Datenmanipulationen 
• Skalen-Manipulation 
• Achsen stauchen / strecken 
• ...
So prüft man Statistiken 
Folie: 43 
1. Sind die Werte für mich überhaupt relevant? 
2. Sind die Zahlen überhaupt ermittel...
KPIs vs. Firmenpolitik 
Quelle: www.dilbert.com 
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 44
Sie haben noch Fragen? 
Niels Dahnke
Nächste SlideShare
Wird geladen in …5
×

Statistik-Manipulationen: Lügen meine Leistungskennzahlen?

2.242 Aufrufe

Veröffentlicht am

Teilweise lassen wir uns von hübschen Diagrammen täuschen und gelegentlich belügen wir uns selbst. In dieser Präsentation geht es um Online-KPIs und wie man mit vollkommen korrekten Zahlen trotzdem zu falschen Ergebnissen kommen kann.

Den Abschluss bilden 10 Punkte, wie man Statistik-Manipulationen erkennen kann.

Lassen Sie Sich von hübschen Grafiken belügen? Finden Sie es heraus!

Veröffentlicht in: Business

Statistik-Manipulationen: Lügen meine Leistungskennzahlen?

  1. 1. Lügen meine Leistungskennzahlen? Niels Dahnke Madsack Market Solutions GmbH Belügen wir uns selbst? Was sind die relevanten Zahlen? Wie erkennt man Manipulationen?
  2. 2. Niels Dahnke Folie: 2 • Seit 2011 bei Madsack • Vorher 10 Jahre heise online • EDV-Beratung seit 1997 • Erste kommerzielle Online-Projekte 1995 • Veröffentlichungen in Fachzeitschriften • Redner auf Fachkonferenzen • Mitglied im IHK-Prüfungsausschuss • Referent der Niedersächsischen Akademie Niels Dahnke – Lügen meine Leistungskennzahlen?
  3. 3. Wieso können KPIs lügen? Folie: 3 • Weil wir die falschen Fragen stellen. • Weil wir sie falsch berechnen. • Weil wir uns verrechnen. • Weil wir sie missbrauchen. Niels Dahnke – Lügen meine Leistungskennzahlen? Abbildung: depositphotos.com
  4. 4. Leistungskennzahlen (KPIs) Der Begriff Key Performance Indicator (KPI) bzw. Leistungskennzahl bezeichnet in der Betriebswirtschaftslehre Kennzahlen, anhand derer der Fortschritt oder der Erfüllungsgrad hinsichtlich wichtiger Zielsetzungen oder kritischer Erfolgsfaktoren innerhalb einer Organisation gemessen und/oder ermittelt werden kann. Quelle: Wikipedia Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 4
  5. 5. Eigenschaften von KPIs • Kennzahlen sind stets mit direkten oder indirekten Geschäftszielen verbunden. • Kennzahlen zeichnen sich durch ihre Aussagekraft in einem bestimmten geschäftlichen Rahmen aus. • Kennzahlen verdichten verschiedene Informationen zu einer Zahl, um Ziele kurz und klar darstellen und messen zu können. • Kennzahlen beweisen sich in der Praxis oder sind über"üssig. • Kennzahlen beantworten die Frage des Erfolgs. Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 5
  6. 6. Ziele messen mit KPIs • Wer nicht fragt... ...bekommt keine Antwort. • Wer falsch fragt... ...bekommt keine zielführenden Antworten. • Wer nicht hinterfragt... ...trifft falsche Entscheidungen. Abbildung: depositphotos.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 6
  7. 7. Ziele erreichen mit KPIs Kennzahlen sind Antworten, die mit klaren Verantwortlichkeiten & Handlungsoptionen verknüpft sein sollten. Abbildung: depositphotos.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 7
  8. 8. Was sind die SEO-KPIs? • Pagerank • Sichtbarkeit / Reichweite • Kennzahlen aus Alexa und Compete • Indexierte Seiten / Videos / Bilder • Google News Oneboxen • Backlinks • verlinkende Domains • verlinkende IPs • Linkstärke • Linktexte Abbildung: depositphotos.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 8
  9. 9. Noch mehr relevante KPIs? • Reichweite • Click-Through-Rate (CTR) / Klickrate • Page Impressions / Seitenabrufe • Visits / Besuche • wiederkehrende Besucher • Verweildauer • Stickiness • Performance der Keywords • Markenbekanntheit • durchschnittliche Bestellwert • Abbruchrate im Bestellprozess • ausgefüllte Kontaktformulare • Zahl der Downloads • Umsatz je Besucherklasse • durchschnittliche Bestellwert • Abbruchrate im Bestellprozess • ausgefüllte Kontaktformulare • Zahl der Downloads • Umsatz je Besucherklasse • Social Media • Erwähnungen • Recommendations • Engagement • Involvement • Sentiment • Markenbekanntheit • Zahl der Nennungen • Reichweite (Freunde / Follower) Abbildung: depositphotos.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 9
  10. 10. Was sind denn nun relevante KPIs? Folie: 10 • KPIs für wen? • Geschäftsführung / Entscheider • Controlling • PR / Kommunikation / Marketing • Einkauf / Vertrieb • Kundenservice • Marktforschung • Produktion / Entwicklung • Strategie Niels Dahnke – Lügen meine Leistungskennzahlen? Abbildung: depositphotos.com
  11. 11. Was sind denn nun relevante KPIs? Folie: 11 • KPIs für was? • Agenturpitch • Monitoring / Marktbeobachtung • Planung • Strategie • Themen / Produkte • Ressourcen (Budget, Personal, Zeit) • Dashboard • Tages- / Monats-Analyse • Echtzeit-Monitoring Niels Dahnke – Lügen meine Leistungskennzahlen? Abbildung: depositphotos.com
  12. 12. Wieso können KPIs lügen? Folie: 12 • Weil wir die falschen Fragen stellen. • Weil wir sie falsch berechnen. • Weil wir uns verrechnen. • Weil wir sie falsch bewerten. • Weil wir sie falsch visualisieren. • Weil wir sie missbrauchen. Niels Dahnke – Lügen meine Leistungskennzahlen? Abbildung: depositphotos.com
  13. 13. Mögliche Fragen • Welche Keywords erzeugen hohe Deckungsbeiträge? • Woher kommen die wertvollsten Besucher? • Wie kann ich die Abbruchrate im Bestellprozess verringern? • Wie hoch ist die vorhandene Reichweite einer Website im Verhältnis zum Potential? • Welche Kampagnen oder Partnerseiten generieren den wertvollsten Traffic? • Was kostet ein neuer Kunde? Folie: 13 Niels Dahnke – Lügen meine Leistungskennzahlen?
  14. 14. Falsch Bewerten, falsche Fragen • Korrelationen – Was ist Ursache und was ist Wirkung? • Bewirkt Social Media ein besseres Ranking? • Oder führt ein gutes Ranking zu mehr Social Signals? Folie: 14 Niels Dahnke – Lügen meine Leistungskennzahlen?
  15. 15. Falsch Bewerten, falsche Fragen • Korrelationen – Was ist Ursache und was ist Wirkung? • Bewirkt Social Media ein besseres Ranking? • Oder führt ein gutes Ranking zu mehr Social Signals? Ist McDonalds für den Weltfrieden wichtig? Folie: 15 Niels Dahnke – Lügen meine Leistungskennzahlen?
  16. 16. Falsch Bewerten, falsche Fragen • Korrelationen – Was ist Ursache und was ist Wirkung? • Bewirkt Social Media ein besseres Ranking? • Oder führt ein gutes Ranking zu mehr Social Signals? Es haben noch nie zwei Länder gegeneinander Krieg geführt, in denen es McDonalds gibt. Folie: 16 Niels Dahnke – Lügen meine Leistungskennzahlen?
  17. 17. Falsch Bewerten, falsche Fragen • Korrelationen – Was ist Ursache und was ist Wirkung? • Bewirkt Social Media ein besseres Ranking? • Oder führt ein gutes Ranking zu mehr Social Signals? Folie: 17 Niels Dahnke – Lügen meine Leistungskennzahlen?
  18. 18. Falsch bewertet? Folie: 18 Alles wird besser, obwohl sich nichts ändert. Garten Heimwerken KFZ Banner-­‐A Banner-­‐B Banner-­‐A Banner-­‐B Niels Dahnke – Lügen meine Leistungskennzahlen? Banner-­‐A Banner-­‐B Ad-­‐Impressions 200 40 20 20 30 100 Klicks 60 8 16 2 24 70 CTR 30% 20% 80% 10% 80% 70% Welche Kampagne ist erfolgreicher, gemessen an der CTR?
  19. 19. Falsch bewertet? Folie: 19 Alles wird besser, obwohl sich nichts ändert. Garten Heimwerken KFZ Banner-­‐A Banner-­‐B Banner-­‐A Banner-­‐B Niels Dahnke – Lügen meine Leistungskennzahlen? Banner-­‐A Banner-­‐B Ad-­‐Impressions 200 40 20 20 30 100 Klicks 60 8 16 2 24 70 CTR 30% 20% 80% 10% 80% 70% Aufsummiert Banner-­‐A Banner-­‐B Ad-­‐Impressions 250 160 Klicks 100 80 CTR 40% 50%
  20. 20. Falsch bewertet? Aus diesem als Will-Rogers-Phänomen bekannten Effekt, sollte man folgenden Schluss ziehen: Folie: 20 Alles wird besser, obwohl sich nichts ändert. Garten Heimwerken KFZ Banner-­‐A Banner-­‐B Banner-­‐A Banner-­‐B Ohne Drill-Down trifft man eventuell falsche Entscheidungen! Niels Dahnke – Lügen meine Leistungskennzahlen? Banner-­‐A Banner-­‐B Ad-­‐Impressions 200 40 20 20 30 100 Klicks 60 8 16 2 24 70 CTR 30% 20% 80% 10% 80% 70% Aufsummiert Banner-­‐A Banner-­‐B Ad-­‐Impressions 250 160 Klicks 100 80 CTR 40% 50%
  21. 21. Falsch gerechnet, falsche Daten Folie: 21 • 90% der Analysten erstellen ihre Berechnungen in Excel • 50% alle Excel-Tabellen sind die Basis für Entscheidungen • Nur 33% der Kalkulationen sind Dokumentiert • Durchschnittliche Lebenszeit eines Excel-Sheets ist 5 Jahre, eine Prüfung der Berechnung $ndet fast nie statt. • Geschätzte Verluste jährlich 10 Milliarden US-Dollar Niels Dahnke – Lügen meine Leistungskennzahlen? Felienne Hermans
  22. 22. Falsch Visualisieren Quelle: www.businessobjects.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 22
  23. 23. Richtig Visualisieren Quelle: www.graphomate.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 23
  24. 24. Visualisierungs-Tricks Folie: 24 Keine Manipulation: Ausgangsdaten Niels Dahnke – Lügen meine Leistungskennzahlen?
  25. 25. Visualisierungs-Tricks Folie: 25 Skalen-Manipulation: Zeitraum begrenzen Niels Dahnke – Lügen meine Leistungskennzahlen?
  26. 26. Visualisierungs-Tricks Skalen-Manipulation: höheres Maximum der y-Achse Folie: 26 Niels Dahnke – Lügen meine Leistungskennzahlen?
  27. 27. Visualisierungs-Tricks Folie: 27 Skalen-Manipulation: niedrigeres Max. auf y-Achse Niels Dahnke – Lügen meine Leistungskennzahlen?
  28. 28. Visualisierungs-Tricks Folie: 28 Skalen-Manipulation: Abstände x-Achse Niels Dahnke – Lügen meine Leistungskennzahlen?
  29. 29. Visualisierungs-Tricks Folie: 29 Skalen-Manipulation: abgeschnittene y-Achse Niels Dahnke – Lügen meine Leistungskennzahlen? Quelle: www.hichert.com
  30. 30. Visualisierungs-Tricks Folie: 30 Skalen-Manipulation: zweite y-Achse Niels Dahnke – Lügen meine Leistungskennzahlen?
  31. 31. Visualisierungs-Tricks Folie: 31 Skalen-Manipulation: logarithmische Teilung Niels Dahnke – Lügen meine Leistungskennzahlen?
  32. 32. Visualisierungs-Tricks Folie: 32 Ausgangsdaten Niels Dahnke – Lügen meine Leistungskennzahlen?
  33. 33. Visualisierungs-Tricks Folie: 33 Skalen-Manipulation: logarithmische Teilung Niels Dahnke – Lügen meine Leistungskennzahlen?
  34. 34. Visualisierungs-Tricks Folie: 34 Manipulation: Ausgangsdaten Niels Dahnke – Lügen meine Leistungskennzahlen?
  35. 35. Visualisierungs-Tricks Folie: 35 Manipulation: Zeitfenster wählen Niels Dahnke – Lügen meine Leistungskennzahlen?
  36. 36. Visualisierungs-Tricks Folie: 36 Manipulation: Selektion der Datenpunkte Niels Dahnke – Lügen meine Leistungskennzahlen?
  37. 37. Visualisierungs-Tricks Folie: 37 Manipulation: Selektion der Datenpunkte Niels Dahnke – Lügen meine Leistungskennzahlen?
  38. 38. Visualisierungs-Tricks Folie: 38 Manipulation: Selektion der Datenpunkte Niels Dahnke – Lügen meine Leistungskennzahlen?
  39. 39. Visualisierungs-Tricks Folie: 39 Manipulation: Selektion der Datenpunkte Niels Dahnke – Lügen meine Leistungskennzahlen?
  40. 40. Visualisierungs-Tricks Folie: 40 Steigerung in Prozent Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant Steigerung um 2.600% Niels Dahnke – Lügen meine Leistungskennzahlen?
  41. 41. Visualisierungs-Tricks Folie: 41 Steigerung in Prozent Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant Steigerung um 2.600% Niels Dahnke – Lügen meine Leistungskennzahlen?
  42. 42. Wieso können KPIs lügen? Folie: 42 Typische Datenmanipulationen • Skalen-Manipulation • Achsen stauchen / strecken • Achsen abschneiden • Datenreihen abschneiden • Wahl des Zeitfensters • Darstellungsformen • Einheiten-Tricks • Wahl der Vergleichswerte • Begrenzte Fragestellung • Stichproben Niels Dahnke – Lügen meine Leistungskennzahlen? Abbildung: depositphotos.com
  43. 43. So prüft man Statistiken Folie: 43 1. Sind die Werte für mich überhaupt relevant? 2. Sind die Zahlen überhaupt ermittelbar? 3. Visuelle Manipulationen ausschließen. 4. Vergleichsdaten besorgen und vergleichen. 5. Ein"ussfaktoren & deren Gewichtung bestimmen. 6. Nachrechnen mit eigenen Formeln. 7. Daten hinter den Gra$ken anfordern. 8. Was genau werde berechnet? 9. Querdenken um Fehler zu $nden. 10. Je höher die Investitionssumme, desto mehr Zeit für die Prüfung einplanen. Niels Dahnke – Lügen meine Leistungskennzahlen?
  44. 44. KPIs vs. Firmenpolitik Quelle: www.dilbert.com Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 44
  45. 45. Sie haben noch Fragen? Niels Dahnke

×