Vortrag kennzahlen-pardoxon __ schaffner

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
„Vom Wiegen wird die Sau nicht fett!“
Prof. Dr.-Ing. Michael Schaffner
FOM Berlin Hochschule für Oekonomie & Management
BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH
– Oder: Das Kennzahlen-Paradoxon –
tekom Regionalgruppe Bodenseeraum | Konstanz | 24.07.2018© liusa - Fotolia.com

Kurzvorstellung
2
 BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH
 Gründer und Inhaber
 Berater für u.a. Wissensmanagement, Technische Kommunikation, Management von
Innovationsprozessen und Change-Management, Druck- und Verlagswesen
 FOM Hochschule für Oekonomie und Management gGmbH
 Lehrstuhl „Allgemeine BWL - Schwerpunkt Organisation
und Innovationsmanagement“
 weitere Funktionen
o kooptierter Wissenschaftler im FOM KompetenzCenter Technologie- und Innovationsmanagement (KCT)
o wissenschaftlicher Studienleiter der FOM Open Business School (OBS), Standort Berlin
o Studienleiter für Kooperation & Wirtschaftskontakte, Standort Berlin
zuvor u.a.
 Geschäftsführer der euroscript-Unternehmen in Deutschland (heute: Amplexor)
 Professor für Audiovisuelle Medientechnik, HTWK Leipzig
 freiberuflicher Unternehmensberater (Gründung der Fa. BIOS im Jahr 1985)
 Promotion, Themengebiet „Innovationsmanagement im Medienwesen“
 wissenschaftlicher Projektleiter, Institut für angewandte Innovationsforschung IAI e.V.
 Studium der Arbeitsökonomie und Studium der Nachrichten-/Automatisierungstechnik
 Ausbildung zum Industriekaufmann
24.07.2018

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
324.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
4 Wie weiter?

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 424.07.2018 © bluedesign - Fotolia.com
Wahrnehmung
ist immer subjektiv!

1. Was ist eigentlich das Problem
Subjektive Wahrnehmung
5
Sind die Farben in den Feldern „A“ und „B“ gleich?
 Schachbrett-Illusion nach Edward Adelson
 oft dienen Hilfsgrößen
der Erkenntnis
24.07.2018
Quelle: www.kreativrauschen.de/blog/2008/02/09/die-schachbrett-illusion-optische-taeuschung/

Subjektive Wahrnehmung
6
Was bedeutet zum Beispiel …?
 … Qualität von Sprache?
 … Termintreue?
 … Budgeteinhaltung (hinsichtlich möglicher Toleranzen)?
 … Redundanz?
 … Quote von wiederverwendeten Objekten?
 …
 Es braucht klar definierte Erwartungs- und/oder Messkriterien
24.07.2018

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7
© fotomek - Fotolia.com
24.07.2018

1. Was ist eigentlich das Problem?
9
Was ist eigentlich das Problem?
Verlust von Glaubwürdigkeit
durch Nachlässigkeit in der
Erhebung, Auswertung und Interpretation
der Kennzahlen
 4 Beispiele
24.07.2018

Beispiel: Rattenplage in Hanoi
1024.07.2018
www.rattengift.com/der-rattenfanger-von-hameln (20.07.2018)

Beispiel: Branchenstrukturanalyse
12
Untersuchung der Arbeitnehmer-Gehaltsstruktur einer Branche
 Fall-Unternehmen mit sieben Mitarbeitenden
 Datenreihe: [1500, 1500, 1600, 1650, 1700, 1800, 7000]
arithmetischer Mittelwert: 2.393 €
 der Median ist robuster bei Datenreihen mit Ausreißern
 Alternative: getrimmter Mittelwert (1.625 €)
24.07.2018
Modalwert Median
Ausreißer: angestellter Geschäftsführer
 verfälscht das Bild

© yuryimaging - Fotolia.com
24.07.2018 13

Beispiel: Klapperstorch
14
Regressionsgerade
= linear gerichteter Zusammenhang zwischen zwei oder mehr Variablen
 Anzahl brütende Storchenpaare in europ. Ländern zu Geburtsraten bei Menschen
 ABER: kein kausaler
Zusammenhang (x ⇒ y),
sondern (z ⇒ y), wobei
z = Größe der Länder
Matthews, R. (2000): Storks deliver babies (p= 0.008); in: Teaching Statistics, Jg. 22, Heft 2, S. 36-38 (37)
24.07.2018

© werbefoto-burger.ch - Fotolia.com
24.07.2018 15

Beispiel: Stickstoffdioxide 1/2
16
 aufgrund höherer Grenzwertüberschreitungen wirken
Dieselmotoren (Stickstoffdioxide) bedrohlicher als Benziner (Feinstaub)
24.07.2018
Lesch’s Kosmos (2018): Feinstaub & Co. –
die Wahrheit über das Risiko, ZDF, 17.07.2018

Beispiel: Stickstoffdioxide 2/2
17
 Doch wie und vom wem wird der Maßstab angelegt?
24.07.2018
Lesch’s Kosmos (2018): Feinstaub & Co. –
die Wahrheit über das Risiko, ZDF, 17.07.2018

1. Was ist eigentlich das Problem?
Paradoxon
1924.07.2018
Was passiert, wenn uns die Wirklichkeit nur vorgegauckelt wird?
Aquarell von Hans Schmidt
Paradoxon
„Befund, eine Aussage oder Erscheinung, die
dem allgemein Erwarteten, der herrschenden
Meinung oder Ähnlichem auf unerwartete
Weise zuwiderläuft oder beim üblichen
Verständnis der betroffenen Gegenstände
bzw. Begriffe zu einem Widerspruch führt.“
[Uwe Meyer: Wörterbuch der Philosophischen Begriffe]

© alphaspirit - Fotolia.com
24.07.2018 20

Agenda
2124.07.2018
4 Wie weiter?

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2224.07.2018
© Sergey Nivens - Fotolia.com

2. Ein Plädoyer für Kennzahlensysteme im Controlling
Effektivität & Effizienz als Controlling-Maßstab
23
Controlling wirkt durch rationalitätssichernde Überlegungen bzw. Handlungen auf
die Entscheidungsfindung bzw. den Entscheidungsvollzug anderer Akteure ein.
 Maßstab für die Rationalität sind die
 Effektivität von Handlungen und Entscheidungen sowie
 deren Effizienz
24.07.2018
Controlling als Führungsfunktion (z.B. Doku-Leiter)
= Reflexionsaufgabe
Controlling als Führungsunterstützungsfunktion (z.B. CIO, CFO)
= (abgeleitete) Informationsaufgabe
Informationsbedarf Informationsbereitstellung
Quelle: Küpper (2013), Controlling, S. 29

Kennzahlen sollen Objektivität schaffen
24
KPI = Key Performance Indicator = Kennzahl
Quantitative Daten, die als bewusste Verdichtung der komplexen Realität
über zahlenmäßig erfassbare, betriebswirtschaftliche Sachverhalte sachlich
informieren sollen.
Kennzahlenarten
24.07.2018
Kennzahlen
Absolute
Kennzahlen
Verhältnis-
zahlen
Einzelwerte
Summen
Differenzen
Mittelwerte
Gliederungszahlen
Indexzahlen
Beziehungszahlen
+
-
%
Vahs, D. / Schäfer-Kunz, J.: Betriebswirtschaftslehre, 5. Aufl., Stuttgart 2007

Kennzahlen sind die GPS-Daten der BWL
2524.07.2018
© Butch – Fotolia.com
 Controlling = Navigationssystem
 Kybernetik: Regelung und Steuerung dynamischer Systeme
 Festlegung, mit welchen Kennzahlen optimalerweise zu arbeiten ist und
wie diese zu interpretieren sind
 Kennzahlen = Steuerungsgröße
 allein das Arbeiten mit Kennzahlen optimiert noch keine Prozesse
 „noch wenig Impulse zur Optimierung von Prozessen“ (Aussage eines RS-Anbieters)
 schlüssige Interpretation oft erst durch Kombination verschiedener Kennzahlen
 Beispiele vordefinierter Kennzahlen (Quelle: TIM RS)
- Anzahl Dokumente nach Dokumententyp, Sprache, Zeiteinheit
- Anzahl Topics nach Typ, Sprache, Zeiteinheit
- Anzahl Medienobjekte nach Typ, Dateiformat, Sprache, Zeiteinheit
- Anzahl Fremddokumente nach Typ, Sprache, Zeiteinheit
- Anzahl der Mehrfachverwendung von Objekten nach Typ, Zeiteinheit
 Einsatz von Report-Generatoren
 Prämisse: Meta-Daten
ABER: Nicht alle Phänomene sind direkt messbar!

2624.07.2018
„Messe alles, was sich messen lässt,
und mache alles messbar,
was sich nicht messen lässt.“
Galileo Galilei
(15.2.1564 - 8.1.1643)

Kennzahlenarten
27
Kennzahlen (manifeste Variable)
z.B. Seminargebühr, Personalkosten einer Einzelperson
z.B. Gesamtbelegschaft, Summe Personalkosten, Summe TD-Kosten
z.B. absolute Abgänge, Fehlzeiten, ÜB-Kosten minus Redundanzrabatte
z.B. Durchschnittsalter der Mitarbeiter, durchschnittliche Matchraten
z.B. Anteil Perso.Kosten von Gesamt, Anteil Term-Fehler je Fehlerklasse
z.B. Krankenstand im Verhältnis zu Basisjahr, Veränderung Fehlerkosten
im Vergleich zum Vorjahr
z.B. Weiterbildungstage pro Mitarbeiter, durchschnittliche Erlöse pro MA
Manifeste Variable als Indikatoren (für latente Variable)
 latente Variable (z.B. Qualität der Dokumentation, Kundenzufriedenheit) werden über
 ein theoretisches Konstrukt (Operationalisierung: Beschreibung empirischer Phänomene)
 mittels manifester Variable (= Indikatoren) messbar gemacht
24.07.2018
Einzelwerte
Summen
Differenzen
Mittelwerte
Gliederungszahlen
Indexzahlen
Beziehungszahlen
+
-
%

KPI-Aussagekraft
28
beschränkte Aussagekraft einzelner Kennzahlen
 oftmals müssen verschiedene Kennzahlen in Kombination betrachtet werden,
um eine schlüssige Interpretation zu bekommen
 Beispiel:
 Quote wiederverwendeter Textbausteine in einem CCMS = Maßzahl für die Wirtschaftlichkeit
 Ist dies tatsächlich so?
o Relation zum Suchaufwand?
o Relation zur Qualität? Und daraus entstehende Nachbesserungskosten…
24.07.2018

Agenda
2924.07.2018
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?

3. Handlungshilfen …
Unklare Kennzahlen
30
strategiegeleitete Entwicklung von Kennzahlen
 Vermeidung von Hinein-Mystifizieren vermuteter Erkenntnisse
24.07.2018
© drubig- Fotolia.com
Was will mir diese
Kennzahl sagen?

Kennzahlenbildung und -analyse
3124.07.2018
Phase 1: Interessierende Sachverhalte
- wirtschaftliche Zielsetzungen (z.B. aus Strategie ableiten)
- Informationsbedürfnis externer Gruppen (z.B. Lieferanten, Shareholder)
- Informationsbedarf des Managements
Phase 2: Definition der Kennzahlen
- präzise Formulierung der notwendigen Kennzahlen
- Klärung mehrdeutiger Begriffe und eindeutige Berechnungsanweisungen
- Sicherstellung von Konsistenz in der Formelanwendung
Phase 3: Erhebung der Daten
- Festlegung der Informationsquellen, Metadaten und Verantwortlichkeiten
- Wahl der Erhebungsform (Zeitraum, Vollerhebung/Stichprobe, Häufigkeit)
- Gegenüberstellung der Erhebungskosten und Steuerungsnutzen
Phase 4: Analyse der Kennzahlenwerte
- Feinanalyse, Benchmarks mit Vergleichsgrößen zur Problemstellung
- Einordnung in den Sinnzusammenhang
- Ursachenanalyse (ggfs. weitere Kennzahlen, Befragungen etc.)
Phase 5: Aktionsplanung
- Ableitung und Durchführung von Maßnahmen zur Zielerreichung
- Überprüfung der Zielerreichung (z.B. Erhebung neuer Kennzahlen)
- ggfs. Anpassung von Zielen, Maßnahmen, Kennzahlen
Informationsaufbereitung
Informationsbereitstellung
Informationsbedarfsermittlung
Informationsbeschaffung
BSC-
Workshop

strategiegeleitete Kennzahlenentwicklung
3224.07.2018
Strategy-Map einer Balanced Scorecard
 Ziele in ihrer
Ursachen-Wirkungs-Beziehung
darstellen
 Transparenz
in der Kennzahlenentwicklung
 Argumentationshilfe
 multi-perspektivisch
 Grundlage für die Überführung
in ein Kennzahlenkonzept
Kennzahlen-Workshop auf der tekom Jahrestagung 2014

Strategy-Map einer BSC
24.07.2018
Innovation/
Wissen
ProzesseKundenFinanzen
höhere User-
Zufriedenheit
Zahlungsmoral
verbessern
Fehlerkosten senken
Profit TechDoc
erhöhen
neue mediale
Plattformen
Einführung
Vorschlagswesen
Einführung
Richtlinien
XML-Kompetenz
erhöhen
Mitarbeiter-
Zufriedenheit steigern
Qualität verbessern
internes Wissens-
management Einführung
Projektmeeting
33

strategiegeleitete Kennzahlenentwicklung
3424.07.2018
Perspektive Ziele Kennzahlen Vorgaben Maßnahmen
Finanzen
Zahlungsmoral verbessern F1.1 … … …
Fehlerkosten senken
F2.1 Fehlerkosten in %
oder €
minus 50%
lückenlöse Erfassung der
Fehlerkosten
F2.2 interne
Fehlerquote
1/10.000 Stichprobenanalyse
Profit TechDoc erhöhen F3.1 … … …
Kunden
höhere User-Zufriedenheit
K. 1.1 Kunden-
zufriedenheitsindex
x Punkte
- Erhebungskonzept
erarbeiten
- Kundenzufriedenheit
2 x im Jahr messen
neue mediale Plattformen
K2.1 … … …
K2.2 … … …
MA-Zufriedenheit steigern K3.1 … … …
… K4.1 … … …
Prozesse
Prozessqualität verbessern
P1.1 Anzahl
Kundenreklas
≤ 5% (zu Anz.
Projekten)
Einführung Mess- und
Bewertungssystem
internes
Wissensmanagement
P2.1 … … …
Einführung Projektmeetings P3.1 Meetingrythmus wöchentlich Spielregeln festlegen
… P4.1 … … …
Wissen/
Richtlinien einführen
W1.1 Anzahl
Regelmissachtungen
0%
- Richtlinien-Kompetenzen
entwickeln
- Regelverstöße messbar
machen

Agenda
3524.07.2018
4 Wie weiter?

Sichtachsen im Controlling
36
Controlling-Struktur
 Sichtachsen
 Zielebene (strategisch bzw. operativ)
 Datencharakter (qualitativ bzw. quantitativ)
 Ausrichtung (Kosten-, Effizienz- bzw. Effektivitätscontrolling)
 Sichtachsen können verknüpft werden
 strategisch-quantitative Kennzahl im Effektivitätscontrolling: „Anzahl jährliche Patente“
o Ziel: Messung der Innovationsführerschaft
o Quelle: Datenbank
 operativ-qualitative Kennzahl: „Kundenzufriedenheit mit Technischer Betriebsanleitung“
o Ziel: Erfolgskontrolle
o Quelle: skalenbasierte Kundenbefragung
 häufiges Controlling-Instrument: Budgets
 potentielles Problem: mit Budgetkontrolle auch Effektivität oder Effizienz steuern zu wollen
 Beispiele für paradoxe Unterstellungen
o Einhaltung Investitionsbudget  hohe Effektivität in der Zielausrichtung der Doku-Abteilung
o Einhaltung Einkaufsbudget für freiberufliche Leistung  hohe Effizienz der Einkaufsprozesse
24.07.2018

Drei Ausrichtungen im Controlling
3724.07.2018
Kosten-
Controlling
Budgeteinhaltung
in der Technischen
Dokumentation
Ziel:
finanzielles
Gleichgewicht
Kosten / Periode
z.B. Einhaltung von Zeit-
und Kostenbudgets für
Betriebsanleitungen
Effizienz-
Controlling
Effizienter Ressourcen-
einsatz in der
Technischen
Dokumentation
Ziel:
Vermeidung von
Verschwendung
Kosten / Prozess
z.B. Prozesskosten-
optimierung je
Erstellungsschritt von
Betriebsanleitungen
Effektivitäts-
Controlling
Erfolgsbeitrag der
Technischen
Dokumentation am
Unternehmenserfolg
Ziel:
Erfolgsbewertung
(Kosten, Nutzen)
Leistungen / Kosten
z.B. Abwendung von
Regressforderungen in
Bezug auf fehlerhafte
Betriebsanleitungen
in Anlehnung an: Wunderer, R; Sailer, M. (1987b): Die Controlling-Funktion im Personalwesen, in: Personalführung, 20. Jg. (1987), Heft 3, S. 287–292.

38
Ihre Positiv-/Negativ-Beispiele für Fehlsteuerungen?
24.07.2018

Agenda
3924.07.2018
4 Wie weiter?

statistische Zusammenhänge
40
Auswertung von Kennzahlen erfolgt statistisch
 Statistik: Lehre von Methoden zum Umgang mit quantitativen Informationen
 Vollerhebung
 Teilerhebung (Stichprobe)
 deskriptive Statistik
 Untersuchung empirischer Daten bzw. 1-dim Datenreihen [x1, x2, x3, … xn]
anhand von Maßzahlen (Mittelwerte, Streuungswerte)
 Ermittlung der Zusammenhänge bezüglich Korrelation und Kausalität
zwischen mehr-dimensionalen Datenreihen [x1, x2, x3, … xn] und [y1, y2, y3, … yn]
 induktive (oder schließende) Statistik
 Übertragung von Befunden aus der (Zufalls-)Stichprobe
auf die zugehörige Grundgesamtheit
 mathematische Verfahren der Wahrscheinlichkeitsrechnung
 kann von einer Stichprobe auf die Grundgesamtheit hochgerechnet werden,
wird von Repräsentativität gesprochen
(z.B. Anzahl Terminologiefehler in einer 1-Promille-Stichprobe)
24.07.2018

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 41
Repräsentativität
Zufallsstichprobe
 jedes Element der Grundgesamtheit
bzw. Merkmalsträgern (z.B. Aufträge,
Textbausteine, Zielpersonen)
 hat die gleiche Chance (konkret: eine
angebbare Wahrscheinlichkeit),
 in die Stichprobe zu gelangen
Quotenstichprobe
 bewusste Auswahl von Elementen
einer Grundgesamtheit
 repräsentative Zusammensetzung
der Stichprobe durch
 Festlegung von Quoten (Häufigkeiten)
an bestimmten Merkmalen
 Verteilung dieser Quoten in der
Grundgesamtheit muss bekannt sein
 Stichprobe muss dieser Verteilung
folgen
24.07.2018
repräsentative Stichprobe
 Charakteristik von Datenerhebungen
 Ziel: aus einer kleinen Stichprobe können Aussagen über
eine wesentlich größere Menge (Grundgesamtheit) getroffen werden

Praxisbeispiele
42
Zufallsstichprobe
 über Zufallszahlengenerator bestimmte Elemente aus der Grundgesamtheit ziehen
 bei 100.000 Textbausteine und 1-Promille-Stichprobe für einen Qualitätscheck
müssten 100 IDs zufallsgestützt generiert und gezogen werden
 relativ einfaches Ziehungsverfahren
 Problem: stochastische Kenntnisse gefordert (Schluss auf die Grundgesamtheit)
bewusste Auswahl von Elementen
 jeder 1.000ste Text-Baustein wird gezogen
 Sicherstellung, dass die Häufigkeitsverteilungen auswertungsrelevanter Merkmale (z.B. verantwortlicher
Redakteur, Kunde, Textart) in der Stichprobe und der Grundgesamtheit identisch sind
 Problem: häufig gibt es projekt-induzierte Verdichtungseffekte
Quotenauswahlverfahren
 relevante Merkmale definieren und deren Quoten (Häufigkeiten) ermitteln
(z.B. Modulgröße, Redakteur, Sprache)
 Stichprobe nach diesen Merkmalen ziehen (= modellgerechter Miniaturquerschnitt der Grundgesamtheit)
 Problem: nicht-triviale Aufgabe
 über Metadaten zwar möglich, aber oft fehlen die Metadaten oder die technischen Möglichkeiten im Redaktionssystem
 bei Auswahl über einen Menschen, könnten subjektive Auswahleffekte das Ergebnis verfälschen
24.07.2018

Agenda
4324.07.2018
4 Wie weiter?

Kennzahlenarbeit ist Statistik
44
„Empirie ohne Güte ist wie Fußball ohne Regeln“
24.07.2018
Orientierung an Gütekriterien
der empirischen Sozialforschung
 Gütekriterien der quantitativen Forschung
 Gütekriterien der qualitativen Forschung zur Plausibilitätssicherung

Gütekriterien quantitativer Forschung
4524.07.2018
Validität
(Gültigkeit)
• Grad der Genauigkeit,
mit dem eine Unter-
suchung das erfasst
(misst oder zählt),
was sie erfassen soll
• keine systematischen
Fehler
• Negativbeispiel:
- einzig die Anzahl „reused
objects“ misst die Effizienz
Reliabilität
(Zuverlässigkeit)
• Zuverlässigkeit einer
Messmethode, bei der
eine wiederholte
Untersuchung unter
denselben Bedingungen
und an denselben
Gegenständen zu
demselben Ergebnis
kommt
• keine zufälligen Fehler
- (zufällig) veränderte
Penalty-Einstellungen
- Ergebnisse eines
Schüler-Praktikanten
fließen mit ein
Objektivität
(Wertfreiheit)
• ein Untersuchungs-
ergebnis wird bei der
Erhebung, Auswertung
und Interpretation nicht
von den Durchführen-
den beeinflusst
• verschiedene Experten
kommen bei gleicher
Erhebung, Auswertung
und Interpretation zu
identischen Ergebnissen
(Intersubjektivität)
- Manipulation der
Stichprobe
- schlecht dokumentierte
Methodik (nicht belastbar)

Gütekriterien qualitativer Forschung 1/2
4624.07.2018
Verfahrensdokumentation
• wertlos sind aus wissenschaftlicher Sicht Erkenntnisse,
deren Erhebungsverfahren nicht dokumentiert sind (Mangel an Nachvollziehbarkeit)
• z.B. bzgl. Controlling-Logik, Erhebungsmethode, Formelberechnungen, Verknüpfung mit
Assistenzdaten
argumentative Interpretationsabsicherung
• belegen empirische Daten nicht unmittelbar evidente (offensichtliche) Sachverhalte und
müssen interpretiert werden, sind diese Interpretationen argumentativ zu begründen
• z.B. bzgl. Klärung eines gemeinsamen Vorverständnisses, theoriegeleitete Deutung
(z.B. anerkannte Gesetzmäßigkeiten), schlüssige Argumentation
• authentisch wirken vor allem auch Widerlegungen oder Negativdeutungen
Regelgeleitetheit
• das beschriebene Vorgehen ist systematisch und schrittweise abzuarbeiten
• Abweichungen (z.B. anderer Erhebungszeitpunkt) sind zu beschreiben und
zu begründen

Gütekriterien qualitativer Forschung 2/2
4724.07.2018
Nähe zum Gegenstand
• Untersuchung fußt auf realistischen Rahmenbedingungen der Arbeitswelt
• keine Labor- oder Experimentalstudien darstellen
kommunikative Validierung
• die Gültigkeit der Ergebnisse durch Rückspiegelung der Ergebnisse sicherstellen
• z.B. „Beforschte“ bestätigen die erarbeiteten Ergebnisse (die Ergebnisse besitzen dann
eine gewisse Gültigkeit)
Triangulation
• sehr bedeutende Forschungsstrategie
• Aussagekraft durch Multi-Perspektivität verbessern
• gleiche Fragestellung auf unterschiedlichen Lösungswegen und
auf Basis verschiedener Datenquellen erzielen vergleichbare oder
plausible Ergebnisse

48
Ihre Erfahrungen mit Gütekriterien in der Kennzahlenarbeit?
24.07.2018

Agenda
4924.07.2018
4 Wie weiter?

Probleme im Kennzahl-Fitting
50
Reicht der Benchmark des Ist-Wertes mit dem Soll-Wert?
 Gefahr: verdeckte Effekte werden übersehen
 Beispiel: Bestimmung einer Orthografie-Fehlerquote (Soll-Wert: 1,3 auf 1.000)
 Messumgebung: 110 Dokumente, 10%-Zufalls-Stichprobe
 Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)
 Ergebnis: arithmetischer Mittelwert = 1,314  Ziel erreicht
 Problem 1: - es gibt einen Ausreißer (orthQuote: 3,5)
- ein Schüler-Praktikant hat temporär mitgewirkt
Lösung: Wahl des Medians
- geordnete Datenreihe: (0,7; 0,75; 0,8, 0,9; 0,9; 1,1; 1,2; 1,3; 1,6; 1,7; 3,5)
 Problem 2: - die Werte streuen weit um den arithmetrischen Mittelwert
- Folge: es gibt sehr zufriedene, aber sehr unzufriedene Kunden
Lösung: Streuungsmaß bestimmen
24.07.2018

Streuung
5124.07.2018
keine Streuung
große Streuung
Mess-/Skalenwerte
Häufigkeit
arithm. Mittelwert
(KPI Ist-Wert) KPI Soll-Wert
 Lageparameter reichen oft nicht aus,
um die Merkmale einer Datenreihe befriedigend zu beschreiben
 arithm. Mittelwert: Wie weit liegen die Einzelwerte von diesem Lageparameter entfernt?
 Streuung: Verteilung von einzelnen Werten um den Mittelwert herum
 Beispiel: Datenreihe a = (10, 50, 100) und b = (49, 50, 51)
haben den gleichen Mittelwert ( ̅𝑥𝑥 = 50), streuen aber unterschiedlich.
Alle Werte sind identisch und nah an der Soll-Kennzahl
 alle Kunden sind zufrieden!
Messwerte liegen nahe am Soll-Wert
 die Kunden sind weitgehend alle zufrieden!
einige Werte liegen weit vom Soll entfernt
 viele Kunden sind zufrieden, einige sind
begeistert, andere aber sehr enttäuscht!
kleine Streuung

Streuungsmaße
5224.07.2018
 Varianz
 mittlere quadratische Abweichung der einzelnen Messwerte 𝑥𝑥𝑖𝑖
vom arithmetischen Mittelwert ̅𝑥𝑥
𝑠𝑠2 =
1
𝑛𝑛
�
𝑖𝑖=1
𝑛𝑛
(𝑥𝑥𝑖𝑖 − ̅𝑥𝑥)2
 Standardabweichung
𝑠𝑠 =
2
𝑠𝑠2
 je geringer Varianz bzw. Standardabweichung, umso geringer ist die Streuung
 die Daten weisen wenig Variabilität aus
 sind alle Werte einer Datenreihe identisch: Varianz bzw. Standardabweichung = 0
 Varianz am Beispiel zuvor:
o Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)  s2 = 0,58
o Datenreihe: (1,2; 1,25; 1,3; 1,3; 1,35; 1,3; 1,32; 1,3; 1,4; 1,26; 1,3)  s2 = 0,003

53
Werden Streuungen um die Kennzahl bei Ihnen in der Praxis beachtet?
24.07.2018

Agenda
5424.07.2018
4 Wie weiter?

Korrelation
55
Maßzahlen
 stehen in einer gemeinsamen Entwicklung zueinanderstehen
 entwickeln sich linear miteinander oder
 entwickeln sich linear gegeneinander
 entwickeln sich nicht-linear
 weisen keinen Zusammenhang auf
24.07.2018
z.B. Anzahl Dokumente
z.B.Metadatenfehler
positiv linear negativ linear

5624.07.2018
vgl. www.statista.de
Korrelation ≠ Kausalität

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 57
Korrelation ≠ Kausalität
Korrelation
misst die Stärke einer statistischen Beziehung
von zwei Variablen zueinander
 positive lineare Korrelation:
„je mehr Variable x desto mehr Variable y“
o „Je mehr ich abends esse, um so dunkler wird
es draußen.“
 negative lineare Korrelation
„je mehr Variable x desto weniger Variable y“
o „Je älter ich werde, um so weniger Pinguine
gibt es in der Antarktis.“
Kausalität
tatsächliche Auswirkung von einer Variable x
auf die Variable y
 [WENN … DANN …] – Konklusion
o „Je mehr ich abends esse, um so satter werde
ich.“
o „Je älter ich werde, umso weniger Lebenszeit
bleibt mir.“
24.07.2018

Korrelation ohne Kausalität
58
positive Korrelation „Schuhgröße zu Gehaltseinkommen“
 Formulierung einer Korrelation:
"Menschen mit größerer Schuhgröße
haben tendenziell ein höheres
Einkommen".
 Formulierung einer Kausalität:
"Die Schuhgröße hat einen Einfluss auf
das Nettoeinkommen".
 Würde der 2. Satz stimmen,
dann könnten Sie sich morgen Schuhe
der Größe 65 kaufen und bekämen
eine saftige Gehaltserhöhung.
24.07.2018
https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/

fake science
59
Das ist weit hergeholt und wird real nicht passieren?
 In der renommierten
New England Journal of Medicine
wurde 2012 ein Artikel veröffentlicht,
der genau diesen Fehler machte
 Feststellung einer Korrelation zwischen
Schokoladenkonsum und
Anzahl an Nobelpreisträgern
in einem Land
 die Autoren schlossen auf einen
Einfluss von Schokolade auf Intelligenz
Quelle: Messerli, Franz H. (2012):
Chocolate Consumption, Cognitive Function
and Nobel Laureates; New England Journal of Medicine,
367:16, 1562-1564.
24.07.2018
https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/

Begrifflichkeiten
60
 Korrelationsrechnung
 untersucht Zusammenhänge zweier metrisch skalierter Datenreihen
(gleichabständige Skalenwerte)
 Kovarianz sxy
 untersucht, ob ein grundsätzlicher Zusammenhang besteht
 mittlere gemeinsame Abweichung der Daten von den Mittelwerten
𝑠𝑠𝑥𝑥𝑥𝑥 =
1
𝑛𝑛
�
𝑖𝑖=1
𝑛𝑛
(𝑥𝑥𝑖𝑖 − ̅𝑥𝑥) � (𝑦𝑦𝑖𝑖 − �𝑦𝑦)
 ist die Kovarianz gleich null, gelten die Merkmale als unkorreliert
 Korrelationskoeffizient rxy
 misst die Stärke eines linearen Zusammenhangs
 nach Bravais-Pearson definiert als Quotient aus der Kovarianz und
dem Produkt der Standardabweichungen
𝑟𝑟𝑥𝑥𝑥𝑥 =
𝑠𝑠𝑥𝑥𝑥𝑥
𝑠𝑠𝑥𝑥 � 𝑠𝑠𝑦𝑦
 Regressionsrechnung
 Modellierung einer geeigneten funktionalen Beziehung zwischen x und y
(z.B. Gerade, Parabel), die die Kausalität begründet
24.07.2018

3.2 Wesentliche Grundgedanken einer wissenschaftlichen Arbeit
Korrelation und Kausalität (2/3)
6124.07.2018
 Korrelationen sind immer ungerichtet
 sie enthalten keine Information darüber, welche Variable eine andere bedingt
(beide Variablen x bzw. y sind gleichberechtigt)
 Korrelationskoeffizient („rxy“)
drückt die Stärke des statistischen Zusammenhangs aus [-1 ; +1]
positive Korrelation negative Korrelationkeine Korrelation

Scheinkorrelationen
62
Beispiele für Scheinkorrelationen
24.07.2018
https://scheinkorrelation.jimdo.com/
Ordensverleihungen durch das Bundespräsidialamt (rot)
und Anzahl der Hamster in Tierversuchen (beige)
r = 0,9802
Übernachtungen in Sachsen (gelb)
und Index der Erzeugerpreise für Blumenkohl (rot)
r = 0,9749
Hausschlachtungsmengen von Schweinen in D (blau)
und Zahl der Beschäftigten im öffentlichen Dienst (orange)
r = 0,9736

Ursachen für Korrelation
63
vier mögliche Ursachen für eine Korrelation zwischen zwei Variablen („r“ ≈ ±1)
1. rein zufälliger Effekt (Scheinkorrelation)
 klassisches Beispiel: die Scheidungsrate im US-Bundesstaat Maine korreliert sehr stark
mit dem Pro-Kopf-Konsum von Margarine („r“ = 0,99258)
 Beispiel: Erneuerung der Arbeitsplatzbeleuchtung „x“ und Verbesserung der Textqualität „y“
2. tatsächlicher Wirkungszusammenhang (x ⇒ y)
 Kausalität
 dieser muss aber nicht monokausal sein, zusätzlich könnte noch
eine dritte Variable z auf y einwirken (x ⇒ y und z ⇒ y)
 Beispiel: Einhaltung von Terminologie (x) wirkt auf redaktionelle Textqualität (y),
zusätzlich wirkt die sprachliche Ausdrucksfähigkeit des Redakteurs (z) auf (y)
2. beidseitiger Zusammenhang (x ⇒ y und y ⇒ x)
 Beispiel: Bekanntheitsgrad eines Produktes (x) und dessen Verkaufszahlen (y).
2. indirekter Zusammenhang (x ⇒ y, aber z ⇒ y)
 Variable x wirkt nur über eine dritte, nicht betrachtete Variable z, auf die Variable y
 Beispiel: Einführung eines Redaktionssystems (x) wirkt nicht direkt auf die Zufriedenheit der Kunden
mit der Produktliteratur (y), sondern nur über die redaktionelle Qualität (z)
 Beispiel: Anzahl der Metadatenfehler (y) steigt nicht mit der Anzahl der Dokumente (x),
sondern mit dem Beauftragen externer Redakteure (z)
24.07.2018

64
Ihre Beispiel für Scheinkorrelationen im Umfeld der TechDok?
24.07.2018

Prüfung auf Kausalität
65
plausible Interpretation von Korrelationen auf Kausalität
 statistisches Analyseverfahren
 Kausalitätsprüfung mittels Regressionsanalyse
 Untersucht Beziehungen zwischen einer abhängigen Variable
von einer oder mehreren unabhängigen Variablen
 strukturprüfendes Verfahren (kein strukturendeckendes Verfahren),
d.h. eine vermutete Hypothese wird auf Kausalität überprüft
 Signifikanztest: untersucht, ob die Befunde der Stichprobe
auf die Grundgesamtheit übertragen werden können (z.B. t-Test)
 pragmatische Verfahren
 Logik (logisches Schließen)
 multiperspektive Diskussion (Wahrung weitgehender Objektivität)
 dialektische Argumentation (These/Antithese)
24.07.2018

Agenda
6624.07.2018
4 Wie weiter?

4. Wie weiter?
Reflexion
67
Falscher Weg
 „Was liefert mir das System für Kennzahlen?“
 dazu geeignete Anwendungsfälle finden
Richtiger Weg
 zielorientiert mit einem Soll-Konzept beginnen „Was wollen wir steuern?“
 anschließend konsequent daran arbeiten, die Erhebungsquellen bereitzustellen
 dazu gehört insbesondere auch eine gewissenhafte Metadaten-Pflege
Phänomen
 Stimme aus der Praxis: „Uns werden unsinnige Kennzahlen vorgegeben.“
 Top-down-Vorgaben sind oft Folge eines fehlenden Buttom-up-Engagements
24.07.2018

4. Wie weiter?
Zusammenfassung
68
1. Strategiegeleitete Kennzahlenentwicklung
2. Schlüssige Zielausrichtung
3. Sinnvolle Stichprobenziehung
4. Beachtung von Gütekriterien
5. Streuungen rund um die Kennzahl erkennen
6. Kausalitäten entdecken
24.07.2018

4. Wie weiter?
Umgang mit Gütekriterien
69
Überprüfen Sie regelmäßig
die Glaubwürdigkeit Ihrer Kennzahlen
durch Reflektion der Gütekriterien!
24.07.2018

4. Wie weiter?
Kennzahlenarbeit ist …
7024.07.2018
Quelle: www.youtube.com/watch?v=06iuga9G9T4
… Präzisionsarbeit

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7124.07.2018

Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 72
Herzlichen Dank
für Ihre Aufmerksamkeit
24.07.2018
© pathdoc - Fotolia.com
Diese Unterlagen sind ausschließlich zu Präsentationszwecken bestimmt.
Alle Inhalten wurden nach bestem Wissen und Gewissen erarbeitet, etwaige Fehler gehen allein zu Lasten des Autors.
Über Anregungen und Verbesserungen freuen wir uns sehr.
Das Copyright liegt bei der BIOS Dr-Ing. Schaffner Beratungsgesellschaft mbH.
BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH
Körtestraße 6a • 10967 Berlin
michael@schaffner.de • www.schaffner.de
Tel: +49 (0)30 69 81 68 - 01
Fax: +49 (0)30 69 81 68 - 02
mobil: +49 (0)171 688 07 59
FOM Hochschule für Oekonomie & Management gGmbH
Hochschulzentrum Berlin
Professur für Allg. BWL - Schwerpunkt Organisation,
Technologie- und Innovationsmanagement
Bismarckstraße 107 • 10625 Berlin
michael.schaffner@fom.de • www.fom.de

Vortrag kennzahlen-pardoxon __ schaffner

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Vortrag kennzahlen-pardoxon __ schaffner

Ähnlich wie Vortrag kennzahlen-pardoxon __ schaffner (11)

Mehr von Michael Schaffner

Mehr von Michael Schaffner (13)

Vortrag kennzahlen-pardoxon __ schaffner