SlideShare ist ein Scribd-Unternehmen logo
1 von 72
Downloaden Sie, um offline zu lesen
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
„Vom Wiegen wird die Sau nicht fett!“
Prof. Dr.-Ing. Michael Schaffner
FOM Berlin Hochschule für Oekonomie & Management
BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH
– Oder: Das Kennzahlen-Paradoxon –
tekom Regionalgruppe Bodenseeraum | Konstanz | 24.07.2018© liusa - Fotolia.com
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Kurzvorstellung
2
Prof. Dr.-Ing. Michael Schaffner
 BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH
 Gründer und Inhaber
 Berater für u.a. Wissensmanagement, Technische Kommunikation, Management von
Innovationsprozessen und Change-Management, Druck- und Verlagswesen
 FOM Hochschule für Oekonomie und Management gGmbH
 Lehrstuhl „Allgemeine BWL - Schwerpunkt Organisation
und Innovationsmanagement“
 weitere Funktionen
o kooptierter Wissenschaftler im FOM KompetenzCenter Technologie- und Innovationsmanagement (KCT)
o wissenschaftlicher Studienleiter der FOM Open Business School (OBS), Standort Berlin
o Studienleiter für Kooperation & Wirtschaftskontakte, Standort Berlin
zuvor u.a.
 Geschäftsführer der euroscript-Unternehmen in Deutschland (heute: Amplexor)
 Professor für Audiovisuelle Medientechnik, HTWK Leipzig
 freiberuflicher Unternehmensberater (Gründung der Fa. BIOS im Jahr 1985)
 Promotion, Themengebiet „Innovationsmanagement im Medienwesen“
 wissenschaftlicher Projektleiter, Institut für angewandte Innovationsforschung IAI e.V.
 Studium der Arbeitsökonomie und Studium der Nachrichten-/Automatisierungstechnik
 Ausbildung zum Industriekaufmann
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
324.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 424.07.2018 © bluedesign - Fotolia.com
Wahrnehmung
ist immer subjektiv!
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Subjektive Wahrnehmung
5
Sind die Farben in den Feldern „A“ und „B“ gleich?
 Schachbrett-Illusion nach Edward Adelson
 oft dienen Hilfsgrößen
der Erkenntnis
24.07.2018
Quelle: www.kreativrauschen.de/blog/2008/02/09/die-schachbrett-illusion-optische-taeuschung/
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Subjektive Wahrnehmung
6
Was bedeutet zum Beispiel …?
 … Qualität von Sprache?
 … Termintreue?
 … Budgeteinhaltung (hinsichtlich möglicher Toleranzen)?
 … Redundanz?
 … Quote von wiederverwendeten Objekten?
 …
 Es braucht klar definierte Erwartungs- und/oder Messkriterien
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7
© fotomek - Fotolia.com
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 820.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 8
© oneinchpunch - Fotolia.com
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem?
9
Was ist eigentlich das Problem?
Verlust von Glaubwürdigkeit
durch Nachlässigkeit in der
Erhebung, Auswertung und Interpretation
der Kennzahlen
 4 Beispiele
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Beispiel: Rattenplage in Hanoi
1024.07.2018
www.rattengift.com/der-rattenfanger-von-hameln (20.07.2018)
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1120.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
© zsv3207 - Fotolia.com
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Beispiel: Branchenstrukturanalyse
12
Untersuchung der Arbeitnehmer-Gehaltsstruktur einer Branche
 Fall-Unternehmen mit sieben Mitarbeitenden
 Datenreihe: [1500, 1500, 1600, 1650, 1700, 1800, 7000]
arithmetischer Mittelwert: 2.393 €
 der Median ist robuster bei Datenreihen mit Ausreißern
 Alternative: getrimmter Mittelwert (1.625 €)
24.07.2018
Modalwert Median
Ausreißer: angestellter Geschäftsführer
 verfälscht das Bild
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1320.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
© yuryimaging - Fotolia.com
24.07.2018 13
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Beispiel: Klapperstorch
14
Regressionsgerade
= linear gerichteter Zusammenhang zwischen zwei oder mehr Variablen
 Anzahl brütende Storchenpaare in europ. Ländern zu Geburtsraten bei Menschen
 ABER: kein kausaler
Zusammenhang (x ⇒ y),
sondern (z ⇒ y), wobei
z = Größe der Länder
Matthews, R. (2000): Storks deliver babies (p= 0.008); in: Teaching Statistics, Jg. 22, Heft 2, S. 36-38 (37)
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1520.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
© werbefoto-burger.ch - Fotolia.com
24.07.2018 15
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Beispiel: Stickstoffdioxide 1/2
16
 aufgrund höherer Grenzwertüberschreitungen wirken
Dieselmotoren (Stickstoffdioxide) bedrohlicher als Benziner (Feinstaub)
24.07.2018
Lesch’s Kosmos (2018): Feinstaub & Co. –
die Wahrheit über das Risiko, ZDF, 17.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem
Beispiel: Stickstoffdioxide 2/2
17
 Doch wie und vom wem wird der Maßstab angelegt?
24.07.2018
Lesch’s Kosmos (2018): Feinstaub & Co. –
die Wahrheit über das Risiko, ZDF, 17.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1820.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1824.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
1. Was ist eigentlich das Problem?
Paradoxon
1924.07.2018
Was passiert, wenn uns die Wirklichkeit nur vorgegauckelt wird?
Aquarell von Hans Schmidt
Paradoxon
„Befund, eine Aussage oder Erscheinung, die
dem allgemein Erwarteten, der herrschenden
Meinung oder Ähnlichem auf unerwartete
Weise zuwiderläuft oder beim üblichen
Verständnis der betroffenen Gegenstände
bzw. Begriffe zu einem Widerspruch führt.“
[Uwe Meyer: Wörterbuch der Philosophischen Begriffe]
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2020.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
© alphaspirit - Fotolia.com
24.07.2018 20
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
2124.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2224.07.2018
© Sergey Nivens - Fotolia.com
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
2. Ein Plädoyer für Kennzahlensysteme im Controlling
Effektivität & Effizienz als Controlling-Maßstab
23
Controlling wirkt durch rationalitätssichernde Überlegungen bzw. Handlungen auf
die Entscheidungsfindung bzw. den Entscheidungsvollzug anderer Akteure ein.
 Maßstab für die Rationalität sind die
 Effektivität von Handlungen und Entscheidungen sowie
 deren Effizienz
24.07.2018
Controlling als Führungsfunktion (z.B. Doku-Leiter)
= Reflexionsaufgabe
Controlling als Führungsunterstützungsfunktion (z.B. CIO, CFO)
= (abgeleitete) Informationsaufgabe
Informationsbedarf Informationsbereitstellung
Quelle: Küpper (2013), Controlling, S. 29
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
2. Ein Plädoyer für Kennzahlensysteme im Controlling
Kennzahlen sollen Objektivität schaffen
24
KPI = Key Performance Indicator = Kennzahl
Quantitative Daten, die als bewusste Verdichtung der komplexen Realität
über zahlenmäßig erfassbare, betriebswirtschaftliche Sachverhalte sachlich
informieren sollen.
Kennzahlenarten
24.07.2018
Kennzahlen
Absolute
Kennzahlen
Verhältnis-
zahlen
Einzelwerte
Summen
Differenzen
Mittelwerte
Gliederungszahlen
Indexzahlen
Beziehungszahlen
+
-
%
Vahs, D. / Schäfer-Kunz, J.: Betriebswirtschaftslehre, 5. Aufl., Stuttgart 2007
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
2. Ein Plädoyer für Kennzahlensysteme im Controlling
Kennzahlen sind die GPS-Daten der BWL
2524.07.2018
© Butch – Fotolia.com
 Controlling = Navigationssystem
 Kybernetik: Regelung und Steuerung dynamischer Systeme
 Festlegung, mit welchen Kennzahlen optimalerweise zu arbeiten ist und
wie diese zu interpretieren sind
 Kennzahlen = Steuerungsgröße
 allein das Arbeiten mit Kennzahlen optimiert noch keine Prozesse
 „noch wenig Impulse zur Optimierung von Prozessen“ (Aussage eines RS-Anbieters)
 schlüssige Interpretation oft erst durch Kombination verschiedener Kennzahlen
 Beispiele vordefinierter Kennzahlen (Quelle: TIM RS)
- Anzahl Dokumente nach Dokumententyp, Sprache, Zeiteinheit
- Anzahl Topics nach Typ, Sprache, Zeiteinheit
- Anzahl Medienobjekte nach Typ, Dateiformat, Sprache, Zeiteinheit
- Anzahl Fremddokumente nach Typ, Sprache, Zeiteinheit
- Anzahl der Mehrfachverwendung von Objekten nach Typ, Zeiteinheit
 Einsatz von Report-Generatoren
 Prämisse: Meta-Daten
ABER: Nicht alle Phänomene sind direkt messbar!
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
2. Ein Plädoyer für Kennzahlensysteme im Controlling
2624.07.2018
„Messe alles, was sich messen lässt,
und mache alles messbar,
was sich nicht messen lässt.“
Galileo Galilei
(15.2.1564 - 8.1.1643)
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
2. Ein Plädoyer für Kennzahlensysteme im Controlling
Kennzahlenarten
27
Kennzahlen (manifeste Variable)
z.B. Seminargebühr, Personalkosten einer Einzelperson
z.B. Gesamtbelegschaft, Summe Personalkosten, Summe TD-Kosten
z.B. absolute Abgänge, Fehlzeiten, ÜB-Kosten minus Redundanzrabatte
z.B. Durchschnittsalter der Mitarbeiter, durchschnittliche Matchraten
z.B. Anteil Perso.Kosten von Gesamt, Anteil Term-Fehler je Fehlerklasse
z.B. Krankenstand im Verhältnis zu Basisjahr, Veränderung Fehlerkosten
im Vergleich zum Vorjahr
z.B. Weiterbildungstage pro Mitarbeiter, durchschnittliche Erlöse pro MA
Manifeste Variable als Indikatoren (für latente Variable)
 latente Variable (z.B. Qualität der Dokumentation, Kundenzufriedenheit) werden über
 ein theoretisches Konstrukt (Operationalisierung: Beschreibung empirischer Phänomene)
 mittels manifester Variable (= Indikatoren) messbar gemacht
24.07.2018
Einzelwerte
Summen
Differenzen
Mittelwerte
Gliederungszahlen
Indexzahlen
Beziehungszahlen
+
-
%
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
2. Ein Plädoyer für Kennzahlensysteme im Controlling
KPI-Aussagekraft
28
beschränkte Aussagekraft einzelner Kennzahlen
 oftmals müssen verschiedene Kennzahlen in Kombination betrachtet werden,
um eine schlüssige Interpretation zu bekommen
 Beispiel:
 Quote wiederverwendeter Textbausteine in einem CCMS = Maßzahl für die Wirtschaftlichkeit
 Ist dies tatsächlich so?
o Relation zum Suchaufwand?
o Relation zur Qualität? Und daraus entstehende Nachbesserungskosten…
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
2924.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Unklare Kennzahlen
30
strategiegeleitete Entwicklung von Kennzahlen
 Vermeidung von Hinein-Mystifizieren vermuteter Erkenntnisse
24.07.2018
© drubig- Fotolia.com
Was will mir diese
Kennzahl sagen?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Kennzahlenbildung und -analyse
3124.07.2018
Phase 1: Interessierende Sachverhalte
- wirtschaftliche Zielsetzungen (z.B. aus Strategie ableiten)
- Informationsbedürfnis externer Gruppen (z.B. Lieferanten, Shareholder)
- Informationsbedarf des Managements
Phase 2: Definition der Kennzahlen
- präzise Formulierung der notwendigen Kennzahlen
- Klärung mehrdeutiger Begriffe und eindeutige Berechnungsanweisungen
- Sicherstellung von Konsistenz in der Formelanwendung
Phase 3: Erhebung der Daten
- Festlegung der Informationsquellen, Metadaten und Verantwortlichkeiten
- Wahl der Erhebungsform (Zeitraum, Vollerhebung/Stichprobe, Häufigkeit)
- Gegenüberstellung der Erhebungskosten und Steuerungsnutzen
Phase 4: Analyse der Kennzahlenwerte
- Feinanalyse, Benchmarks mit Vergleichsgrößen zur Problemstellung
- Einordnung in den Sinnzusammenhang
- Ursachenanalyse (ggfs. weitere Kennzahlen, Befragungen etc.)
Phase 5: Aktionsplanung
- Ableitung und Durchführung von Maßnahmen zur Zielerreichung
- Überprüfung der Zielerreichung (z.B. Erhebung neuer Kennzahlen)
- ggfs. Anpassung von Zielen, Maßnahmen, Kennzahlen
Informationsaufbereitung
Informationsbereitstellung
Informationsbedarfsermittlung
Informationsbeschaffung
BSC-
Workshop
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
strategiegeleitete Kennzahlenentwicklung
3224.07.2018
Strategy-Map einer Balanced Scorecard
 Ziele in ihrer
Ursachen-Wirkungs-Beziehung
darstellen
 Transparenz
in der Kennzahlenentwicklung
 Argumentationshilfe
 multi-perspektivisch
 Grundlage für die Überführung
in ein Kennzahlenkonzept
Kennzahlen-Workshop auf der tekom Jahrestagung 2014
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Strategy-Map einer BSC
24.07.2018
Innovation/
Wissen
ProzesseKundenFinanzen
höhere User-
Zufriedenheit
Zahlungsmoral
verbessern
Fehlerkosten senken
Profit TechDoc
erhöhen
neue mediale
Plattformen
Einführung
Vorschlagswesen
Einführung
Richtlinien
XML-Kompetenz
erhöhen
Mitarbeiter-
Zufriedenheit steigern
Qualität verbessern
internes Wissens-
management Einführung
Projektmeeting
33
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
strategiegeleitete Kennzahlenentwicklung
3424.07.2018
Perspektive Ziele Kennzahlen Vorgaben Maßnahmen
Finanzen
Zahlungsmoral verbessern F1.1 … … …
Fehlerkosten senken
F2.1 Fehlerkosten in %
oder €
minus 50%
lückenlöse Erfassung der
Fehlerkosten
F2.2 interne
Fehlerquote
1/10.000 Stichprobenanalyse
Profit TechDoc erhöhen F3.1 … … …
Kunden
höhere User-Zufriedenheit
K. 1.1 Kunden-
zufriedenheitsindex
x Punkte
- Erhebungskonzept
erarbeiten
- Kundenzufriedenheit
2 x im Jahr messen
neue mediale Plattformen
K2.1 … … …
K2.2 … … …
MA-Zufriedenheit steigern K3.1 … … …
… K4.1 … … …
Prozesse
Prozessqualität verbessern
P1.1 Anzahl
Kundenreklas
≤ 5% (zu Anz.
Projekten)
Einführung Mess- und
Bewertungssystem
internes
Wissensmanagement
P2.1 … … …
Einführung Projektmeetings P3.1 Meetingrythmus wöchentlich Spielregeln festlegen
… P4.1 … … …
Wissen/
Richtlinien einführen
W1.1 Anzahl
Regelmissachtungen
0%
- Richtlinien-Kompetenzen
entwickeln
- Regelverstöße messbar
machen
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
3524.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Sichtachsen im Controlling
36
Controlling-Struktur
 Sichtachsen
 Zielebene (strategisch bzw. operativ)
 Datencharakter (qualitativ bzw. quantitativ)
 Ausrichtung (Kosten-, Effizienz- bzw. Effektivitätscontrolling)
 Sichtachsen können verknüpft werden
 strategisch-quantitative Kennzahl im Effektivitätscontrolling: „Anzahl jährliche Patente“
o Ziel: Messung der Innovationsführerschaft
o Quelle: Datenbank
 operativ-qualitative Kennzahl: „Kundenzufriedenheit mit Technischer Betriebsanleitung“
o Ziel: Erfolgskontrolle
o Quelle: skalenbasierte Kundenbefragung
 häufiges Controlling-Instrument: Budgets
 potentielles Problem: mit Budgetkontrolle auch Effektivität oder Effizienz steuern zu wollen
 Beispiele für paradoxe Unterstellungen
o Einhaltung Investitionsbudget  hohe Effektivität in der Zielausrichtung der Doku-Abteilung
o Einhaltung Einkaufsbudget für freiberufliche Leistung  hohe Effizienz der Einkaufsprozesse
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Drei Ausrichtungen im Controlling
3724.07.2018
Kosten-
Controlling
Budgeteinhaltung
in der Technischen
Dokumentation
Ziel:
finanzielles
Gleichgewicht
Kosten / Periode
z.B. Einhaltung von Zeit-
und Kostenbudgets für
Betriebsanleitungen
Effizienz-
Controlling
Effizienter Ressourcen-
einsatz in der
Technischen
Dokumentation
Ziel:
Vermeidung von
Verschwendung
Kosten / Prozess
z.B. Prozesskosten-
optimierung je
Erstellungsschritt von
Betriebsanleitungen
Effektivitäts-
Controlling
Erfolgsbeitrag der
Technischen
Dokumentation am
Unternehmenserfolg
Ziel:
Erfolgsbewertung
(Kosten, Nutzen)
Leistungen / Kosten
z.B. Abwendung von
Regressforderungen in
Bezug auf fehlerhafte
Betriebsanleitungen
in Anlehnung an: Wunderer, R; Sailer, M. (1987b): Die Controlling-Funktion im Personalwesen, in: Personalführung, 20. Jg. (1987), Heft 3, S. 287–292.
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
38
Ihre Positiv-/Negativ-Beispiele für Fehlsteuerungen?
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
3924.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
statistische Zusammenhänge
40
Auswertung von Kennzahlen erfolgt statistisch
 Statistik: Lehre von Methoden zum Umgang mit quantitativen Informationen
 Vollerhebung
 Teilerhebung (Stichprobe)
 deskriptive Statistik
 Untersuchung empirischer Daten bzw. 1-dim Datenreihen [x1, x2, x3, … xn]
anhand von Maßzahlen (Mittelwerte, Streuungswerte)
 Ermittlung der Zusammenhänge bezüglich Korrelation und Kausalität
zwischen mehr-dimensionalen Datenreihen [x1, x2, x3, … xn] und [y1, y2, y3, … yn]
 induktive (oder schließende) Statistik
 Übertragung von Befunden aus der (Zufalls-)Stichprobe
auf die zugehörige Grundgesamtheit
 mathematische Verfahren der Wahrscheinlichkeitsrechnung
 kann von einer Stichprobe auf die Grundgesamtheit hochgerechnet werden,
wird von Repräsentativität gesprochen
(z.B. Anzahl Terminologiefehler in einer 1-Promille-Stichprobe)
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 41
3. Handlungshilfen …
Repräsentativität
Zufallsstichprobe
 jedes Element der Grundgesamtheit
bzw. Merkmalsträgern (z.B. Aufträge,
Textbausteine, Zielpersonen)
 hat die gleiche Chance (konkret: eine
angebbare Wahrscheinlichkeit),
 in die Stichprobe zu gelangen
Quotenstichprobe
 bewusste Auswahl von Elementen
einer Grundgesamtheit
 repräsentative Zusammensetzung
der Stichprobe durch
 Festlegung von Quoten (Häufigkeiten)
an bestimmten Merkmalen
 Verteilung dieser Quoten in der
Grundgesamtheit muss bekannt sein
 Stichprobe muss dieser Verteilung
folgen
24.07.2018
repräsentative Stichprobe
 Charakteristik von Datenerhebungen
 Ziel: aus einer kleinen Stichprobe können Aussagen über
eine wesentlich größere Menge (Grundgesamtheit) getroffen werden
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Praxisbeispiele
42
Zufallsstichprobe
 über Zufallszahlengenerator bestimmte Elemente aus der Grundgesamtheit ziehen
 bei 100.000 Textbausteine und 1-Promille-Stichprobe für einen Qualitätscheck
müssten 100 IDs zufallsgestützt generiert und gezogen werden
 relativ einfaches Ziehungsverfahren
 Problem: stochastische Kenntnisse gefordert (Schluss auf die Grundgesamtheit)
bewusste Auswahl von Elementen
 jeder 1.000ste Text-Baustein wird gezogen
 Sicherstellung, dass die Häufigkeitsverteilungen auswertungsrelevanter Merkmale (z.B. verantwortlicher
Redakteur, Kunde, Textart) in der Stichprobe und der Grundgesamtheit identisch sind
 Problem: häufig gibt es projekt-induzierte Verdichtungseffekte
Quotenauswahlverfahren
 relevante Merkmale definieren und deren Quoten (Häufigkeiten) ermitteln
(z.B. Modulgröße, Redakteur, Sprache)
 Stichprobe nach diesen Merkmalen ziehen (= modellgerechter Miniaturquerschnitt der Grundgesamtheit)
 Problem: nicht-triviale Aufgabe
 über Metadaten zwar möglich, aber oft fehlen die Metadaten oder die technischen Möglichkeiten im Redaktionssystem
 bei Auswahl über einen Menschen, könnten subjektive Auswahleffekte das Ergebnis verfälschen
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
4324.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Kennzahlenarbeit ist Statistik
44
„Empirie ohne Güte ist wie Fußball ohne Regeln“
24.07.2018
Orientierung an Gütekriterien
der empirischen Sozialforschung
 Gütekriterien der quantitativen Forschung
 Gütekriterien der qualitativen Forschung zur Plausibilitätssicherung
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Gütekriterien quantitativer Forschung
4524.07.2018
Validität
(Gültigkeit)
• Grad der Genauigkeit,
mit dem eine Unter-
suchung das erfasst
(misst oder zählt),
was sie erfassen soll
• keine systematischen
Fehler
• Negativbeispiel:
- einzig die Anzahl „reused
objects“ misst die Effizienz
Reliabilität
(Zuverlässigkeit)
• Zuverlässigkeit einer
Messmethode, bei der
eine wiederholte
Untersuchung unter
denselben Bedingungen
und an denselben
Gegenständen zu
demselben Ergebnis
kommt
• keine zufälligen Fehler
• Negativbeispiel:
- (zufällig) veränderte
Penalty-Einstellungen
- Ergebnisse eines
Schüler-Praktikanten
fließen mit ein
Objektivität
(Wertfreiheit)
• ein Untersuchungs-
ergebnis wird bei der
Erhebung, Auswertung
und Interpretation nicht
von den Durchführen-
den beeinflusst
• verschiedene Experten
kommen bei gleicher
Erhebung, Auswertung
und Interpretation zu
identischen Ergebnissen
(Intersubjektivität)
• Negativbeispiel:
- Manipulation der
Stichprobe
- schlecht dokumentierte
Methodik (nicht belastbar)
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Gütekriterien qualitativer Forschung 1/2
4624.07.2018
Verfahrensdokumentation
• wertlos sind aus wissenschaftlicher Sicht Erkenntnisse,
deren Erhebungsverfahren nicht dokumentiert sind (Mangel an Nachvollziehbarkeit)
• z.B. bzgl. Controlling-Logik, Erhebungsmethode, Formelberechnungen, Verknüpfung mit
Assistenzdaten
argumentative Interpretationsabsicherung
• belegen empirische Daten nicht unmittelbar evidente (offensichtliche) Sachverhalte und
müssen interpretiert werden, sind diese Interpretationen argumentativ zu begründen
• z.B. bzgl. Klärung eines gemeinsamen Vorverständnisses, theoriegeleitete Deutung
(z.B. anerkannte Gesetzmäßigkeiten), schlüssige Argumentation
• authentisch wirken vor allem auch Widerlegungen oder Negativdeutungen
Regelgeleitetheit
• das beschriebene Vorgehen ist systematisch und schrittweise abzuarbeiten
• Abweichungen (z.B. anderer Erhebungszeitpunkt) sind zu beschreiben und
zu begründen
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Gütekriterien qualitativer Forschung 2/2
4724.07.2018
Nähe zum Gegenstand
• Untersuchung fußt auf realistischen Rahmenbedingungen der Arbeitswelt
• keine Labor- oder Experimentalstudien darstellen
kommunikative Validierung
• die Gültigkeit der Ergebnisse durch Rückspiegelung der Ergebnisse sicherstellen
• z.B. „Beforschte“ bestätigen die erarbeiteten Ergebnisse (die Ergebnisse besitzen dann
eine gewisse Gültigkeit)
Triangulation
• sehr bedeutende Forschungsstrategie
• Aussagekraft durch Multi-Perspektivität verbessern
• gleiche Fragestellung auf unterschiedlichen Lösungswegen und
auf Basis verschiedener Datenquellen erzielen vergleichbare oder
plausible Ergebnisse
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
48
Ihre Erfahrungen mit Gütekriterien in der Kennzahlenarbeit?
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
4924.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Probleme im Kennzahl-Fitting
50
Reicht der Benchmark des Ist-Wertes mit dem Soll-Wert?
 Gefahr: verdeckte Effekte werden übersehen
 Beispiel: Bestimmung einer Orthografie-Fehlerquote (Soll-Wert: 1,3 auf 1.000)
 Messumgebung: 110 Dokumente, 10%-Zufalls-Stichprobe
 Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)
 Ergebnis: arithmetischer Mittelwert = 1,314  Ziel erreicht
 Problem 1: - es gibt einen Ausreißer (orthQuote: 3,5)
- ein Schüler-Praktikant hat temporär mitgewirkt
Lösung: Wahl des Medians
- geordnete Datenreihe: (0,7; 0,75; 0,8, 0,9; 0,9; 1,1; 1,2; 1,3; 1,6; 1,7; 3,5)
 Problem 2: - die Werte streuen weit um den arithmetrischen Mittelwert
- Folge: es gibt sehr zufriedene, aber sehr unzufriedene Kunden
Lösung: Streuungsmaß bestimmen
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Streuung
5124.07.2018
keine Streuung
große Streuung
Mess-/Skalenwerte
Häufigkeit
arithm. Mittelwert
(KPI Ist-Wert) KPI Soll-Wert
 Lageparameter reichen oft nicht aus,
um die Merkmale einer Datenreihe befriedigend zu beschreiben
 arithm. Mittelwert: Wie weit liegen die Einzelwerte von diesem Lageparameter entfernt?
 Streuung: Verteilung von einzelnen Werten um den Mittelwert herum
 Beispiel: Datenreihe a = (10, 50, 100) und b = (49, 50, 51)
haben den gleichen Mittelwert ( ̅𝑥𝑥 = 50), streuen aber unterschiedlich.
Alle Werte sind identisch und nah an der Soll-Kennzahl
 alle Kunden sind zufrieden!
Messwerte liegen nahe am Soll-Wert
 die Kunden sind weitgehend alle zufrieden!
einige Werte liegen weit vom Soll entfernt
 viele Kunden sind zufrieden, einige sind
begeistert, andere aber sehr enttäuscht!
kleine Streuung
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Streuungsmaße
5224.07.2018
 Varianz
 mittlere quadratische Abweichung der einzelnen Messwerte 𝑥𝑥𝑖𝑖
vom arithmetischen Mittelwert ̅𝑥𝑥
𝑠𝑠2 =
1
𝑛𝑛
�
𝑖𝑖=1
𝑛𝑛
(𝑥𝑥𝑖𝑖 − ̅𝑥𝑥)2
 Standardabweichung
𝑠𝑠 =
2
𝑠𝑠2
 je geringer Varianz bzw. Standardabweichung, umso geringer ist die Streuung
 die Daten weisen wenig Variabilität aus
 sind alle Werte einer Datenreihe identisch: Varianz bzw. Standardabweichung = 0
 Varianz am Beispiel zuvor:
o Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)  s2 = 0,58
o Datenreihe: (1,2; 1,25; 1,3; 1,3; 1,35; 1,3; 1,32; 1,3; 1,4; 1,26; 1,3)  s2 = 0,003
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
53
Werden Streuungen um die Kennzahl bei Ihnen in der Praxis beachtet?
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
5424.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
3.1 Strategiegeleitete Kennzahlenentwicklung
3.2 Schlüssige Zielausrichtung
3.3 Sinnvolle Stichprobenziehung
3.4 Beachtung von Gütekriterien
3.5 Streuungen um die Kennzahl erkennen
3.6 Kausalitäten erkennen
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Korrelation
55
Maßzahlen
 stehen in einer gemeinsamen Entwicklung zueinanderstehen
 entwickeln sich linear miteinander oder
 entwickeln sich linear gegeneinander
 entwickeln sich nicht-linear
 weisen keinen Zusammenhang auf
24.07.2018
z.B. Anzahl Dokumente
z.B.Metadatenfehler
positiv linear negativ linear
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
5624.07.2018
vgl. www.statista.de
Korrelation ≠ Kausalität
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 57
3. Handlungshilfen …
Korrelation ≠ Kausalität
Korrelation
misst die Stärke einer statistischen Beziehung
von zwei Variablen zueinander
 positive lineare Korrelation:
„je mehr Variable x desto mehr Variable y“
o „Je mehr ich abends esse, um so dunkler wird
es draußen.“
 negative lineare Korrelation
„je mehr Variable x desto weniger Variable y“
o „Je älter ich werde, um so weniger Pinguine
gibt es in der Antarktis.“
Kausalität
tatsächliche Auswirkung von einer Variable x
auf die Variable y
 [WENN … DANN …] – Konklusion
o „Je mehr ich abends esse, um so satter werde
ich.“
o „Je älter ich werde, umso weniger Lebenszeit
bleibt mir.“
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Korrelation ohne Kausalität
58
positive Korrelation „Schuhgröße zu Gehaltseinkommen“
 Formulierung einer Korrelation:
"Menschen mit größerer Schuhgröße
haben tendenziell ein höheres
Einkommen".
 Formulierung einer Kausalität:
"Die Schuhgröße hat einen Einfluss auf
das Nettoeinkommen".
 Würde der 2. Satz stimmen,
dann könnten Sie sich morgen Schuhe
der Größe 65 kaufen und bekämen
eine saftige Gehaltserhöhung.
24.07.2018
https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
fake science
59
Das ist weit hergeholt und wird real nicht passieren?
 In der renommierten
New England Journal of Medicine
wurde 2012 ein Artikel veröffentlicht,
der genau diesen Fehler machte
 Feststellung einer Korrelation zwischen
Schokoladenkonsum und
Anzahl an Nobelpreisträgern
in einem Land
 die Autoren schlossen auf einen
Einfluss von Schokolade auf Intelligenz
Quelle: Messerli, Franz H. (2012):
Chocolate Consumption, Cognitive Function
and Nobel Laureates; New England Journal of Medicine,
367:16, 1562-1564.
24.07.2018
https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Begrifflichkeiten
60
 Korrelationsrechnung
 untersucht Zusammenhänge zweier metrisch skalierter Datenreihen
(gleichabständige Skalenwerte)
 Kovarianz sxy
 untersucht, ob ein grundsätzlicher Zusammenhang besteht
 mittlere gemeinsame Abweichung der Daten von den Mittelwerten
𝑠𝑠𝑥𝑥𝑥𝑥 =
1
𝑛𝑛
�
𝑖𝑖=1
𝑛𝑛
(𝑥𝑥𝑖𝑖 − ̅𝑥𝑥) � (𝑦𝑦𝑖𝑖 − �𝑦𝑦)
 ist die Kovarianz gleich null, gelten die Merkmale als unkorreliert
 Korrelationskoeffizient rxy
 misst die Stärke eines linearen Zusammenhangs
 nach Bravais-Pearson definiert als Quotient aus der Kovarianz und
dem Produkt der Standardabweichungen
𝑟𝑟𝑥𝑥𝑥𝑥 =
𝑠𝑠𝑥𝑥𝑥𝑥
𝑠𝑠𝑥𝑥 � 𝑠𝑠𝑦𝑦
 Regressionsrechnung
 Modellierung einer geeigneten funktionalen Beziehung zwischen x und y
(z.B. Gerade, Parabel), die die Kausalität begründet
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3.2 Wesentliche Grundgedanken einer wissenschaftlichen Arbeit
Korrelation und Kausalität (2/3)
6124.07.2018
 Korrelationen sind immer ungerichtet
 sie enthalten keine Information darüber, welche Variable eine andere bedingt
(beide Variablen x bzw. y sind gleichberechtigt)
 Korrelationskoeffizient („rxy“)
drückt die Stärke des statistischen Zusammenhangs aus [-1 ; +1]
positive Korrelation negative Korrelationkeine Korrelation
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Scheinkorrelationen
62
Beispiele für Scheinkorrelationen
24.07.2018
https://scheinkorrelation.jimdo.com/
Ordensverleihungen durch das Bundespräsidialamt (rot)
und Anzahl der Hamster in Tierversuchen (beige)
r = 0,9802
Übernachtungen in Sachsen (gelb)
und Index der Erzeugerpreise für Blumenkohl (rot)
r = 0,9749
Hausschlachtungsmengen von Schweinen in D (blau)
und Zahl der Beschäftigten im öffentlichen Dienst (orange)
r = 0,9736
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Ursachen für Korrelation
63
vier mögliche Ursachen für eine Korrelation zwischen zwei Variablen („r“ ≈ ±1)
1. rein zufälliger Effekt (Scheinkorrelation)
 klassisches Beispiel: die Scheidungsrate im US-Bundesstaat Maine korreliert sehr stark
mit dem Pro-Kopf-Konsum von Margarine („r“ = 0,99258)
 Beispiel: Erneuerung der Arbeitsplatzbeleuchtung „x“ und Verbesserung der Textqualität „y“
2. tatsächlicher Wirkungszusammenhang (x ⇒ y)
 Kausalität
 dieser muss aber nicht monokausal sein, zusätzlich könnte noch
eine dritte Variable z auf y einwirken (x ⇒ y und z ⇒ y)
 Beispiel: Einhaltung von Terminologie (x) wirkt auf redaktionelle Textqualität (y),
zusätzlich wirkt die sprachliche Ausdrucksfähigkeit des Redakteurs (z) auf (y)
2. beidseitiger Zusammenhang (x ⇒ y und y ⇒ x)
 Beispiel: Bekanntheitsgrad eines Produktes (x) und dessen Verkaufszahlen (y).
2. indirekter Zusammenhang (x ⇒ y, aber z ⇒ y)
 Variable x wirkt nur über eine dritte, nicht betrachtete Variable z, auf die Variable y
 Beispiel: Einführung eines Redaktionssystems (x) wirkt nicht direkt auf die Zufriedenheit der Kunden
mit der Produktliteratur (y), sondern nur über die redaktionelle Qualität (z)
 Beispiel: Anzahl der Metadatenfehler (y) steigt nicht mit der Anzahl der Dokumente (x),
sondern mit dem Beauftragen externer Redakteure (z)
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
64
Ihre Beispiel für Scheinkorrelationen im Umfeld der TechDok?
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
3. Handlungshilfen …
Prüfung auf Kausalität
65
plausible Interpretation von Korrelationen auf Kausalität
 statistisches Analyseverfahren
 Kausalitätsprüfung mittels Regressionsanalyse
 Untersucht Beziehungen zwischen einer abhängigen Variable
von einer oder mehreren unabhängigen Variablen
 strukturprüfendes Verfahren (kein strukturendeckendes Verfahren),
d.h. eine vermutete Hypothese wird auf Kausalität überprüft
 Signifikanztest: untersucht, ob die Befunde der Stichprobe
auf die Grundgesamtheit übertragen werden können (z.B. t-Test)
 pragmatische Verfahren
 Logik (logisches Schließen)
 multiperspektive Diskussion (Wahrung weitgehender Objektivität)
 dialektische Argumentation (These/Antithese)
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
Agenda
6624.07.2018
„Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon
1 Was ist eigentlich das Problem?
2 Ein Plädoyer für Kennzahlensysteme im Controlling
3 Handlungshilfen zur Vermeidung von Paradoxien
4 Wie weiter?
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
4. Wie weiter?
Reflexion
67
Falscher Weg
 „Was liefert mir das System für Kennzahlen?“
 dazu geeignete Anwendungsfälle finden
Richtiger Weg
 zielorientiert mit einem Soll-Konzept beginnen „Was wollen wir steuern?“
 anschließend konsequent daran arbeiten, die Erhebungsquellen bereitzustellen
 dazu gehört insbesondere auch eine gewissenhafte Metadaten-Pflege
Phänomen
 Stimme aus der Praxis: „Uns werden unsinnige Kennzahlen vorgegeben.“
 Top-down-Vorgaben sind oft Folge eines fehlenden Buttom-up-Engagements
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
4. Wie weiter?
Zusammenfassung
68
1. Strategiegeleitete Kennzahlenentwicklung
2. Schlüssige Zielausrichtung
3. Sinnvolle Stichprobenziehung
4. Beachtung von Gütekriterien
5. Streuungen rund um die Kennzahl erkennen
6. Kausalitäten entdecken
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
4. Wie weiter?
Umgang mit Gütekriterien
69
Überprüfen Sie regelmäßig
die Glaubwürdigkeit Ihrer Kennzahlen
durch Reflektion der Gütekriterien!
24.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz
4. Wie weiter?
Kennzahlenarbeit ist …
7024.07.2018
Quelle: www.youtube.com/watch?v=06iuga9G9T4
… Präzisionsarbeit
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7124.07.2018
Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 72
Herzlichen Dank
für Ihre Aufmerksamkeit
24.07.2018
© pathdoc - Fotolia.com
Diese Unterlagen sind ausschließlich zu Präsentationszwecken bestimmt.
Alle Inhalten wurden nach bestem Wissen und Gewissen erarbeitet, etwaige Fehler gehen allein zu Lasten des Autors.
Über Anregungen und Verbesserungen freuen wir uns sehr.
Das Copyright liegt bei der BIOS Dr-Ing. Schaffner Beratungsgesellschaft mbH.
BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH
Prof. Dr.-Ing. Michael Schaffner
Körtestraße 6a • 10967 Berlin
michael@schaffner.de • www.schaffner.de
Tel: +49 (0)30 69 81 68 - 01
Fax: +49 (0)30 69 81 68 - 02
mobil: +49 (0)171 688 07 59
FOM Hochschule für Oekonomie & Management gGmbH
Hochschulzentrum Berlin
Prof. Dr.-Ing. Michael Schaffner
Professur für Allg. BWL - Schwerpunkt Organisation,
Technologie- und Innovationsmanagement
Bismarckstraße 107 • 10625 Berlin
michael.schaffner@fom.de • www.fom.de

Weitere ähnliche Inhalte

Ähnlich wie Vortrag kennzahlen-pardoxon __ schaffner

Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])
ICV_eV
 
Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])
ICV_eV
 
Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...
Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...
Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...
BodenseeForum_Personal
 
Bereich Organisationsberatung
Bereich OrganisationsberatungBereich Organisationsberatung
Bereich Organisationsberatung
BITE GmbH
 

Ähnlich wie Vortrag kennzahlen-pardoxon __ schaffner (11)

HeidelbergCement Nachhaltigkeitsbericht 2016
HeidelbergCement Nachhaltigkeitsbericht 2016HeidelbergCement Nachhaltigkeitsbericht 2016
HeidelbergCement Nachhaltigkeitsbericht 2016
 
Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])
 
Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])Präsentation entwicklung der ccs])
Präsentation entwicklung der ccs])
 
Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...
Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...
Bodensee-Forum 2010: Dr. Dr. Cay von Fournier - Führungsqualität als Schlüsse...
 
- Erfolgsfaktoren im Projektmanagement - Studienergebnisse und praktische Emp...
- Erfolgsfaktoren im Projektmanagement - Studienergebnisse und praktische Emp...- Erfolgsfaktoren im Projektmanagement - Studienergebnisse und praktische Emp...
- Erfolgsfaktoren im Projektmanagement - Studienergebnisse und praktische Emp...
 
INSTANDHALTUNGSTAGE 2013
INSTANDHALTUNGSTAGE 2013INSTANDHALTUNGSTAGE 2013
INSTANDHALTUNGSTAGE 2013
 
Die Rolle des monetären Markenwerts in der Krise
Die Rolle des monetären Markenwerts in der Krise Die Rolle des monetären Markenwerts in der Krise
Die Rolle des monetären Markenwerts in der Krise
 
Brot und Spiele ein Plädoyer für mehr Unernsthaftigkeit (Vortrag für die Wi...
Brot und Spiele   ein Plädoyer für mehr Unernsthaftigkeit (Vortrag für die Wi...Brot und Spiele   ein Plädoyer für mehr Unernsthaftigkeit (Vortrag für die Wi...
Brot und Spiele ein Plädoyer für mehr Unernsthaftigkeit (Vortrag für die Wi...
 
"Die Berater der Zukunft": Christiane Fruht im kam-report März 2015
"Die Berater der Zukunft": Christiane Fruht im kam-report März 2015"Die Berater der Zukunft": Christiane Fruht im kam-report März 2015
"Die Berater der Zukunft": Christiane Fruht im kam-report März 2015
 
Bereich Organisationsberatung
Bereich OrganisationsberatungBereich Organisationsberatung
Bereich Organisationsberatung
 
Ansätze für eine gesellschaftliche Transformation zu mehr Nachhaltigkeit in d...
Ansätze für eine gesellschaftliche Transformation zu mehr Nachhaltigkeit in d...Ansätze für eine gesellschaftliche Transformation zu mehr Nachhaltigkeit in d...
Ansätze für eine gesellschaftliche Transformation zu mehr Nachhaltigkeit in d...
 

Mehr von Michael Schaffner

Mehr von Michael Schaffner (13)

Digitale Transformation - Widerstände in produktive Dynamik überführen
Digitale Transformation - Widerstände in produktive Dynamik überführenDigitale Transformation - Widerstände in produktive Dynamik überführen
Digitale Transformation - Widerstände in produktive Dynamik überführen
 
Wenn Kennzahlen scheitern! - Ansätze der Strategischen Früherkennung und Wiss...
Wenn Kennzahlen scheitern! - Ansätze der Strategischen Früherkennung und Wiss...Wenn Kennzahlen scheitern! - Ansätze der Strategischen Früherkennung und Wiss...
Wenn Kennzahlen scheitern! - Ansätze der Strategischen Früherkennung und Wiss...
 
2018 11-22 - tech_komm und industrie 4.0 __ schaffner (public)
2018 11-22  - tech_komm und industrie  4.0 __ schaffner (public)2018 11-22  - tech_komm und industrie  4.0 __ schaffner (public)
2018 11-22 - tech_komm und industrie 4.0 __ schaffner (public)
 
Vdmb lean-printing __ schaffner_final
Vdmb   lean-printing __ schaffner_finalVdmb   lean-printing __ schaffner_final
Vdmb lean-printing __ schaffner_final
 
2016 03-14 -tekom rg bb__psychologischer vertrag __ schaffner
2016 03-14 -tekom rg bb__psychologischer vertrag __ schaffner2016 03-14 -tekom rg bb__psychologischer vertrag __ schaffner
2016 03-14 -tekom rg bb__psychologischer vertrag __ schaffner
 
Tekom ft 2016 wissensfluesse und industrie 40 __ schaffner
Tekom ft 2016    wissensfluesse und industrie 40 __ schaffnerTekom ft 2016    wissensfluesse und industrie 40 __ schaffner
Tekom ft 2016 wissensfluesse und industrie 40 __ schaffner
 
Tekom jt 2018 ptk07 __ nudging __ schaffner (public)
Tekom jt 2018    ptk07 __ nudging __ schaffner (public)Tekom jt 2018    ptk07 __ nudging __ schaffner (public)
Tekom jt 2018 ptk07 __ nudging __ schaffner (public)
 
Tekom jt 2018 ptk11 __ swot-bsc __ schaffner (public)
Tekom jt 2018    ptk11 __ swot-bsc __ schaffner (public)Tekom jt 2018    ptk11 __ swot-bsc __ schaffner (public)
Tekom jt 2018 ptk11 __ swot-bsc __ schaffner (public)
 
Fv01 wissensarbeit im team__schaffner_tekom ft 2017
Fv01  wissensarbeit im team__schaffner_tekom ft 2017Fv01  wissensarbeit im team__schaffner_tekom ft 2017
Fv01 wissensarbeit im team__schaffner_tekom ft 2017
 
Tekom jt 2015 psychologischer vertrag __ schaffner
Tekom jt 2015   psychologischer vertrag __ schaffnerTekom jt 2015   psychologischer vertrag __ schaffner
Tekom jt 2015 psychologischer vertrag __ schaffner
 
Tekom ft 2015 zeitmanagement __ schaffner
Tekom ft 2015   zeitmanagement __ schaffnerTekom ft 2015   zeitmanagement __ schaffner
Tekom ft 2015 zeitmanagement __ schaffner
 
Teamsteuerung durch Anreizmanagement __ tekom-Jahrestagung 2014
Teamsteuerung durch Anreizmanagement __ tekom-Jahrestagung 2014Teamsteuerung durch Anreizmanagement __ tekom-Jahrestagung 2014
Teamsteuerung durch Anreizmanagement __ tekom-Jahrestagung 2014
 
Busines Cases __ tekom-Jahrestagung 2014
Busines Cases __ tekom-Jahrestagung 2014Busines Cases __ tekom-Jahrestagung 2014
Busines Cases __ tekom-Jahrestagung 2014
 

Vortrag kennzahlen-pardoxon __ schaffner

  • 1. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz „Vom Wiegen wird die Sau nicht fett!“ Prof. Dr.-Ing. Michael Schaffner FOM Berlin Hochschule für Oekonomie & Management BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH – Oder: Das Kennzahlen-Paradoxon – tekom Regionalgruppe Bodenseeraum | Konstanz | 24.07.2018© liusa - Fotolia.com
  • 2. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Kurzvorstellung 2 Prof. Dr.-Ing. Michael Schaffner  BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH  Gründer und Inhaber  Berater für u.a. Wissensmanagement, Technische Kommunikation, Management von Innovationsprozessen und Change-Management, Druck- und Verlagswesen  FOM Hochschule für Oekonomie und Management gGmbH  Lehrstuhl „Allgemeine BWL - Schwerpunkt Organisation und Innovationsmanagement“  weitere Funktionen o kooptierter Wissenschaftler im FOM KompetenzCenter Technologie- und Innovationsmanagement (KCT) o wissenschaftlicher Studienleiter der FOM Open Business School (OBS), Standort Berlin o Studienleiter für Kooperation & Wirtschaftskontakte, Standort Berlin zuvor u.a.  Geschäftsführer der euroscript-Unternehmen in Deutschland (heute: Amplexor)  Professor für Audiovisuelle Medientechnik, HTWK Leipzig  freiberuflicher Unternehmensberater (Gründung der Fa. BIOS im Jahr 1985)  Promotion, Themengebiet „Innovationsmanagement im Medienwesen“  wissenschaftlicher Projektleiter, Institut für angewandte Innovationsforschung IAI e.V.  Studium der Arbeitsökonomie und Studium der Nachrichten-/Automatisierungstechnik  Ausbildung zum Industriekaufmann 24.07.2018
  • 3. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 324.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 4 Wie weiter?
  • 4. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 424.07.2018 © bluedesign - Fotolia.com Wahrnehmung ist immer subjektiv!
  • 5. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Subjektive Wahrnehmung 5 Sind die Farben in den Feldern „A“ und „B“ gleich?  Schachbrett-Illusion nach Edward Adelson  oft dienen Hilfsgrößen der Erkenntnis 24.07.2018 Quelle: www.kreativrauschen.de/blog/2008/02/09/die-schachbrett-illusion-optische-taeuschung/
  • 6. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Subjektive Wahrnehmung 6 Was bedeutet zum Beispiel …?  … Qualität von Sprache?  … Termintreue?  … Budgeteinhaltung (hinsichtlich möglicher Toleranzen)?  … Redundanz?  … Quote von wiederverwendeten Objekten?  …  Es braucht klar definierte Erwartungs- und/oder Messkriterien 24.07.2018
  • 7. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7 © fotomek - Fotolia.com 24.07.2018
  • 8. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 820.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 8 © oneinchpunch - Fotolia.com 24.07.2018
  • 9. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem? 9 Was ist eigentlich das Problem? Verlust von Glaubwürdigkeit durch Nachlässigkeit in der Erhebung, Auswertung und Interpretation der Kennzahlen  4 Beispiele 24.07.2018
  • 10. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Rattenplage in Hanoi 1024.07.2018 www.rattengift.com/der-rattenfanger-von-hameln (20.07.2018)
  • 11. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1120.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz © zsv3207 - Fotolia.com 24.07.2018
  • 12. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Branchenstrukturanalyse 12 Untersuchung der Arbeitnehmer-Gehaltsstruktur einer Branche  Fall-Unternehmen mit sieben Mitarbeitenden  Datenreihe: [1500, 1500, 1600, 1650, 1700, 1800, 7000] arithmetischer Mittelwert: 2.393 €  der Median ist robuster bei Datenreihen mit Ausreißern  Alternative: getrimmter Mittelwert (1.625 €) 24.07.2018 Modalwert Median Ausreißer: angestellter Geschäftsführer  verfälscht das Bild
  • 13. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1320.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz © yuryimaging - Fotolia.com 24.07.2018 13
  • 14. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Klapperstorch 14 Regressionsgerade = linear gerichteter Zusammenhang zwischen zwei oder mehr Variablen  Anzahl brütende Storchenpaare in europ. Ländern zu Geburtsraten bei Menschen  ABER: kein kausaler Zusammenhang (x ⇒ y), sondern (z ⇒ y), wobei z = Größe der Länder Matthews, R. (2000): Storks deliver babies (p= 0.008); in: Teaching Statistics, Jg. 22, Heft 2, S. 36-38 (37) 24.07.2018
  • 15. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1520.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz © werbefoto-burger.ch - Fotolia.com 24.07.2018 15
  • 16. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Stickstoffdioxide 1/2 16  aufgrund höherer Grenzwertüberschreitungen wirken Dieselmotoren (Stickstoffdioxide) bedrohlicher als Benziner (Feinstaub) 24.07.2018 Lesch’s Kosmos (2018): Feinstaub & Co. – die Wahrheit über das Risiko, ZDF, 17.07.2018
  • 17. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Stickstoffdioxide 2/2 17  Doch wie und vom wem wird der Maßstab angelegt? 24.07.2018 Lesch’s Kosmos (2018): Feinstaub & Co. – die Wahrheit über das Risiko, ZDF, 17.07.2018
  • 18. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1820.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1824.07.2018
  • 19. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem? Paradoxon 1924.07.2018 Was passiert, wenn uns die Wirklichkeit nur vorgegauckelt wird? Aquarell von Hans Schmidt Paradoxon „Befund, eine Aussage oder Erscheinung, die dem allgemein Erwarteten, der herrschenden Meinung oder Ähnlichem auf unerwartete Weise zuwiderläuft oder beim üblichen Verständnis der betroffenen Gegenstände bzw. Begriffe zu einem Widerspruch führt.“ [Uwe Meyer: Wörterbuch der Philosophischen Begriffe]
  • 20. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2020.04.2018 Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz © alphaspirit - Fotolia.com 24.07.2018 20
  • 21. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 2124.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 4 Wie weiter?
  • 22. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2224.07.2018 © Sergey Nivens - Fotolia.com
  • 23. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Effektivität & Effizienz als Controlling-Maßstab 23 Controlling wirkt durch rationalitätssichernde Überlegungen bzw. Handlungen auf die Entscheidungsfindung bzw. den Entscheidungsvollzug anderer Akteure ein.  Maßstab für die Rationalität sind die  Effektivität von Handlungen und Entscheidungen sowie  deren Effizienz 24.07.2018 Controlling als Führungsfunktion (z.B. Doku-Leiter) = Reflexionsaufgabe Controlling als Führungsunterstützungsfunktion (z.B. CIO, CFO) = (abgeleitete) Informationsaufgabe Informationsbedarf Informationsbereitstellung Quelle: Küpper (2013), Controlling, S. 29
  • 24. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Kennzahlen sollen Objektivität schaffen 24 KPI = Key Performance Indicator = Kennzahl Quantitative Daten, die als bewusste Verdichtung der komplexen Realität über zahlenmäßig erfassbare, betriebswirtschaftliche Sachverhalte sachlich informieren sollen. Kennzahlenarten 24.07.2018 Kennzahlen Absolute Kennzahlen Verhältnis- zahlen Einzelwerte Summen Differenzen Mittelwerte Gliederungszahlen Indexzahlen Beziehungszahlen + - % Vahs, D. / Schäfer-Kunz, J.: Betriebswirtschaftslehre, 5. Aufl., Stuttgart 2007
  • 25. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Kennzahlen sind die GPS-Daten der BWL 2524.07.2018 © Butch – Fotolia.com  Controlling = Navigationssystem  Kybernetik: Regelung und Steuerung dynamischer Systeme  Festlegung, mit welchen Kennzahlen optimalerweise zu arbeiten ist und wie diese zu interpretieren sind  Kennzahlen = Steuerungsgröße  allein das Arbeiten mit Kennzahlen optimiert noch keine Prozesse  „noch wenig Impulse zur Optimierung von Prozessen“ (Aussage eines RS-Anbieters)  schlüssige Interpretation oft erst durch Kombination verschiedener Kennzahlen  Beispiele vordefinierter Kennzahlen (Quelle: TIM RS) - Anzahl Dokumente nach Dokumententyp, Sprache, Zeiteinheit - Anzahl Topics nach Typ, Sprache, Zeiteinheit - Anzahl Medienobjekte nach Typ, Dateiformat, Sprache, Zeiteinheit - Anzahl Fremddokumente nach Typ, Sprache, Zeiteinheit - Anzahl der Mehrfachverwendung von Objekten nach Typ, Zeiteinheit  Einsatz von Report-Generatoren  Prämisse: Meta-Daten ABER: Nicht alle Phänomene sind direkt messbar!
  • 26. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling 2624.07.2018 „Messe alles, was sich messen lässt, und mache alles messbar, was sich nicht messen lässt.“ Galileo Galilei (15.2.1564 - 8.1.1643)
  • 27. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Kennzahlenarten 27 Kennzahlen (manifeste Variable) z.B. Seminargebühr, Personalkosten einer Einzelperson z.B. Gesamtbelegschaft, Summe Personalkosten, Summe TD-Kosten z.B. absolute Abgänge, Fehlzeiten, ÜB-Kosten minus Redundanzrabatte z.B. Durchschnittsalter der Mitarbeiter, durchschnittliche Matchraten z.B. Anteil Perso.Kosten von Gesamt, Anteil Term-Fehler je Fehlerklasse z.B. Krankenstand im Verhältnis zu Basisjahr, Veränderung Fehlerkosten im Vergleich zum Vorjahr z.B. Weiterbildungstage pro Mitarbeiter, durchschnittliche Erlöse pro MA Manifeste Variable als Indikatoren (für latente Variable)  latente Variable (z.B. Qualität der Dokumentation, Kundenzufriedenheit) werden über  ein theoretisches Konstrukt (Operationalisierung: Beschreibung empirischer Phänomene)  mittels manifester Variable (= Indikatoren) messbar gemacht 24.07.2018 Einzelwerte Summen Differenzen Mittelwerte Gliederungszahlen Indexzahlen Beziehungszahlen + - %
  • 28. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling KPI-Aussagekraft 28 beschränkte Aussagekraft einzelner Kennzahlen  oftmals müssen verschiedene Kennzahlen in Kombination betrachtet werden, um eine schlüssige Interpretation zu bekommen  Beispiel:  Quote wiederverwendeter Textbausteine in einem CCMS = Maßzahl für die Wirtschaftlichkeit  Ist dies tatsächlich so? o Relation zum Suchaufwand? o Relation zur Qualität? Und daraus entstehende Nachbesserungskosten… 24.07.2018
  • 29. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 2924.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?
  • 30. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Unklare Kennzahlen 30 strategiegeleitete Entwicklung von Kennzahlen  Vermeidung von Hinein-Mystifizieren vermuteter Erkenntnisse 24.07.2018 © drubig- Fotolia.com Was will mir diese Kennzahl sagen?
  • 31. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Kennzahlenbildung und -analyse 3124.07.2018 Phase 1: Interessierende Sachverhalte - wirtschaftliche Zielsetzungen (z.B. aus Strategie ableiten) - Informationsbedürfnis externer Gruppen (z.B. Lieferanten, Shareholder) - Informationsbedarf des Managements Phase 2: Definition der Kennzahlen - präzise Formulierung der notwendigen Kennzahlen - Klärung mehrdeutiger Begriffe und eindeutige Berechnungsanweisungen - Sicherstellung von Konsistenz in der Formelanwendung Phase 3: Erhebung der Daten - Festlegung der Informationsquellen, Metadaten und Verantwortlichkeiten - Wahl der Erhebungsform (Zeitraum, Vollerhebung/Stichprobe, Häufigkeit) - Gegenüberstellung der Erhebungskosten und Steuerungsnutzen Phase 4: Analyse der Kennzahlenwerte - Feinanalyse, Benchmarks mit Vergleichsgrößen zur Problemstellung - Einordnung in den Sinnzusammenhang - Ursachenanalyse (ggfs. weitere Kennzahlen, Befragungen etc.) Phase 5: Aktionsplanung - Ableitung und Durchführung von Maßnahmen zur Zielerreichung - Überprüfung der Zielerreichung (z.B. Erhebung neuer Kennzahlen) - ggfs. Anpassung von Zielen, Maßnahmen, Kennzahlen Informationsaufbereitung Informationsbereitstellung Informationsbedarfsermittlung Informationsbeschaffung BSC- Workshop
  • 32. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … strategiegeleitete Kennzahlenentwicklung 3224.07.2018 Strategy-Map einer Balanced Scorecard  Ziele in ihrer Ursachen-Wirkungs-Beziehung darstellen  Transparenz in der Kennzahlenentwicklung  Argumentationshilfe  multi-perspektivisch  Grundlage für die Überführung in ein Kennzahlenkonzept Kennzahlen-Workshop auf der tekom Jahrestagung 2014
  • 33. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Strategy-Map einer BSC 24.07.2018 Innovation/ Wissen ProzesseKundenFinanzen höhere User- Zufriedenheit Zahlungsmoral verbessern Fehlerkosten senken Profit TechDoc erhöhen neue mediale Plattformen Einführung Vorschlagswesen Einführung Richtlinien XML-Kompetenz erhöhen Mitarbeiter- Zufriedenheit steigern Qualität verbessern internes Wissens- management Einführung Projektmeeting 33
  • 34. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … strategiegeleitete Kennzahlenentwicklung 3424.07.2018 Perspektive Ziele Kennzahlen Vorgaben Maßnahmen Finanzen Zahlungsmoral verbessern F1.1 … … … Fehlerkosten senken F2.1 Fehlerkosten in % oder € minus 50% lückenlöse Erfassung der Fehlerkosten F2.2 interne Fehlerquote 1/10.000 Stichprobenanalyse Profit TechDoc erhöhen F3.1 … … … Kunden höhere User-Zufriedenheit K. 1.1 Kunden- zufriedenheitsindex x Punkte - Erhebungskonzept erarbeiten - Kundenzufriedenheit 2 x im Jahr messen neue mediale Plattformen K2.1 … … … K2.2 … … … MA-Zufriedenheit steigern K3.1 … … … … K4.1 … … … Prozesse Prozessqualität verbessern P1.1 Anzahl Kundenreklas ≤ 5% (zu Anz. Projekten) Einführung Mess- und Bewertungssystem internes Wissensmanagement P2.1 … … … Einführung Projektmeetings P3.1 Meetingrythmus wöchentlich Spielregeln festlegen … P4.1 … … … Wissen/ Richtlinien einführen W1.1 Anzahl Regelmissachtungen 0% - Richtlinien-Kompetenzen entwickeln - Regelverstöße messbar machen
  • 35. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 3524.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?
  • 36. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Sichtachsen im Controlling 36 Controlling-Struktur  Sichtachsen  Zielebene (strategisch bzw. operativ)  Datencharakter (qualitativ bzw. quantitativ)  Ausrichtung (Kosten-, Effizienz- bzw. Effektivitätscontrolling)  Sichtachsen können verknüpft werden  strategisch-quantitative Kennzahl im Effektivitätscontrolling: „Anzahl jährliche Patente“ o Ziel: Messung der Innovationsführerschaft o Quelle: Datenbank  operativ-qualitative Kennzahl: „Kundenzufriedenheit mit Technischer Betriebsanleitung“ o Ziel: Erfolgskontrolle o Quelle: skalenbasierte Kundenbefragung  häufiges Controlling-Instrument: Budgets  potentielles Problem: mit Budgetkontrolle auch Effektivität oder Effizienz steuern zu wollen  Beispiele für paradoxe Unterstellungen o Einhaltung Investitionsbudget  hohe Effektivität in der Zielausrichtung der Doku-Abteilung o Einhaltung Einkaufsbudget für freiberufliche Leistung  hohe Effizienz der Einkaufsprozesse 24.07.2018
  • 37. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Drei Ausrichtungen im Controlling 3724.07.2018 Kosten- Controlling Budgeteinhaltung in der Technischen Dokumentation Ziel: finanzielles Gleichgewicht Kosten / Periode z.B. Einhaltung von Zeit- und Kostenbudgets für Betriebsanleitungen Effizienz- Controlling Effizienter Ressourcen- einsatz in der Technischen Dokumentation Ziel: Vermeidung von Verschwendung Kosten / Prozess z.B. Prozesskosten- optimierung je Erstellungsschritt von Betriebsanleitungen Effektivitäts- Controlling Erfolgsbeitrag der Technischen Dokumentation am Unternehmenserfolg Ziel: Erfolgsbewertung (Kosten, Nutzen) Leistungen / Kosten z.B. Abwendung von Regressforderungen in Bezug auf fehlerhafte Betriebsanleitungen in Anlehnung an: Wunderer, R; Sailer, M. (1987b): Die Controlling-Funktion im Personalwesen, in: Personalführung, 20. Jg. (1987), Heft 3, S. 287–292.
  • 38. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 38 Ihre Positiv-/Negativ-Beispiele für Fehlsteuerungen? 24.07.2018
  • 39. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 3924.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?
  • 40. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … statistische Zusammenhänge 40 Auswertung von Kennzahlen erfolgt statistisch  Statistik: Lehre von Methoden zum Umgang mit quantitativen Informationen  Vollerhebung  Teilerhebung (Stichprobe)  deskriptive Statistik  Untersuchung empirischer Daten bzw. 1-dim Datenreihen [x1, x2, x3, … xn] anhand von Maßzahlen (Mittelwerte, Streuungswerte)  Ermittlung der Zusammenhänge bezüglich Korrelation und Kausalität zwischen mehr-dimensionalen Datenreihen [x1, x2, x3, … xn] und [y1, y2, y3, … yn]  induktive (oder schließende) Statistik  Übertragung von Befunden aus der (Zufalls-)Stichprobe auf die zugehörige Grundgesamtheit  mathematische Verfahren der Wahrscheinlichkeitsrechnung  kann von einer Stichprobe auf die Grundgesamtheit hochgerechnet werden, wird von Repräsentativität gesprochen (z.B. Anzahl Terminologiefehler in einer 1-Promille-Stichprobe) 24.07.2018
  • 41. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 41 3. Handlungshilfen … Repräsentativität Zufallsstichprobe  jedes Element der Grundgesamtheit bzw. Merkmalsträgern (z.B. Aufträge, Textbausteine, Zielpersonen)  hat die gleiche Chance (konkret: eine angebbare Wahrscheinlichkeit),  in die Stichprobe zu gelangen Quotenstichprobe  bewusste Auswahl von Elementen einer Grundgesamtheit  repräsentative Zusammensetzung der Stichprobe durch  Festlegung von Quoten (Häufigkeiten) an bestimmten Merkmalen  Verteilung dieser Quoten in der Grundgesamtheit muss bekannt sein  Stichprobe muss dieser Verteilung folgen 24.07.2018 repräsentative Stichprobe  Charakteristik von Datenerhebungen  Ziel: aus einer kleinen Stichprobe können Aussagen über eine wesentlich größere Menge (Grundgesamtheit) getroffen werden
  • 42. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Praxisbeispiele 42 Zufallsstichprobe  über Zufallszahlengenerator bestimmte Elemente aus der Grundgesamtheit ziehen  bei 100.000 Textbausteine und 1-Promille-Stichprobe für einen Qualitätscheck müssten 100 IDs zufallsgestützt generiert und gezogen werden  relativ einfaches Ziehungsverfahren  Problem: stochastische Kenntnisse gefordert (Schluss auf die Grundgesamtheit) bewusste Auswahl von Elementen  jeder 1.000ste Text-Baustein wird gezogen  Sicherstellung, dass die Häufigkeitsverteilungen auswertungsrelevanter Merkmale (z.B. verantwortlicher Redakteur, Kunde, Textart) in der Stichprobe und der Grundgesamtheit identisch sind  Problem: häufig gibt es projekt-induzierte Verdichtungseffekte Quotenauswahlverfahren  relevante Merkmale definieren und deren Quoten (Häufigkeiten) ermitteln (z.B. Modulgröße, Redakteur, Sprache)  Stichprobe nach diesen Merkmalen ziehen (= modellgerechter Miniaturquerschnitt der Grundgesamtheit)  Problem: nicht-triviale Aufgabe  über Metadaten zwar möglich, aber oft fehlen die Metadaten oder die technischen Möglichkeiten im Redaktionssystem  bei Auswahl über einen Menschen, könnten subjektive Auswahleffekte das Ergebnis verfälschen 24.07.2018
  • 43. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 4324.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?
  • 44. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Kennzahlenarbeit ist Statistik 44 „Empirie ohne Güte ist wie Fußball ohne Regeln“ 24.07.2018 Orientierung an Gütekriterien der empirischen Sozialforschung  Gütekriterien der quantitativen Forschung  Gütekriterien der qualitativen Forschung zur Plausibilitätssicherung
  • 45. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Gütekriterien quantitativer Forschung 4524.07.2018 Validität (Gültigkeit) • Grad der Genauigkeit, mit dem eine Unter- suchung das erfasst (misst oder zählt), was sie erfassen soll • keine systematischen Fehler • Negativbeispiel: - einzig die Anzahl „reused objects“ misst die Effizienz Reliabilität (Zuverlässigkeit) • Zuverlässigkeit einer Messmethode, bei der eine wiederholte Untersuchung unter denselben Bedingungen und an denselben Gegenständen zu demselben Ergebnis kommt • keine zufälligen Fehler • Negativbeispiel: - (zufällig) veränderte Penalty-Einstellungen - Ergebnisse eines Schüler-Praktikanten fließen mit ein Objektivität (Wertfreiheit) • ein Untersuchungs- ergebnis wird bei der Erhebung, Auswertung und Interpretation nicht von den Durchführen- den beeinflusst • verschiedene Experten kommen bei gleicher Erhebung, Auswertung und Interpretation zu identischen Ergebnissen (Intersubjektivität) • Negativbeispiel: - Manipulation der Stichprobe - schlecht dokumentierte Methodik (nicht belastbar)
  • 46. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Gütekriterien qualitativer Forschung 1/2 4624.07.2018 Verfahrensdokumentation • wertlos sind aus wissenschaftlicher Sicht Erkenntnisse, deren Erhebungsverfahren nicht dokumentiert sind (Mangel an Nachvollziehbarkeit) • z.B. bzgl. Controlling-Logik, Erhebungsmethode, Formelberechnungen, Verknüpfung mit Assistenzdaten argumentative Interpretationsabsicherung • belegen empirische Daten nicht unmittelbar evidente (offensichtliche) Sachverhalte und müssen interpretiert werden, sind diese Interpretationen argumentativ zu begründen • z.B. bzgl. Klärung eines gemeinsamen Vorverständnisses, theoriegeleitete Deutung (z.B. anerkannte Gesetzmäßigkeiten), schlüssige Argumentation • authentisch wirken vor allem auch Widerlegungen oder Negativdeutungen Regelgeleitetheit • das beschriebene Vorgehen ist systematisch und schrittweise abzuarbeiten • Abweichungen (z.B. anderer Erhebungszeitpunkt) sind zu beschreiben und zu begründen
  • 47. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Gütekriterien qualitativer Forschung 2/2 4724.07.2018 Nähe zum Gegenstand • Untersuchung fußt auf realistischen Rahmenbedingungen der Arbeitswelt • keine Labor- oder Experimentalstudien darstellen kommunikative Validierung • die Gültigkeit der Ergebnisse durch Rückspiegelung der Ergebnisse sicherstellen • z.B. „Beforschte“ bestätigen die erarbeiteten Ergebnisse (die Ergebnisse besitzen dann eine gewisse Gültigkeit) Triangulation • sehr bedeutende Forschungsstrategie • Aussagekraft durch Multi-Perspektivität verbessern • gleiche Fragestellung auf unterschiedlichen Lösungswegen und auf Basis verschiedener Datenquellen erzielen vergleichbare oder plausible Ergebnisse
  • 48. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 48 Ihre Erfahrungen mit Gütekriterien in der Kennzahlenarbeit? 24.07.2018
  • 49. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 4924.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?
  • 50. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Probleme im Kennzahl-Fitting 50 Reicht der Benchmark des Ist-Wertes mit dem Soll-Wert?  Gefahr: verdeckte Effekte werden übersehen  Beispiel: Bestimmung einer Orthografie-Fehlerquote (Soll-Wert: 1,3 auf 1.000)  Messumgebung: 110 Dokumente, 10%-Zufalls-Stichprobe  Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)  Ergebnis: arithmetischer Mittelwert = 1,314  Ziel erreicht  Problem 1: - es gibt einen Ausreißer (orthQuote: 3,5) - ein Schüler-Praktikant hat temporär mitgewirkt Lösung: Wahl des Medians - geordnete Datenreihe: (0,7; 0,75; 0,8, 0,9; 0,9; 1,1; 1,2; 1,3; 1,6; 1,7; 3,5)  Problem 2: - die Werte streuen weit um den arithmetrischen Mittelwert - Folge: es gibt sehr zufriedene, aber sehr unzufriedene Kunden Lösung: Streuungsmaß bestimmen 24.07.2018
  • 51. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Streuung 5124.07.2018 keine Streuung große Streuung Mess-/Skalenwerte Häufigkeit arithm. Mittelwert (KPI Ist-Wert) KPI Soll-Wert  Lageparameter reichen oft nicht aus, um die Merkmale einer Datenreihe befriedigend zu beschreiben  arithm. Mittelwert: Wie weit liegen die Einzelwerte von diesem Lageparameter entfernt?  Streuung: Verteilung von einzelnen Werten um den Mittelwert herum  Beispiel: Datenreihe a = (10, 50, 100) und b = (49, 50, 51) haben den gleichen Mittelwert ( ̅𝑥𝑥 = 50), streuen aber unterschiedlich. Alle Werte sind identisch und nah an der Soll-Kennzahl  alle Kunden sind zufrieden! Messwerte liegen nahe am Soll-Wert  die Kunden sind weitgehend alle zufrieden! einige Werte liegen weit vom Soll entfernt  viele Kunden sind zufrieden, einige sind begeistert, andere aber sehr enttäuscht! kleine Streuung
  • 52. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Streuungsmaße 5224.07.2018  Varianz  mittlere quadratische Abweichung der einzelnen Messwerte 𝑥𝑥𝑖𝑖 vom arithmetischen Mittelwert ̅𝑥𝑥 𝑠𝑠2 = 1 𝑛𝑛 � 𝑖𝑖=1 𝑛𝑛 (𝑥𝑥𝑖𝑖 − ̅𝑥𝑥)2  Standardabweichung 𝑠𝑠 = 2 𝑠𝑠2  je geringer Varianz bzw. Standardabweichung, umso geringer ist die Streuung  die Daten weisen wenig Variabilität aus  sind alle Werte einer Datenreihe identisch: Varianz bzw. Standardabweichung = 0  Varianz am Beispiel zuvor: o Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)  s2 = 0,58 o Datenreihe: (1,2; 1,25; 1,3; 1,3; 1,35; 1,3; 1,32; 1,3; 1,4; 1,26; 1,3)  s2 = 0,003
  • 53. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 53 Werden Streuungen um die Kennzahl bei Ihnen in der Praxis beachtet? 24.07.2018
  • 54. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 5424.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?
  • 55. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Korrelation 55 Maßzahlen  stehen in einer gemeinsamen Entwicklung zueinanderstehen  entwickeln sich linear miteinander oder  entwickeln sich linear gegeneinander  entwickeln sich nicht-linear  weisen keinen Zusammenhang auf 24.07.2018 z.B. Anzahl Dokumente z.B.Metadatenfehler positiv linear negativ linear
  • 56. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 5624.07.2018 vgl. www.statista.de Korrelation ≠ Kausalität
  • 57. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 57 3. Handlungshilfen … Korrelation ≠ Kausalität Korrelation misst die Stärke einer statistischen Beziehung von zwei Variablen zueinander  positive lineare Korrelation: „je mehr Variable x desto mehr Variable y“ o „Je mehr ich abends esse, um so dunkler wird es draußen.“  negative lineare Korrelation „je mehr Variable x desto weniger Variable y“ o „Je älter ich werde, um so weniger Pinguine gibt es in der Antarktis.“ Kausalität tatsächliche Auswirkung von einer Variable x auf die Variable y  [WENN … DANN …] – Konklusion o „Je mehr ich abends esse, um so satter werde ich.“ o „Je älter ich werde, umso weniger Lebenszeit bleibt mir.“ 24.07.2018
  • 58. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Korrelation ohne Kausalität 58 positive Korrelation „Schuhgröße zu Gehaltseinkommen“  Formulierung einer Korrelation: "Menschen mit größerer Schuhgröße haben tendenziell ein höheres Einkommen".  Formulierung einer Kausalität: "Die Schuhgröße hat einen Einfluss auf das Nettoeinkommen".  Würde der 2. Satz stimmen, dann könnten Sie sich morgen Schuhe der Größe 65 kaufen und bekämen eine saftige Gehaltserhöhung. 24.07.2018 https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/
  • 59. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … fake science 59 Das ist weit hergeholt und wird real nicht passieren?  In der renommierten New England Journal of Medicine wurde 2012 ein Artikel veröffentlicht, der genau diesen Fehler machte  Feststellung einer Korrelation zwischen Schokoladenkonsum und Anzahl an Nobelpreisträgern in einem Land  die Autoren schlossen auf einen Einfluss von Schokolade auf Intelligenz Quelle: Messerli, Franz H. (2012): Chocolate Consumption, Cognitive Function and Nobel Laureates; New England Journal of Medicine, 367:16, 1562-1564. 24.07.2018 https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/
  • 60. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Begrifflichkeiten 60  Korrelationsrechnung  untersucht Zusammenhänge zweier metrisch skalierter Datenreihen (gleichabständige Skalenwerte)  Kovarianz sxy  untersucht, ob ein grundsätzlicher Zusammenhang besteht  mittlere gemeinsame Abweichung der Daten von den Mittelwerten 𝑠𝑠𝑥𝑥𝑥𝑥 = 1 𝑛𝑛 � 𝑖𝑖=1 𝑛𝑛 (𝑥𝑥𝑖𝑖 − ̅𝑥𝑥) � (𝑦𝑦𝑖𝑖 − �𝑦𝑦)  ist die Kovarianz gleich null, gelten die Merkmale als unkorreliert  Korrelationskoeffizient rxy  misst die Stärke eines linearen Zusammenhangs  nach Bravais-Pearson definiert als Quotient aus der Kovarianz und dem Produkt der Standardabweichungen 𝑟𝑟𝑥𝑥𝑥𝑥 = 𝑠𝑠𝑥𝑥𝑥𝑥 𝑠𝑠𝑥𝑥 � 𝑠𝑠𝑦𝑦  Regressionsrechnung  Modellierung einer geeigneten funktionalen Beziehung zwischen x und y (z.B. Gerade, Parabel), die die Kausalität begründet 24.07.2018
  • 61. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3.2 Wesentliche Grundgedanken einer wissenschaftlichen Arbeit Korrelation und Kausalität (2/3) 6124.07.2018  Korrelationen sind immer ungerichtet  sie enthalten keine Information darüber, welche Variable eine andere bedingt (beide Variablen x bzw. y sind gleichberechtigt)  Korrelationskoeffizient („rxy“) drückt die Stärke des statistischen Zusammenhangs aus [-1 ; +1] positive Korrelation negative Korrelationkeine Korrelation
  • 62. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Scheinkorrelationen 62 Beispiele für Scheinkorrelationen 24.07.2018 https://scheinkorrelation.jimdo.com/ Ordensverleihungen durch das Bundespräsidialamt (rot) und Anzahl der Hamster in Tierversuchen (beige) r = 0,9802 Übernachtungen in Sachsen (gelb) und Index der Erzeugerpreise für Blumenkohl (rot) r = 0,9749 Hausschlachtungsmengen von Schweinen in D (blau) und Zahl der Beschäftigten im öffentlichen Dienst (orange) r = 0,9736
  • 63. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Ursachen für Korrelation 63 vier mögliche Ursachen für eine Korrelation zwischen zwei Variablen („r“ ≈ ±1) 1. rein zufälliger Effekt (Scheinkorrelation)  klassisches Beispiel: die Scheidungsrate im US-Bundesstaat Maine korreliert sehr stark mit dem Pro-Kopf-Konsum von Margarine („r“ = 0,99258)  Beispiel: Erneuerung der Arbeitsplatzbeleuchtung „x“ und Verbesserung der Textqualität „y“ 2. tatsächlicher Wirkungszusammenhang (x ⇒ y)  Kausalität  dieser muss aber nicht monokausal sein, zusätzlich könnte noch eine dritte Variable z auf y einwirken (x ⇒ y und z ⇒ y)  Beispiel: Einhaltung von Terminologie (x) wirkt auf redaktionelle Textqualität (y), zusätzlich wirkt die sprachliche Ausdrucksfähigkeit des Redakteurs (z) auf (y) 2. beidseitiger Zusammenhang (x ⇒ y und y ⇒ x)  Beispiel: Bekanntheitsgrad eines Produktes (x) und dessen Verkaufszahlen (y). 2. indirekter Zusammenhang (x ⇒ y, aber z ⇒ y)  Variable x wirkt nur über eine dritte, nicht betrachtete Variable z, auf die Variable y  Beispiel: Einführung eines Redaktionssystems (x) wirkt nicht direkt auf die Zufriedenheit der Kunden mit der Produktliteratur (y), sondern nur über die redaktionelle Qualität (z)  Beispiel: Anzahl der Metadatenfehler (y) steigt nicht mit der Anzahl der Dokumente (x), sondern mit dem Beauftragen externer Redakteure (z) 24.07.2018
  • 64. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 64 Ihre Beispiel für Scheinkorrelationen im Umfeld der TechDok? 24.07.2018
  • 65. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Prüfung auf Kausalität 65 plausible Interpretation von Korrelationen auf Kausalität  statistisches Analyseverfahren  Kausalitätsprüfung mittels Regressionsanalyse  Untersucht Beziehungen zwischen einer abhängigen Variable von einer oder mehreren unabhängigen Variablen  strukturprüfendes Verfahren (kein strukturendeckendes Verfahren), d.h. eine vermutete Hypothese wird auf Kausalität überprüft  Signifikanztest: untersucht, ob die Befunde der Stichprobe auf die Grundgesamtheit übertragen werden können (z.B. t-Test)  pragmatische Verfahren  Logik (logisches Schließen)  multiperspektive Diskussion (Wahrung weitgehender Objektivität)  dialektische Argumentation (These/Antithese) 24.07.2018
  • 66. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 6624.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 4 Wie weiter?
  • 67. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Reflexion 67 Falscher Weg  „Was liefert mir das System für Kennzahlen?“  dazu geeignete Anwendungsfälle finden Richtiger Weg  zielorientiert mit einem Soll-Konzept beginnen „Was wollen wir steuern?“  anschließend konsequent daran arbeiten, die Erhebungsquellen bereitzustellen  dazu gehört insbesondere auch eine gewissenhafte Metadaten-Pflege Phänomen  Stimme aus der Praxis: „Uns werden unsinnige Kennzahlen vorgegeben.“  Top-down-Vorgaben sind oft Folge eines fehlenden Buttom-up-Engagements 24.07.2018
  • 68. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Zusammenfassung 68 1. Strategiegeleitete Kennzahlenentwicklung 2. Schlüssige Zielausrichtung 3. Sinnvolle Stichprobenziehung 4. Beachtung von Gütekriterien 5. Streuungen rund um die Kennzahl erkennen 6. Kausalitäten entdecken 24.07.2018
  • 69. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Umgang mit Gütekriterien 69 Überprüfen Sie regelmäßig die Glaubwürdigkeit Ihrer Kennzahlen durch Reflektion der Gütekriterien! 24.07.2018
  • 70. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Kennzahlenarbeit ist … 7024.07.2018 Quelle: www.youtube.com/watch?v=06iuga9G9T4 … Präzisionsarbeit
  • 71. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7124.07.2018
  • 72. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 72 Herzlichen Dank für Ihre Aufmerksamkeit 24.07.2018 © pathdoc - Fotolia.com Diese Unterlagen sind ausschließlich zu Präsentationszwecken bestimmt. Alle Inhalten wurden nach bestem Wissen und Gewissen erarbeitet, etwaige Fehler gehen allein zu Lasten des Autors. Über Anregungen und Verbesserungen freuen wir uns sehr. Das Copyright liegt bei der BIOS Dr-Ing. Schaffner Beratungsgesellschaft mbH. BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH Prof. Dr.-Ing. Michael Schaffner Körtestraße 6a • 10967 Berlin michael@schaffner.de • www.schaffner.de Tel: +49 (0)30 69 81 68 - 01 Fax: +49 (0)30 69 81 68 - 02 mobil: +49 (0)171 688 07 59 FOM Hochschule für Oekonomie & Management gGmbH Hochschulzentrum Berlin Prof. Dr.-Ing. Michael Schaffner Professur für Allg. BWL - Schwerpunkt Organisation, Technologie- und Innovationsmanagement Bismarckstraße 107 • 10625 Berlin michael.schaffner@fom.de • www.fom.de