MEET Lightspeed GMI
1996 28 700 
Gründung Büros in 15 Ländern Mitarbeiter 
4.000 20.000 70 
zufriedene Kunden Forschungsprojekte im Jahr Forsc...
Jon Puleston 
Vice President of Innovation
Dennis Sewberath 
Director Creative Research
Question Arts Team 
Ein Team, darauf spezialisiert interaktive Umfragen und 
Technologien für Online Research zu designen ...
HINTERGRUND 
UNSERES THEMAS
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
In den letzten 10 Jahren hatten Online-Fragebögen eine 
durchschnit...
T H E B ACKG ROU N D I S S U E 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
37% der neue Panelisten registriere...
HEUTE 
- Entdecken Sie die Problemfragen 
- Ändern Sie die Fragen
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Setzen Sie die „Probanden“-Brille auf 
STEP 1 
“Unglaublich …. Ich ...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Die 5 ZEICHEN für problematische Fragen: 
……………………………………...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DROPOUT 
Wenn mehr als 1% der Befragten ausfällt bei ein...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Antwortzeit sinkt 
Jede Frage, die in weniger als 2 Seku...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Der “Tacker”-Test 
Wenn Sie Ihre Umfrage drucken und sie...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
STEP 2 
P AR T 1 
Annahme einer iterativen 
Umfrage Design-Philosop...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
TIPPS FÜR TEST-PILOTIERUNG 
……………………………………………………………. 
1. Nicht den ...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
STEP 3 
P AR T 
1 
Auf der Jagd nach unnötigen Fragen: 
Statistisch...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Fragen Sie die gleiche Frage zweimal? 
Answer 
overlap 
P AR T 
1
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FINDEN SIE DIE UNNÖTIGE FRAGE 
• Value for money 
• Anticipates my ...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FINDEN SIE DIE UNNÖTIGE FRAGE 
• Value for money 
• Anticipates my ...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FINDEN SIE DIE UNNÖTIGE FRAGE 
• Value for money 
• Anticipates my ...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
JEDE UMFRAGE, DIE WIR ANALYSIERT HABEN, 
HAT EINIGE KORR...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SUCHE NACH KORRELATION IN FRAGEN 
LATENTE KORRELATION 
B...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
CASE STUDY: SINGTEL 
24 KREUZKORRELIERENDE FRAGEN IDENTIFIZIERT 
P ...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FOKUS AUF MESSEN 
WAS IST WERT DES MESSENS? 
…………………………………………………………...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
TYPISCHES UMFRAGE SAMPLE: n=400 
SO MAX VON 8 ITEMS IN JEDER SINGLE...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
LEGEN SIE EINIGE “OPTION CAPS” 
…………………………………………………………………….. 
USING...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
HINZUFÜGEN VON FRAGEN-LEVEL-QUOTEN 
……………………………………………………...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FRAGEN-LEVEL-QUOTEN 
1000 
800 
600 
400 
200 
0 
Sample...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FALLSTUDIE: SINGTEL- Survey Chunking 
1400 
1200 
1000 
800 
600 
4...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
FALLSTUDIE: SINGTEL 
1400 
1200 
1000 
800 
600 
400 
20...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
TIPP: 
NUTZEN SIE DEN PILOTEN UM IHRE 
SAMPLE-ANFORDERUNGEN 
ZU BES...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
VERWENDEN SIE EINE “MONTE-CARLO-STYLE” 
VORRAUSSAGUNGS-TECHNIK… 
……...
P AR T 
1 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
VERWENDUNG VON MODELLING & ASCRIPTIONS 
(Zuschreibung) T...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Konsolidierung und Gruppierung von Fragen 
Q1 Which of these xxxxx ...
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Kombination aus Bekanntheit, Nutzung und 
Gefallen…
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
INTELLIGENTE GRUPPIERUNG VON ANTWORTEN 
What type of dri...
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
INTELLIGENTE GRUPPIERUNG VON ANTWORTEN 
What type of dri...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
ÄNDERN SIE DIE FRAGE 
Example: 
How important on a scale of 1 to 10...
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
ANFORDERUNGEN AN DIE STICHPROBENGRÖßE 
5.8 5.9 5.9 6.0 6...
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Ändern Sie, wie Sie die Frage stellen 
Alternativen: 
1....
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
WEG VON RATING-SKALEN 
600 
500 
400 
300 
200 
100 
0 
...
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DAS PROBLEM MIT RATING-SKALEN 
600 
500 
400 
300 
200 
...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DAS PROBLEM MIT RATING-SKALEN 
1. Rating ist eine komplexe “System ...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DAS PROBLEM MIT RATING-SKALEN 
140 
120 
100 
80 
60 
40 
20 
0 
Ad...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
. 
P AR T 
2
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DER WECHSEL VON “RATING-Frage” ZUR 
“CHOICE - Auswahl”
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DER WECHSEL VON “RATING-Frage” ZUR 
“CHOICE - Auswahl” 
Rating = 6....
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Rating = 6.8 Rating = 6.7 
70% Choice 30% Choice 
P AR T 
2 
DER WE...
P AR T 
2 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
DER WECHSEL VON “RATING-Frage” ZUR 
“CHOICE - Auswahl” 
...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
TRADING GAMES 
140 
120 
100 
80 
60 
40 
20 
0 
Standard Trading g...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
. 
400% 
300% 
200% 
100% 
0% 
-100% 
-200% 
Trading game 
Standard...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
. 
P AR T 
3 
-100% 
-80% 
-60% 
-40% 
-20% 
0% 
20% 
40% 
60% 
80%...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SETTING QUESTION LEVEL QUOTA’S 
Wenn 20% der Befragten A...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SETTING QUESTION LEVEL QUOTA’S 
TIPPS ZUM DESIGNEN VON B...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
PORTRAIT ODER LANDSCAPE-MODUS? 
……………………………………………………………………………… 
P A...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Kann aber nicht mit größeren Fragen umgehen. 
HORIZONTAL...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
ADAPTIVES DESIGN vs FESTER LANDSCAPE-MODE 
…………………………………...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SETTING QUESTION LEVEL QUOTA’S 
Ein fester Landscape-Mod...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Raum ist Luxus: jedes Pixel ist wichtig … 
P AR T 
3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Löschen Sie die Leerzeichen! 
P AR T 
3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Der obere Teil der Umfrage ist heilig 
P AR T 
3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Der obere Teil der Umfrage ist heilig 
P AR T 
3 
Auf Mobile ist di...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Investieren Sie eher in interaktive Fragetypen 
……………………...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Interaktive Fragetypen für Desktop waren 
ein nice to ha...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
INTERACTIVE QUESTION FORMATS BECOME MUCH 
MORE IMPORTANT...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SOME PLUSES - DRAGGING IS SO MUCH MORE INTUITIVE 
choice...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Minimale Größe, machen Sie ein Stylesheet 
für jedes Ger...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Für Fragen mit vielen Anweisungen: 
Legen Sie die Anweis...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Anweisungen 
Fassen Sie mit 
der Frage die 
Aufgabe 
noc...
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
Vielleicht ist das eine Anregung? 
Schreiben Sie Fragen wie einen g...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SETTING QUESTION LEVEL QUOTA’S 
Please read through the ...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
SETTING QUESTION LEVEL QUOTA’S 
Please read through the ...
P AR T 
3 
T H E A R T O F B O N S A I S U R V E Y D E S I G N S 
10 TIPPS FÜR BONSAI SURVEYS 
………………………………………………………………………...
SIE HÄTTEN GERNE DIESE PRÄSENTATION? 
• Schreiben Sie an: dennis@gmi-mr.com 
• Geben Sie mir hier Ihre Visitenkarte 
• Sch...
VIELEN DANK 
Dennis Sewberath 
Director, Creative Research 
M +31(0)6 – 5236 2492 
dennis@gmi-mr.com
WEITERE FRAGEN? 
Wir freuen uns auf Sie! 
• Lightspeed GMI 
Stand 171 (beim Bistro) 
Besuchen Sie uns für mehr 
Antworten…...
Die kunst des bonsai survey design
Die kunst des bonsai survey design
Die kunst des bonsai survey design
Die kunst des bonsai survey design
Die kunst des bonsai survey design
Nächste SlideShare
Wird geladen in …5
×

Die kunst des bonsai survey design

829 Aufrufe

Veröffentlicht am

Spotting the problem questions and how to change your survey

Veröffentlicht in: Marketing
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
829
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
38
Aktionen
Geteilt
0
Downloads
10
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Die kunst des bonsai survey design

  1. 1. MEET Lightspeed GMI
  2. 2. 1996 28 700 Gründung Büros in 15 Ländern Mitarbeiter 4.000 20.000 70 zufriedene Kunden Forschungsprojekte im Jahr Forschung in über 70 Ländern 4 Mio. Panelisten 40 Konsumenten-Panels in 40 Ländern 15 Medical Panels MEET Lightspeed GMI
  3. 3. Jon Puleston Vice President of Innovation
  4. 4. Dennis Sewberath Director Creative Research
  5. 5. Question Arts Team Ein Team, darauf spezialisiert interaktive Umfragen und Technologien für Online Research zu designen • Wie man Befragte motiviert • Wie man Fragen entwickelt, die die richtige Art von Information erfassen • Wo und wann verschiedene kreative Techniken verwendet werden können
  6. 6. HINTERGRUND UNSERES THEMAS
  7. 7. T H E A R T O F B O N S A I S U R V E Y D E S I G N S In den letzten 10 Jahren hatten Online-Fragebögen eine durchschnittliche Länge von 20 Minuten. Keine Änderung in Sicht... Maximale Zeit Umfragen: COMPUTER TABLET SMARTPHONE 5 Minuten oder weniger 2% 9% 27% 10 Minuten oder weniger 9% 24% 45% 15 Minuten oder weniger 19% 42% 65% 20 Minuten oder weniger 34% 65% 73% 25 Minuten oder weniger 42% 71% 77% 30 Minuten oder weniger 65% 81% 85% US data from 1185 completes November, 2013 T H E B ACKG ROU N D I S S U E
  8. 8. T H E B ACKG ROU N D I S S U E T H E A R T O F B O N S A I S U R V E Y D E S I G N S 37% der neue Panelisten registrieren sich über Apple (IOS) oder Android-Endgeräte MYSURVEY % REGISTRANTS BY DEVICE 22% 20% 18% 16% 14% 12% 10% Jan 13 Feb 13 Mar 13 Apr 13 May 13 Jun 13 Jul 13 Aug 13 Sep 13 Oct 13 Nov 13 Dec 13 iOS Android
  9. 9. HEUTE - Entdecken Sie die Problemfragen - Ändern Sie die Fragen
  10. 10. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Setzen Sie die „Probanden“-Brille auf STEP 1 “Unglaublich …. Ich setzte sie auf und sofort wurde ich in einen Befragten verwandelt” “WOW, ist dass meine Befragung?!” P AR T 1 NEU!
  11. 11. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Die 5 ZEICHEN für problematische Fragen: ……………………………………………………………………………………………………………. 1. Dropout (Abbrecher) 2. Straight-lining (Musterklicker) 3. Reduzierung der Standardabweichung von Antworten 4. Reduzierte Antwortzeiten 5. Immer mehr Antwort-Korrelation
  12. 12. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DROPOUT Wenn mehr als 1% der Befragten ausfällt bei einer einzelnen Frage, ist das ein Zeichen für ein Problem-Frage. Wenn mehr als 20% der Befragten die Umfrage nicht ausfüllt, ist das ein Zeichen für eine Problem-Befragung.
  13. 13. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Antwortzeit sinkt Jede Frage, die in weniger als 2 Sekunden beantwortet wird. ist ein Zeichen für eine Problem-Frage.
  14. 14. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Der “Tacker”-Test Wenn Sie Ihre Umfrage drucken und sie nicht zusammenheften können, dann ist der Fragebogen zu lang.
  15. 15. T H E A R T O F B O N S A I S U R V E Y D E S I G N S STEP 2 P AR T 1 Annahme einer iterativen Umfrage Design-Philosophie
  16. 16. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TIPPS FÜR TEST-PILOTIERUNG ……………………………………………………………. 1. Nicht den Kunden beteiligen 2. Versuchen Sie nicht, die gesamte Umfrage in dem Piloten zu programmieren 3. Nicht zu sehr ins Detail gehen 4. Realisieren Sie, dass Sie nach Hinweisen suchen, nicht nach ±95% statistischer Sicherheit 5. Seien Sie mutig und spielerisch: Verwenden Sie klassische Tests und Kontrolltechniken, um Antworten zu vergleichen P AR T 1
  17. 17. T H E A R T O F B O N S A I S U R V E Y D E S I G N S STEP 3 P AR T 1 Auf der Jagd nach unnötigen Fragen: Statistische Techniken
  18. 18. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Fragen Sie die gleiche Frage zweimal? Answer overlap P AR T 1
  19. 19. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FINDEN SIE DIE UNNÖTIGE FRAGE • Value for money • Anticipates my needs • Delivers creative solutions • Responds in a timely manner • Delivers competitive pricing • Is a company I would recommend P AR T 1
  20. 20. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FINDEN SIE DIE UNNÖTIGE FRAGE • Value for money • Anticipates my needs • Delivers creative solutions • Responds in a timely manner • Delivers competitive pricing • Is a company I would recommend KORRELATION = 0.67 P AR T 1
  21. 21. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FINDEN SIE DIE UNNÖTIGE FRAGE • Value for money • Anticipates my needs • Delivers creative solutions • Responds in a timely manner • Delivers competitive pricing • Is a company I would recommend KORRELATION = 0.67 P AR T 1
  22. 22. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S JEDE UMFRAGE, DIE WIR ANALYSIERT HABEN, HAT EINIGE KORRELIERENDE FRAGEN ……………………………………………………………………………………………….
  23. 23. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SUCHE NACH KORRELATION IN FRAGEN LATENTE KORRELATION BEFRAGTEN-ERMÜDUNG
  24. 24. T H E A R T O F B O N S A I S U R V E Y D E S I G N S CASE STUDY: SINGTEL 24 KREUZKORRELIERENDE FRAGEN IDENTIFIZIERT P AR T 1
  25. 25. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FOKUS AUF MESSEN WAS IST WERT DES MESSENS? ………………………………………………………………………………………………. Dies sind in etwa die Fehlergrenzen: • Sampling 100 = ±6% • Sampling 200 = ±5% • Sampling 400 = ±4% • Sampling 1000+ = ±2% P AR T 1
  26. 26. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TYPISCHES UMFRAGE SAMPLE: n=400 SO MAX VON 8 ITEMS IN JEDER SINGLE CHOICE LIST = 50 PER ITEM P AR T 1
  27. 27. T H E A R T O F B O N S A I S U R V E Y D E S I G N S LEGEN SIE EINIGE “OPTION CAPS” …………………………………………………………………….. USING LEAST FILL QUOTAS P AR T 1
  28. 28. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S HINZUFÜGEN VON FRAGEN-LEVEL-QUOTEN …………………………………………………………………………………………………. Minimale Stichprobengröße = [(Standardabweichung x Z)/ Akzeptablen Fehler] 2 Z ist der Faktor, der das Niveau des statistischen Vertrauens bestimmt, das Sie verwenden möchten. Für 90% würde ich Z = 1.64 empfehlen,und für 95% Z= 1.96.
  29. 29. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S FRAGEN-LEVEL-QUOTEN 1000 800 600 400 200 0 Sampleanforderungen pro Frage All sample Sub demographic 1 Sub demographic 2 Sub demographic 3 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97
  30. 30. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FALLSTUDIE: SINGTEL- Survey Chunking 1400 1200 1000 800 600 400 200 0 Mindestanforderung Stichprobengröße A A A A A A A A A A A B B B C C C C C C D D E E E E E F F F F F F F F F GGGGGG H H H H H H H I I I I I I I I I I I I 1000  800 P AR T 1
  31. 31. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S FALLSTUDIE: SINGTEL 1400 1200 1000 800 600 400 200 0 “Survey Chunking” D D B B H H H H H F F F F F F A1A1A1 A2A2A2A2 C C C C E E E E G G G G G I I I I I I I I I I BLOCK 1 BLOCK 2 BLOCK 3 x50% BLOCK 4 x 50% 21 MINUTEN  13 MINUTEN 800  710 + 90 INCOMPLETES
  32. 32. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TIPP: NUTZEN SIE DEN PILOTEN UM IHRE SAMPLE-ANFORDERUNGEN ZU BESTIMMEN P AR T 1
  33. 33. T H E A R T O F B O N S A I S U R V E Y D E S I G N S VERWENDEN SIE EINE “MONTE-CARLO-STYLE” VORRAUSSAGUNGS-TECHNIK… ………………………………………………………………………………………… MODELLING ASCRIPTION P AR T 1 85%+
  34. 34. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S VERWENDUNG VON MODELLING & ASCRIPTIONS (Zuschreibung) TECHNIKEN GELANGWEILT BEFRAGTEN
  35. 35. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Konsolidierung und Gruppierung von Fragen Q1 Which of these xxxxx are you aware of? Not heard of Heard of Q2 Which of have you purchased? Purchased Not purchased Q3 How much do you like? Do not like Like a little Like Love P AR T 2
  36. 36. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Kombination aus Bekanntheit, Nutzung und Gefallen…
  37. 37. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S INTELLIGENTE GRUPPIERUNG VON ANTWORTEN What type of drink have you consumed in the last 24 hours Carbonated Soft Drinks Sparkling-Regular Carbonated Soft Drinks-Light Juices/Nectars Juice Drinks Vegetable Juices/Juice Drinks Tap water Bottle water - Still Unflavored Bottle water - Sparkling Unflavored Bottle water - Still Flavored Bottle water - Sparkling Flavored Bulk water (5L and more) Enhanced Water (eg Vitamin Water) Sports Drinks Energy Drinks Tea - Black Tea –Green Coffee Plain White Milk Flavored Milk Yogurt Drinks Smoothies Soy Based Drinks Other Non-Alcoholic RTD Beverages
  38. 38. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S INTELLIGENTE GRUPPIERUNG VON ANTWORTEN What type of drink have you consumed in the last 24 hours Carbonated Soft Drinks Juices Tap water Bottle water Sports & Energy Drinks Tea Coffee Milk Flavored Milk Yogurt Drinks & Smoothies Other Bottle water - Still Unflavored Bottle water - Sparkling Unflavored Bottle water - Still Flavored Bottle water - Sparkling Flavored Bulk water (5L and more) Enhanced Water (eg Vitamin Water)
  39. 39. T H E A R T O F B O N S A I S U R V E Y D E S I G N S ÄNDERN SIE DIE FRAGE Example: How important on a scale of 1 to 10 are these 15 factors when deciding on which brand to buy? Time = 40 seconds Sample needed to differentiate all 15 factors = 1,000+ P AR T 2
  40. 40. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S ANFORDERUNGEN AN DIE STICHPROBENGRÖßE 5.8 5.9 5.9 6.0 6.1 6.2 6.2 6.4 6.5 6.6 6.8 6.9 7.5 8.2 8.5 9 8 7 6 5 4 3 2 1 0 Wie wichtig sind diese Faktoren? 0.1 Mindeststichprobengröße = [(Standardabweichung x Z)/Akzeptabler Fehler Standardabweichung = 1.6 Akzeptable Fehlertoleranz = <0.1 Mindeststichprobengröße= 1,000
  41. 41. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Ändern Sie, wie Sie die Frage stellen Alternativen: 1. Fragen Sie eine abkürzende Frage: z.B. welches sind die 5 wichtigsten Faktoren? dann bitten Sie nur um ein Rating der 5 ausgewählten Faktoren Zeit gespart = ca. 10 Sekunden benötigtes Sample um die 5 Top Faktoren zu differenzieren = ca. 500 2. Verwenden Sie ein selektives Ranking: Um es vor dem Rating weiter zu vereinfachen, bitten Sie um ein Ranking der 5 Faktoren Zeit gespart= ca. 20 Sekunden benötigtes Sample um die 5 Top Faktoren zu ranken = ca. 300 3. Verwenden Sie ein auswahlbasiertes max diff: Präsentieren Sie die Auswahl in zufallsbasierten Untergruppen von 5 und bitten Sie um Auswahl des wichtigsten und des unwichtigsten Faktors aus jeder Untergruppe Zeit gespart= ca. seconds benöt. Sample für max diff sortierung von 15 Faktoren = 300
  42. 42. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S WEG VON RATING-SKALEN 600 500 400 300 200 100 0 -100 -200 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
  43. 43. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DAS PROBLEM MIT RATING-SKALEN 600 500 400 300 200 100 0 -100 -200 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 SIE MÜSSEN GROβE SAMPLES HABEN, UM MEINUNGEN ZU DIFFERENZIEREN
  44. 44. T H E A R T O F B O N S A I S U R V E Y D E S I G N S DAS PROBLEM MIT RATING-SKALEN 1. Rating ist eine komplexe “System 2” Denkprozess. Es kann beschädigt werden durch das jeder Befragte die Dinge auf eine andere Weise beantwortet 2. Es ist langweilig P AR T 2
  45. 45. T H E A R T O F B O N S A I S U R V E Y D E S I G N S DAS PROBLEM MIT RATING-SKALEN 140 120 100 80 60 40 20 0 Ad 1 Ad 3 Ad 11 Ad 12 Ad 7 Auswertungszeit Binäre Skala “System 1” = <0.5 seconds Rating Skala “System 2” = 1-5 seconds Ad 13 Ad 9 Ad 14 Ad 21 Ad 19 Ad 22 Ad 23 Binary Rating P AR T 2 25% STÄRKERE DIFFERENZIERUNG
  46. 46. T H E A R T O F B O N S A I S U R V E Y D E S I G N S . P AR T 2
  47. 47. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl”
  48. 48. T H E A R T O F B O N S A I S U R V E Y D E S I G N S DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl” Rating = 6.8 P AR T 2 70% Choice
  49. 49. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Rating = 6.8 Rating = 6.7 70% Choice 30% Choice P AR T 2 DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl”
  50. 50. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl” Rating = 6.8 Rating = 6.7 70% Choice 30% Choice SAMPLE VON 200 SAMPLE <40
  51. 51. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TRADING GAMES 140 120 100 80 60 40 20 0 Standard Trading game Fun Interesting Thinking time P AR T 3
  52. 52. T H E A R T O F B O N S A I S U R V E Y D E S I G N S . 400% 300% 200% 100% 0% -100% -200% Trading game Standard rating P AR T 3 0.89 KORRELATION 5X STÄRKERE DIFFERENZIERUNG
  53. 53. T H E A R T O F B O N S A I S U R V E Y D E S I G N S . P AR T 3 -100% -80% -60% -40% -20% 0% 20% 40% 60% 80% 100% 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 157 161 165 169 173 177 181 -100% -80% -60% -40% -20% 0% 20% 40% 60% 80% 100% 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 157 161 165 169 173 177 181 Standard rating certainty point Trading game certainty point
  54. 54. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Wenn 20% der Befragten Antworten erfinden weil es ihnen egal ist, was sie sagen. Dann brauchen Sie zusätzliche 40% mehr Stichprobe um diese systematischen Fehler zu glätten.
  55. 55. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S TIPPS ZUM DESIGNEN VON BEFRAGUNGEN FÜR MOBILE GERÄTE
  56. 56. T H E A R T O F B O N S A I S U R V E Y D E S I G N S PORTRAIT ODER LANDSCAPE-MODUS? ……………………………………………………………………………… P AR T 3 Natürliche Präferenz Viel scrollen, um den “Weiter” Button zu erreichen
  57. 57. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Kann aber nicht mit größeren Fragen umgehen. HORIZONTALES SCROLLEN… A BIG NO-NO!
  58. 58. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S ADAPTIVES DESIGN vs FESTER LANDSCAPE-MODE ……………………………………………………………………………………………………………………
  59. 59. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Ein fester Landscape-Modus Unsere Lösung = jedes Pixel ist wichtig
  60. 60. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Raum ist Luxus: jedes Pixel ist wichtig … P AR T 3
  61. 61. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Löschen Sie die Leerzeichen! P AR T 3
  62. 62. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Der obere Teil der Umfrage ist heilig P AR T 3
  63. 63. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Der obere Teil der Umfrage ist heilig P AR T 3 Auf Mobile ist die Höhe begrenzt (im Landscape-Modus)
  64. 64. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Investieren Sie eher in interaktive Fragetypen ………………………………………..
  65. 65. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Interaktive Fragetypen für Desktop waren ein nice to have. Um effektive plattformneutrale Fragebögen zu designen sind interaktive Fragetypen ein must have.
  66. 66. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S INTERACTIVE QUESTION FORMATS BECOME MUCH MORE IMPORTANT WEAPONS - LIKE DYNAMIC GRIDS Strongly disagree I likI eli kIc ehlIi kolbiekIcr eolci klchbaecerto oeblcsirecoocloi lli Neither Agree Strongly Agree disagree
  67. 67. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SOME PLUSES - DRAGGING IS SO MUCH MORE INTUITIVE choice choice Option A Ocphtoioicne B
  68. 68. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Minimale Größe, machen Sie ein Stylesheet für jedes Gerät
  69. 69. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Für Fragen mit vielen Anweisungen: Legen Sie die Anweisungen in ein separates Fenster
  70. 70. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Anweisungen Fassen Sie mit der Frage die Aufgabe nochmal zusammen
  71. 71. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Vielleicht ist das eine Anregung? Schreiben Sie Fragen wie einen guten Tweet: mit allen Anweisungen in weniger als 140 Zeichen! P AR T 3 Kurz und klar, es wird gelesen
  72. 72. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Please read through the statements shown below and select which statement best describes your attitude towards this brand. Please select the most appropriate statement per brand
  73. 73. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Please read through the statements shown below and select which statement best describes your attitude towards this brand. Please select the most appropriate statement per brand Which of these statements best describes your attitude towards each brand
  74. 74. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S 10 TIPPS FÜR BONSAI SURVEYS ……………………………………………………………………………. 1. Denken Sie wie eine Testperson 2. Eignen Sie sich eine iterativen Umfrage-Design-Philosophie an 3. Finden Sie die unnötige Fragen 4. Fügen Sie Fragen-Level-Quoten hinzu 5. Versuchen Sie Modelling, Ascription und Chunking 6. Kombination, Konsolidierung und Gruppierung von Fragen, Verwendung von Ikonographie 7. Zu kürzeren, effektiveren Frage-Techniken wechseln 8. Bessere Fragen schreiben 9. Wenn Sie Ihre Umfrage designen, denken Sie an den heiligen oberen Abschnitt & das jedes Pixel wichtig ist 10. Schreiben Sie Fragen wie einen tweet
  75. 75. SIE HÄTTEN GERNE DIESE PRÄSENTATION? • Schreiben Sie an: dennis@gmi-mr.com • Geben Sie mir hier Ihre Visitenkarte • Schreiben Sie an: twitter @LightspeedGMI • Blog: www.ls-gmi.com • Kommen Sie zu uns jetzt oder morgen gerne an den Stand 171 für eine Tasse Espresso...
  76. 76. VIELEN DANK Dennis Sewberath Director, Creative Research M +31(0)6 – 5236 2492 dennis@gmi-mr.com
  77. 77. WEITERE FRAGEN? Wir freuen uns auf Sie! • Lightspeed GMI Stand 171 (beim Bistro) Besuchen Sie uns für mehr Antworten… (+ eine Tasse Nespresso)! Copyright © 2014 Lightspeed, LLC. Proprietary and Confidential. All rights reserved.

×