Studie zur Zukunft der Online-Fragebogenforschung Ein Vergleich verschiedener Rekrutierungskanäle in der mobilen Marktforschung. Ein Fragebogen wurde mit neuartigen Fragetypen im Vergleich zu Standardfragen über das Panel von GapFish sowie das mobile Panel der RTL Group zum Einsatz gebracht. Die Studie der HTW Berlin unter Leitung von Prof. Dr. Holger Lütters wurde im Oktober 2015 auf der Research&Results in München vorgestellt.

1. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die Zukunft des Fragens
Teilnehmerverhalten in Next Generation Multi-Screen-Design Studien
Holger Lütters HTW Berlin
Malte Freksa GapFish GmbH
Sandra Vitt Mediengruppe RTL
Deutschland

2. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Ausgangslage “Die Zukunft des Fragens”
0

3. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Ausgangsthese: Die Befragungslandschaft ändert sich.
Kann die Marktforschung es sich leisten gleich zu bleiben?
“unintentional mobile participation”
● Befragungen finden zunehmend auf mobilen Geräten statt
● Desktopkonzepte werden unintendiert auf Smartphones ausgefüllt
● Befragungsdauer auf mobilen Geräten ca. 20% länger im Vergleich zu
Desktopbefragungen mit Auswirkungen auf die Kosten der Incentivierung
und Teilnahmebereitschaft
● Technologieproblem verdrängt Fragen nach Methodik und Effekten
verschiedener Erhebungstechnologien auf mobilen Geräten

4. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Studie: Wie funktioniert das Fragen in der Zukunft?
Zentrale Fragestellung:
● Wie fragt man in Zukunft, wenn Menschen auf beliebigen Kanälen mit
unterschiedlichsten Technologie an Studien der Marktforschung
teilnehmen wollen?
Forschungsansatz:
● Effekte der Nutzung unterschiedlicher Kanäle auf Ergebnisse
● Test neuer Fragetypen, welche das mobile Nutzungsverhalten stärker
berücksichtigen sollen (und dennoch auf den klassischen Geräten
funktionieren müssen)
● Hintergrundmessungen des Verhaltens während der Teilnahme
● Ergebnissoffene Analyse alter und neuer Konzepte in Bezug auf
Validität der Datenerhebung

5. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Experimentelles Studiendesign
1

6. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Konzept der Studie
Field Work
Fragebogen mit neuen Fragetypen:
Kooperationsprojekt innovativer Berliner Marktforscher befragte n=807 Teilnehmer
auf unterschiedlichen Geräten und Kanälen
● 13 Minuten Fragebogen
● Durchführung Oktober 2015
● 1400 Kontakte
● Zufallsverteilung auf “klassische” oder
“neue” Fragetypen
● 807 vollständige Interviews
● davon 216 Befragte In-App
● Quotierung auf genutzte Geräte
TeamarbeitEckdaten der Umsetzung

7. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Aufgabenstellung:
Wie fragt man in Zukunft?
Wo fragt man in Zukunft?
Quotierte Devicekategorien Desktop/Laptop und Mobile (Tablet/Smartphone)

8. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Verbesserung der UX in der Marktforschung
durch NXT GEN Fragetypen
“Alte” vs. “Neue” Fragetypen im Vergleich
2

9. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
NXT GEN Fragetypen im Responsive Design
Beispiel: Grafische Unterstützung und technische Unterstützung
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp
● Wichtigstes Ergebnis bei über 20 Fragen: Die neue Technologie hat keine Auswirkung
auf die Antworten bei Standardfragen
● Einfache grafische Unterstützung soll helfen, kann aber auch Komplexität erhöhen

10. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Idee: Grafische Unterstützung zur kognitiven Entlastung bei “komplexeren” Fragen
gelingt nicht immer
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

11. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Hypothese: Die unterschiedliche Darstellung von Fragetypen kann dennoch Einfluss auf
das Antwortverhalten nehmen
Beispiel klassischer Fragetyp
Drop-down Auswahlliste
Beispiel Next Generation Fragetyp
Antwort auf grafischer Skala

12. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die unterschiedliche Darstellung einer Frage kann extremen Einfluss auf das
Antwortverhalten haben. Drop-down liefert keine validen Ergebnisse
Gemessene Zeit über alle Befragten: 13
Minuten 47 Sekunden
Frage: Wie lange war dieser Fragebogen?

13. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Klassiker der Marktforschung vs. neue Idee der Erhebung mit Touch:
Ranking vs. graphisches Sortieren
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp mit 2
Bedienoptionen
Ergebnis: 4 von 5 Items werden “anders” einsortiert bei Wechsel der Methode
Die unterschiedlichen Fragetypen erzeugen einen klassischen Rank-Reversal.

14. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Methode vollständiger Paarvergleiche nach Analytic Hierarchy Process zu Ermittlung
der Präferenzen

15. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die Bewertung im vollständigen Paarvergleich (10 Fragen) ergibt ein völlig anderes
(vielleicht valideres) Bild als die Ranking-Frage

16. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Type-In vs. graphische Antwort bei Methoden
Hier: Price-Sensitivity Meter
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

17. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die grafische Antwort erzeugt abweichende Werte im Vergleich zur direkten
Dateneingabe. Ergebnis 44% höhere Preisbereitschaft=Validitätsproblem

18. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Neuer Fragetyp in questfox: TinSort
http://www.buzzfeed.com/regajha/yo-yo-honey-single?utm_term=.kpvRQjgAAw&sub=3506957_4218802

19. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Multiple Choice vs. TinSort (nur Text)
Duales Bedienkonzept wischen oder klicken
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

20. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
NXT GEN Fragetyp TinSort erzeugt viel mehr Antworten als die vermeintlich identische
Frage als Multiple-Choice

21. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Multiple Choice vs. TinSort (graphisch)
TinSort mit explizit negativer Aussage vs. positive Aussage
Beispiel Next Generation FragetypBeispiel klassischer Fragetyp

22. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
E-Mail ist der favorisierte Einladungskanal
Viel weniger Antworten im klassischen Multiple-Choice Verfahren als mit TinSort

23. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Multiple Choice vs. TinSort (graphisch)
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

24. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Viele Online-Teilnehmer würde gerne echte Produkttest zu Hause machen
Antwortunterschiede extrem je nach verwendetem Fragetyp

25. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die neuen Fragetypen bringen an vielen Stellen erhebliche zeitliche Vorteile
Bei einigen Fragetypen ist kein zeitlicher Vorteil erkennbar
Antwortzeit in Sekunden

26. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Zusammenfassung Nutzung NXT GEN Fragetypen
● Mobil optimierte Fragetypen beschleunigen das CLICK-Interview (auch auf dem
Desktop)
● Validität der Verwendung von Drop-Downlisten darf generell hinterfragt werden.
Auf mobilen Geräten noch schwieriger als auf Desktop. Dort werden
Antwortmuster erkennbar, die es ohne mobile Technologie nicht geben würde
● Drop-Down für Ranking macht alles noch schlimmer. Touch Sortierung als
interessante Alternative
● Analytic Hierarchy Process als Ranking Alternative verursacht hohen
Bearbeitungsaufwand, erzeugt jedoch auch Qualitätsdaten der Konsistenz
● Multiple-Choice Fragetyp wird eher als Single-Choice Muster beantwortet
● TinSort ist ein spannender neuer Fragetyp, der ohne Kosten die Qualität der
Befragung verbessern kann
● Grafischer Price-Sensitivity-Meter erzeugt viel höhere Werte und erfordert
weitere Messungen zur Überprüfung der Validität der Idee
● Grafische Unterstützung macht Befragungen auch unterhaltsamer und erzeugt
weniger Item-Non-Response
● Zeit ist sehr subjektiv. Die neuen Fragetypen sparen im Schnitt 15% Antwortzeit
und damit Geld

27. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Wir forschen weiter: Gyroscale als Kombination von Bewegungen und analytischen
Fragen auf Mobilgeräten: Moving answers
Landscape Mode mit Messung Neigungswinkel
Portrait Mode mit Steering Wheel Messung
Gyroscale® ist eine Entwicklung der pangea labs und in questfox verfügbar

28. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Neue mobile Welt - Neue Fragetypen?!
3

29. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Chance für ein Umdenken in der digitalen Fragebogenforschung
● Einige der neuen Fragetypen erzeugen vergleichbare Antworten.
Andere erzeugen völlig andere Ergebnisse.
Die Ergebnisse stellen die Grundsatzfrage nach der Validität von
Messungen per Befragung.
Haben wir bisher alles korrekt erfragt? Wie geht das mobil?
● Grafische Fragetypen können das Verständnis der Teilnehmer unterstützen
(aber auch manipulieren)
● Schlichtes technisches Umwandeln von Repräsentationsformen einer Frage
erzeugt Datenprobleme.
Responsive Design als technische Lösung ist nicht immer adäquat für die
(mobile) Marktforschung
● Duale Bedienkonzepte könnten weitere Effekte haben. Apple 3D Touch
wird weitere Optionen eröffnen, die es zu testen gilt
● Einige Fragetypen eignen sich vorerst nur für bestimmte Geräte.
Das wird auch in naher Zukunft noch so bleiben

30. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die Suche nach mobilen Methoden hat gerade erst begonnen
●Methodenverzicht auf mobilen Geräten wäre katastrophal
●Device agnostisch ist die Denkweise zukünftiger Entwicklung
●Mobil wird erst in Zukunft wirklich mobil...

31. © InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Wir danken den Unterstützern dieser Studie
Projektdurchführung:
Prof. Dr. Holger Lütters – HTW Berlin
Kontakt
Prof. Dr. Holger Lütters
Hochschule für Technik und Wirtschaft Berlin
Holger.Luetters@htw-berlin.de
www.luetters.com
Twitter @luetters
xing.com/profile/Holger_Luetters
de.linkedin.com/in/luetters/
Dank an Benjamin Schubert und Ian Thomson
für die Unterstützung
Vollständiger Report unter
http://goo.gl/BJiHIy
Dank an die Unterstützer der Studie
www.pangealabs.com
questfox® is a development of pangea labs GmbH
www.gapfish.com