Device Agnostic Research: Sex, Drogen & Politik
Erste Ergebnisse einer Studie von Prof. Dr. Holger Lütters (HTW Berlin), bei der ein Vergleich der Nutzung von Desktop, Laptop, Tablet und Smartphone in einem Marktforschungsszenario mit extrem heiklen Fragen durchgeführt wurde.
Die Grundidee war es, herauszufinden, ob die Nutzung mobiler Geräte die Qualität der Daten in einem Fragebogen beeinflussen können.
Das Forschungsprojekt wurde von Panelbiz GmbH Berlin und pangea labs GmbH Schweiz unterstützt.
Device Agnostic Research: Sex, Drugs & Politics.
First results of a study from Prof. Dr. Holger Lütters (HTW Berlin) comparing the use of desktop, laptop, tablet and smartphone users in a market research scenario with extremely delicate questions.
The basic idea was to find out, whether mobile devices intefer with the data quality in a questionnaire setting,
The research approach was supported by Panelbiz GmbH Berlin and pangea labs GmbH Switzerland.
Eine Studie von Prof. Dr. Holger Lütters (Hochschule für Technik und Wirtschaft Berlin) zu den Effekten künstlicher Interviewer im Marktforschungsinterview.
Präsentation auf der Research&Results 2012 in München (#rar12)
Wer nicht fragt bleibt dumm - Ein User Research Toolkit für jedermannMichael Langmaack
Der Kern kundenzentrierter Produkte oder Services ist es, die Kunden zu verstehen. Dieses Verständnis basiert auf Zuhören. User Research hilft euch dabei, die richtigen Fragen zu stellen und euren Kunden richtig zuzuhören. Dabei muss User Research weder teuer noch kompliziert sein. Wir geben euch einen Überblick über verschiedene Methoden im User Research, die alle einfacher umzusetzen sind, als ihr vielleicht denkt. Wir geben euch einen Einblick in unsere Erfahrungen aus über fünf Jahren User Research im Online-Lotto und erarbeiten mit euch zusammen einfache Konzepte, die euch helfen, eure Kunden besser kennenzulernen.
Online Research Coming of age - Brownbag Presentation at Universitty of Preto...Holger Lütters
The document discusses the evolution of online research over time. It begins with the author's experiences with early online research methods from 1994-2014. It then addresses issues with online research such as lack of representativeness. However, the document argues that online research methods are a useful complement to traditional methods. It provides examples of recruiting participants through social media, mobile surveys, and combining online and offline methods. It emphasizes the importance of designing appealing questionnaires and controlling various aspects of online studies such as monitoring response rates to different questions. Finally, it discusses buying respondents through commercial online panels.
TinSort: Asking Market Research Questions the Tinder WayHolger Lütters
TinSort:
Asking Market Research Questions the Tinder* Way
General Online Research 2016 - Dresden, 4th March 2016
Track B10: Human-Computer Interaction
Holger Lütters – Hochschule für Technik und Wirtschaft Berlin
Daniel Westphal - pangea labs GmbH
Gené van Heerden - University of Pretoria
Example of TinSort under https://goo.gl/1kKhoY Report available under http://goo.gl/zf8tJp
Tinder is a brand of Tinder INC:
The document summarizes the results of a study on the status of web2.0 usage in the tourism industry in 2011. The study found that:
1) While consumers were adopting web2.0 technologies, many tourism organizations were only beginning to engage with these developments and had yet to realize their full potential online.
2) Basic online activities like websites and email marketing were common, but newer strategies like social media, mobile applications, and location-based services were not widely used.
3) To stay competitive, the tourism industry needs to more actively adopt emerging web2.0 technologies and integrate them into online, mobile, and social media strategies.
Online Panel vs. Mobile Advertising Recruiting in Market Research StudyHolger Lütters
Presentation of Holger Lütters during General Online Research Conference 2015 in Cologne, Germany.
While the majority of the online market research industry is still inviting people over the email channel, some new approaches of using advertising networks to recruit people literally pop-up.
Besides the largely discussed approach of Google consumer surveys, using the Google advertising eco-system on desktop and mobile devices, a new and independent approach has been developed by a Berlin start-up company. This approach allows inviting unknown people over an advertising partner’s website to take a survey.
The market researcher’s question at this point of technology development is, whether this approach can be considered to create valid data compared to the classic panel approach. In order to find out about the opportunities and problems of this recruiting procedure the standard panel approach was used in competition with the advertising recruiting approach.
Methods & Data:
The comparison of the competing data collection approaches was supervised by independent academic researchers and supported by the commercial online panel GapFish and the advertising recruiting approach as developed by Dalia Research. Overall more than 3.000 people were contacted to create an online sample of more than 800 respondents for each approach equally covering desktop, laptop, tablet and smartphone devices allowing to compare the results.
The device agnostic questionnaire was dealing with respondent’s behaviour when answering questionnaires and their expectations in compensation for taking questionnaires in the classic and the mobile environment.
The project was one of the interactions during the HTW Berlin / HWR Berlin Project InnoRadar. InnoRadar is supported by the Berlin Institute of Applied Research (IFAF) www.ifaf-berlin.de
Vernetzte Mobilität kann zur Weichenstellung für eine nachhaltige Mobilitätskultur werden. Dazu braucht es neben Technik und Infrastruktur auch tragfähige Institutionen für die enstehenden digitalen Commons und Anreize für eine Veränderung des Mobilitätsverhaltens.
Eine Studie von Prof. Dr. Holger Lütters (Hochschule für Technik und Wirtschaft Berlin) zu den Effekten künstlicher Interviewer im Marktforschungsinterview.
Präsentation auf der Research&Results 2012 in München (#rar12)
Wer nicht fragt bleibt dumm - Ein User Research Toolkit für jedermannMichael Langmaack
Der Kern kundenzentrierter Produkte oder Services ist es, die Kunden zu verstehen. Dieses Verständnis basiert auf Zuhören. User Research hilft euch dabei, die richtigen Fragen zu stellen und euren Kunden richtig zuzuhören. Dabei muss User Research weder teuer noch kompliziert sein. Wir geben euch einen Überblick über verschiedene Methoden im User Research, die alle einfacher umzusetzen sind, als ihr vielleicht denkt. Wir geben euch einen Einblick in unsere Erfahrungen aus über fünf Jahren User Research im Online-Lotto und erarbeiten mit euch zusammen einfache Konzepte, die euch helfen, eure Kunden besser kennenzulernen.
Online Research Coming of age - Brownbag Presentation at Universitty of Preto...Holger Lütters
The document discusses the evolution of online research over time. It begins with the author's experiences with early online research methods from 1994-2014. It then addresses issues with online research such as lack of representativeness. However, the document argues that online research methods are a useful complement to traditional methods. It provides examples of recruiting participants through social media, mobile surveys, and combining online and offline methods. It emphasizes the importance of designing appealing questionnaires and controlling various aspects of online studies such as monitoring response rates to different questions. Finally, it discusses buying respondents through commercial online panels.
TinSort: Asking Market Research Questions the Tinder WayHolger Lütters
TinSort:
Asking Market Research Questions the Tinder* Way
General Online Research 2016 - Dresden, 4th March 2016
Track B10: Human-Computer Interaction
Holger Lütters – Hochschule für Technik und Wirtschaft Berlin
Daniel Westphal - pangea labs GmbH
Gené van Heerden - University of Pretoria
Example of TinSort under https://goo.gl/1kKhoY Report available under http://goo.gl/zf8tJp
Tinder is a brand of Tinder INC:
The document summarizes the results of a study on the status of web2.0 usage in the tourism industry in 2011. The study found that:
1) While consumers were adopting web2.0 technologies, many tourism organizations were only beginning to engage with these developments and had yet to realize their full potential online.
2) Basic online activities like websites and email marketing were common, but newer strategies like social media, mobile applications, and location-based services were not widely used.
3) To stay competitive, the tourism industry needs to more actively adopt emerging web2.0 technologies and integrate them into online, mobile, and social media strategies.
Online Panel vs. Mobile Advertising Recruiting in Market Research StudyHolger Lütters
Presentation of Holger Lütters during General Online Research Conference 2015 in Cologne, Germany.
While the majority of the online market research industry is still inviting people over the email channel, some new approaches of using advertising networks to recruit people literally pop-up.
Besides the largely discussed approach of Google consumer surveys, using the Google advertising eco-system on desktop and mobile devices, a new and independent approach has been developed by a Berlin start-up company. This approach allows inviting unknown people over an advertising partner’s website to take a survey.
The market researcher’s question at this point of technology development is, whether this approach can be considered to create valid data compared to the classic panel approach. In order to find out about the opportunities and problems of this recruiting procedure the standard panel approach was used in competition with the advertising recruiting approach.
Methods & Data:
The comparison of the competing data collection approaches was supervised by independent academic researchers and supported by the commercial online panel GapFish and the advertising recruiting approach as developed by Dalia Research. Overall more than 3.000 people were contacted to create an online sample of more than 800 respondents for each approach equally covering desktop, laptop, tablet and smartphone devices allowing to compare the results.
The device agnostic questionnaire was dealing with respondent’s behaviour when answering questionnaires and their expectations in compensation for taking questionnaires in the classic and the mobile environment.
The project was one of the interactions during the HTW Berlin / HWR Berlin Project InnoRadar. InnoRadar is supported by the Berlin Institute of Applied Research (IFAF) www.ifaf-berlin.de
Vernetzte Mobilität kann zur Weichenstellung für eine nachhaltige Mobilitätskultur werden. Dazu braucht es neben Technik und Infrastruktur auch tragfähige Institutionen für die enstehenden digitalen Commons und Anreize für eine Veränderung des Mobilitätsverhaltens.
Digitale Ökosysteme: Digitalisierung in UnternehmenMe & Company GmbH
Um im Wettbewerb zu den großen Digitalisierern Google, Apple, Amazon und Facebook nicht den Anschluss zu verlieren, machen Unternehmen die Digitalisierung zunehmend zur zentralen Aufgabe des Managements. Die einstigen Startups haben die letzte Dekade genutzt, um ihren digitalen Vorsprung aufzubauen und drängen fortwährend in weitere Märkte. Von ihnen und anderen Jungunternehmen lässt sich das Prinzip des digitalen Ökosystems lernen. Was ein digitales Ökosystem ist und wie es sowohl vom Mittelstand, als auch von Großunternehmen aufgebaut werden kann, zeigt diese Präsentation.
Eine Folien aus mehreren Vorträgen mit vielen Links zu Quellen zu E-Government in Deutschland: Zeittafel; E-Government; E-GovG-Flickenteppich; Zugangseröffnung; Papierpost; 115-Bürgertelefon; EU-Dienstleistungsrichtlinie; Elektronischer Rechtsverkehr; eIDAS; eInvoicing; Onlinezugangsgesetz; Open Data Gesetz; Digitalisierungsstrategie in Kommunen; Fazit.
Social Media Recruiting for Market Research panelbiz vs adidas Facebook HTW B...Holger Lütters
Presentation Holger Luetters (HTW Berlin) at Research & Results 2011 in Munich.
Study to evaluate the use of Social Media in the market research process. A comparative approach comparing a representative sample with a facebook recruiting idea.
Study of HTW Berlin in cooperation with adidas, panelbiz and pangea labs.
The power of "like" - Social Networks AnalysisHolger Lütters
The document discusses social network analysis and how people's online interactions can be analyzed and used for marketing purposes. It notes that as people engage more online through likes, clicks and sharing information, they leave behind large amounts of data that can be used to understand influence and connections between individuals. This data is increasingly used by companies to better target advertising and understand networks of influence.
Das VBKI Gründerbarometer „StartingUpBerlin“ ist eine gemeinsame Initiative von VBKI und Weberbank mit Unterstützung von deutsche-startups.de und IBB Bet. Die erste Studie dieser Art vermittelt einen tiefergehenden Einblick in die Berliner Start-up-Szene.
Zukunft der mobilen Marktforschung GapFish vs Dalia Research; Research & Resu...Holger Lütters
Folien zum Vortrag von Prof. Dr. Holger Lütters auf dem Kongress der Research & Results 2014.
Vergleich eines Online Panels mit einem Mobile Panel.
Analyse der HTW Berlin zum Vergleich beider Rekrutierungsmöglichkeiten
Vortrag am 23.10.2014 im Research&Results Kongress.
#rr2014
Open Data - Wertschöpfung im digitalen ZeitalterWolfgang Ksoll
Vortrag zu Studie der Bertelsmann-Stiftung und Teil eines eintägigen Intensiv-Seminars:
http://wk-blog.wolfgang-ksoll.de/2017/01/23/open-data-wertschoepfung-im-digitalen-zeitalter/
Beispiel erfolgreicher Open Data Nutzung
Digitale Ökosysteme: Digitalisierung in UnternehmenMe & Company GmbH
Um im Wettbewerb zu den großen Digitalisierern Google, Apple, Amazon und Facebook nicht den Anschluss zu verlieren, machen Unternehmen die Digitalisierung zunehmend zur zentralen Aufgabe des Managements. Die einstigen Startups haben die letzte Dekade genutzt, um ihren digitalen Vorsprung aufzubauen und drängen fortwährend in weitere Märkte. Von ihnen und anderen Jungunternehmen lässt sich das Prinzip des digitalen Ökosystems lernen. Was ein digitales Ökosystem ist und wie es sowohl vom Mittelstand, als auch von Großunternehmen aufgebaut werden kann, zeigt diese Präsentation.
Eine Folien aus mehreren Vorträgen mit vielen Links zu Quellen zu E-Government in Deutschland: Zeittafel; E-Government; E-GovG-Flickenteppich; Zugangseröffnung; Papierpost; 115-Bürgertelefon; EU-Dienstleistungsrichtlinie; Elektronischer Rechtsverkehr; eIDAS; eInvoicing; Onlinezugangsgesetz; Open Data Gesetz; Digitalisierungsstrategie in Kommunen; Fazit.
Social Media Recruiting for Market Research panelbiz vs adidas Facebook HTW B...Holger Lütters
Presentation Holger Luetters (HTW Berlin) at Research & Results 2011 in Munich.
Study to evaluate the use of Social Media in the market research process. A comparative approach comparing a representative sample with a facebook recruiting idea.
Study of HTW Berlin in cooperation with adidas, panelbiz and pangea labs.
The power of "like" - Social Networks AnalysisHolger Lütters
The document discusses social network analysis and how people's online interactions can be analyzed and used for marketing purposes. It notes that as people engage more online through likes, clicks and sharing information, they leave behind large amounts of data that can be used to understand influence and connections between individuals. This data is increasingly used by companies to better target advertising and understand networks of influence.
Das VBKI Gründerbarometer „StartingUpBerlin“ ist eine gemeinsame Initiative von VBKI und Weberbank mit Unterstützung von deutsche-startups.de und IBB Bet. Die erste Studie dieser Art vermittelt einen tiefergehenden Einblick in die Berliner Start-up-Szene.
Zukunft der mobilen Marktforschung GapFish vs Dalia Research; Research & Resu...Holger Lütters
Folien zum Vortrag von Prof. Dr. Holger Lütters auf dem Kongress der Research & Results 2014.
Vergleich eines Online Panels mit einem Mobile Panel.
Analyse der HTW Berlin zum Vergleich beider Rekrutierungsmöglichkeiten
Vortrag am 23.10.2014 im Research&Results Kongress.
#rr2014
Open Data - Wertschöpfung im digitalen ZeitalterWolfgang Ksoll
Vortrag zu Studie der Bertelsmann-Stiftung und Teil eines eintägigen Intensiv-Seminars:
http://wk-blog.wolfgang-ksoll.de/2017/01/23/open-data-wertschoepfung-im-digitalen-zeitalter/
Beispiel erfolgreicher Open Data Nutzung
1. Sex, Drogen und Politik
Device Agnostic Research im mobilen Zeitalter
Vortrag Research & Results, München 23. Oktober 2013
Prof. Dr. Holger Lütters | holger.luetters@htw-berlin.de | twitter.com/borschtsch
2. Kernfrage: Erzeugt die Verwendung von Mobilgeräten zur
Marktforschungsbefragung andere Ergebnisse?
Grundsatzfrage für die Marktforschung: Sind mobile Geräte eine
eigene Kategorie von Befragung, oder kann man mobile Erhebungen zum
Kanon des Online-Marktforschungsinterviews zählen?
These: Mobil antwortet der Mensch auf heikle Fragen anders
Umsetzung der Studie:
Studie mit 4 Geräteklassen, zur Untersuchung von
Antworteffekten (Desktop, Laptop, Tablet und Smartphone)
Befragung von Dingen, die man tunlichst nicht befragen sollte
Explizit provokante Fragen zur Überprüfung devianten
Antwortverhaltens in unterschiedlichen (mobilen) Situationen
(Zu Hause, bei der Arbeit, unterwegs…)
Themenwahl Sex, Drogen und Politik in der Reihenfolge Politik, Sex
und Drogen zur langsamen Annäherung an die „heiklen“ Fragen
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
2
4. Device Agnostic Research:
Forschung ohne an Geräte glauben zu müssen
Erhebungen auf iOS-Geräten ergeben z.T. andere Ergebnisse als
bspw. auf Android-Geräten (z.B. bei Preisbereitschaft)
Idee: Die Studie muss auf jedem Teilnehmergerät in adäquater
Qualität funktionsfähig sein, ohne dass eine zusätzliche Software
(Flash, Silverlight oder App) installiert werden muss.
Der Fragebogen wird nicht im Hinblick auf eine Geräteklasse
optimiert, sondern soll auf allen Geräten funktionieren
Je nach Gerät sollen sich bestimmte Funktionen automatisch
ein/ausschalten und eine angenehme UX ermöglichen
Die Studie soll das Verhalten der Nutzer erheben und auf Effekte in
den Response-Daten und Antwortdaten ermitteln.
Die konkreten Antworten stehen nicht im Mittelpunkt, sondern
lediglich die Unterschiede der Antworten in Abhängigkeit der Geräte
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
4
6. Studie mit vier technischen Routen mit identischem
Inhalt zu drei „heiklen“ Themenkreisen
VIER DEVICE-VARIANTEN
Device1:
Desktop
Device 2:
Laptop
Device 3:
Tablet
Device 4:
Smartphone
THEMEN:
Politik
Sexualverhalten
Drogen
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
6
8. Nicht reaktive Ergebnisunterschiede
2
- Geräte und Nutzertypologien
- Zeit zur Beantwortung der Befragung
- Drop-out Betrachtung
- Konsistenzüberprüfung im Analytic Hierarchy Process Verfahren
10. Auch Mobilgeräte werden in den eigenen vier Wänden genutzt.
Nur das Smartphone ist wirklich mehrheitlich mobil
Zu Hause (n=513)
Nicht zu Hause (n=149)
n=662 vollständige Interviews
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
10
11. Der Laptop wird verstärkt von Frauen eingesetzt
Desktop ist ein männlicher Device
Mobilgeräte kaum Unterschiede
41,1%
(n=44)
59,3%
(n=70)
48,3%
(n=101)
51,3%
(n=117)
58,9%
(n=63)
40,7%
(n=48)
51,7%
(n=108)
48,7%
(n=111)
n=662 vollständige Interviews
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
11
12. Desktop User sind im Schnitt älter
Das Smartphone wird eher von Jüngeren genutzt
Das Tablet erst ab einem gewissen Alter
42,02
(n=107)
38,86
(n=118)
39,04
(n=209)
30,89
(n=228)
Alter
n=662 vollständige Interviews
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
12
14. Die unterschiedlichen Devices erzeugen unterschiedliche
Response Rates und Antwortzeiten
Mean:
607 Sekunden
Median: 485 Sekunden
Gesamte Studie (alle Geräte)
Mittelwert (MEAN) 767 Sekunden=12,8 Minuten
Median 621 Sekunden=10,35 Minuten
Mean: 619 Sekunden
(1,9% länger als Desktop)
Median: 533 Sekunden
(9% länger als Desktop)
Mean: 755 Sekunden
(19,6% länger als Desktop)
Median: 631 Sekunden
(23,1% länger als Desktop)
Mean: 929 Sekunden
(34,7% länger als Desktop)
Median: 763 Sekunden
(36,4% länger als Desktop)
Basis: n=662 vollständige Teilnehmer
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
14
15. Die mit 10 Minuten Dauer angegebene Befragung wurde in einer
gefühlten Einschätzung nicht als länger bewertet
(auch wenn es länger war)
„Kann
ich
nicht
sagen“
2,71
2,83
2,98
3,45
6,5%
8,5%
Echte Dauer
Schätzung
8,08 Minuten*
8,10 Minuten
8,88 Minuten*
8,26 Minuten
5,8%
10,51 Minuten*
8,61 Minuten
4,7%
12,7 Minuten*
10,55 Minuten
Basis: n=662 vollständige Teilnehmer
• tatsächliche Antwortzeit (Median) aller Teilnehmer der Gruppe
• Schätzung der benötigten Zeit
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
15
16. Das Smartphone hat 36% mehr Zeit benötigt als der Desktop
Aber: Mobile Befragungen fühlen sich kürzer an als sie sind
Echte Zeit
MEDIAN
in Sek.
G1
G2
G3
G4
Vergleich
der
Devices
Abfrage:
Gefühlte Zeit
in Sek.*
Vergleich der
Devices
Gefühlte Zeit
in Relation zu
tatsächlicher
Zeit (Median)
485
=100%
486
=100%
0%
533
+9%
495
+2%
-7%
631
+23%
516
+6%
-17%
763
+36%
633
+24%
-12%
Vorgabe 10 Minuten für Interview
* Die Abfrage der Zeit erfolgte in Minutenschritten
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
16
21. Konsistenzmessung nach Analytic Hierarchy Process in der
Messung im Paarvergleich
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
21
22. In der Paarvergleichsbefragung keine wesentlichen
Unterschiede zwischen den Geräteklassen.
Desktop
Laptop
Tablet
Drogenmissbrauch 0,33
0,32
0,31
0,29
Gewaltprävention
0,37
0,33
0,32
0,33
Liebe & Sexualität
0,14
0,17
0,17
0,19
Politik
0,16
0,18
0,2
0,19
117
204
211
n 107
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
Smartphone
22
23. Der Qualitätsindikator Konsistenz fällt bei den mobilen
Geräten überraschend positiv aus. Bei Tablets am besten
PC
Laptop
Tablet
sehr konsistent
16,80%
22,90%
26,30%
23,20%
konsistent
23,40%
22,00%
20,60%
18,90%
weniger konsistent
47,40%
44,10%
34,90%
38,20%
inkonsistent
11,20%
6,80%
10,00%
11,00%
extrem inkonsistent
0,90%
0,00%
1,40%
0,90%
Basis
n=107
n=118
n=209
n=228
1. Rating
0,272
0,236
0,219
0,255
2. Rating
0,281
0,236
0,253
0,266
Basis n=662; Konsistenzmessung im Analytic Hierarchy Process; Keine Wiederholung inkonsistenter Paarvergleiche
Gemessen wurde die Konsistenz in zwei verschiedenen AHP Decision Trees (1. Rating; 2. Rating) ohne warm-up
Je höher der Wert, desto inkonsistenter das Antwortmuster; Klassische Grenze nach Saaty: < 0,1;
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
23
24. Alle Varianten erzeugen gute Konsistenzwerte
Standardinstrument PC erzeugt die schlechtesten Werte
Desktop
Laptop
Tablet
Smartphone
1. Rating: 0,272
2. Rating: 0,281
1. Rating: 0,236
2. Rating: 0,236
1. Rating: 0,219
2. Rating: 0,253
1. Rating: 0,255
2. Rating: 0,266
n=107
n=118
n=209
n=228
Basis n=662; Konsistenzmessung im Analytic Hierarchy Process; Keine Wiederholung inkonsistenter Paarvergleiche
Gemessen wurde die Konsistenz in zwei verschiedenen AHP Decision Trees (1. Rating; 2. Rating) ohne warm-up
Je höher der Wert, desto inkonsistenter das Antwortmuster; Klassische Grenze nach Thomas L. Saaty: < 0,1;
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
24
25. Zusammenfassung
Nicht-reaktive Effekte des Einsatzes mobiler Geräte
Mobile Geräte sind technisch vergleichsweise einfach einzubinden,
erhöhen aber die Abbruchquote erheblich
Smartphone-Nutzung zur Marktforschung scheint zu nerven und
hebt die Abbrecherquote auf ein noch höheres Niveau
Antwortverhalten von Laptop näher am Tablet als am Desktop
Konsistenzwerte der Messung auf mobilen Geräten besser im
Vergleich zu Desktop/Laptop
Zeit ist ein extrem subjektiver Begriff, der nicht immer durch die
Realität abgebildet wird
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
25
28. Die Antworten auf die Fragen nach der politischen
Einordnung fallen nur auf dem Desktop anders aus
Links
Rechts
2,69
3,09
3,15
3,22
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
28
29. Eine Empfehlungsfrage unter Nutzung des NPS erzeugt - je
nach Device - starke Unterschiede
Frage: Würden Sie die Regierung der Bundesrepublik Deutschland weiterempfehlen?
Gruppe
NPS Wert
Gesamt
-57,73
Desktop
-71,03
Laptop
-66,68
Tablet
-52,65
Smartphone
-50,95
n= 641
Der Net Promoter Score gibt an, wie viel Prozent in Bezug auf die Fragestellung eine Weiterempfehlung
aussprechen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score,
desto höher der Netto-Empfehler-Score
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
29
31. Die heikle Frage nach Fremdgehen wird auf allen Geräten
vergleichbar beantwortet
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
31
32. Die Frage nach Selbstbefriedigung ergibt nur geringe
Unterschiede im Antwortverhalten (Laptop ragt heraus)
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
32
33. Bei der Anzahl der Sexualpartner fallen die
Desktopantworten aus dem Antwortschema
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
33
34. Drei Paarvergleichsfragen zur Nutzung von Kondomen
weist keine wesentlichen Abweichungen auf
Messung nach dem Analytic Hierarchy Process Verfahren nach Saaty
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
34
35. Die Frage der Weiterempfehlung wurde auch auf die
persönliche Beziehung angewendet. Wieder starke
Unterschiede bei Verwendung der NPS Methode
Frage: Wie sicher würden Sie gerne nochmals
mit dem selben Partner eine Beziehung eingehen wollen?
Gruppe
NPS Wert
Gesamt
+ 38,77
Desktop
+ 46,68
Laptop
+ 19,98
Tablet
+ 37,58
Smartphone
+ 47,09
n= 485 (nur Menschen, die in einer Beziehung leben)
Der Net Promoter Score gibt an, wie viel Prozent in Bezug auf die Fragestellung eine Weiterempfehlung
aussprechen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score,
desto höher der Netto-Empfehler-Score
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
35
37. Die Zielgruppe bewertet die Einschätzung der Illegalität
einer Droge im Mittel gleich
3,33
2,52
2,87
2,87
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
37
38. Smartphone User geben an, seltener illegale Drogen
konsumiert zu haben
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
38
39. Bei der Projektivfrage des Drogenkonsums im Umfeld
kaum Antwortunterschiede
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
39
40. Keine signifikanten Antwortunterschiede bei den heiklen
Detailfragen nach dem Drogenkonsum
Marginale Abweichungen
Desktop Respondenten rauchen mehr
Smartphone Respondenten trinken
mehr Energy Drinks
Laptop Respondenten nehmen mehr
Medikamente
Keiner dieser Unterschiede statistisch
signifikant
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
40
41. KEINE Unterschiede in den Daten zwischen Antworten zu
Hause und außerhalb
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
41
43. Die Device Agnostische Befragung wird auf Mobilgeräten
etwas schlechter bewertet.
Erstaunlich: Tablet schlechter als Smartphone
8,24
8,16
7,45
7,47
Basis: n=662 vollständige Teilnehmer
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
43
44. Abermals erzeugt die NPS Methode andere Antworten auf
den unterschiedlichen Geräteklassen
Frage: Wie wahrscheinlich ist es, dass Sie diese Befragung Dritten weiterempfehlen?
Gruppe
NPS Wert
Gesamt
+ 29,50
Desktop
+ 46,74
Laptop
+ 32,49
Tablet
+ 23,08
Smartphone
+ 25,46
n= 664
Der Net Promoter Score gibt an, wie viel Prozent die Erhebung weiterempfehlen würden. Formel: % der
Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score, desto höher der Netto-EmpfehlerScore; Vergleichswert: Avatarstudie 2012 NPS im Schnitt 22%
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
44
45. Das offene Feedback war aber insgesamt (sehr) positiv
Tagcloud auf Basis der Antworten von n=662 Kandidaten
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
45
46. Kleines technisches Nebenproblem bei offenen Antworten
Autocomplete Funktion als Problem der mobilen Befragung
Offene Antworten in der Studie
Die Idee, dass
Großkonzerne zu
benutzen finde ich sehr
interessant.
Die ewige
Geschlechtsabfrage war
ziemlich nervig.
http://www.autocompletefail.de
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
46
48. Die vorgefundenen Ergebnisunterschiede tangieren
verschiedene Dimensionen
Keine Effekte auf Daten bei Standardfragen
Vorsicht bei besonderen Methoden (AHP identische Ergebnisse;
NPS völlig unterschiedliche Ergebnisse)
Mobileffekte eher umgekehrt als vermutet (offenere Antworten
auf heikle Fragen außerhalb des Hauses)
Keine erkennbar positiven Erkenntnisse in Bezug auf
Teilnahmebereitschaft, Gefallen der Studie etc.
Die Studie wurde für die (erfahrenen) Umfrageteilnehmer nicht
signifikant attraktiver
Mobile Geräte benötigen längere Antwortzeiten (Smartphone
+36%; Tablet +23%) und verursachen daher höhere Kosten der
Incentivierung als die Desktopversion. Aber: Mobile Befragungen
fühlen sich kürzer an als sie sind
Abweichungen bei Desktop/Tablet sind eher erklärbar durch
Faktoren der Besitzer als durch die Geräte selbst. Aber auch
Touchpad vs. Maussteuerung
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
48
49. Gesamtbetrachtung der mobilen Erhebung als Trade-off
Qualität – Kosten - Zeit
Qualität
Kosten höher aufgrund
höherer Abbruchquoten
und Zeitbedarf
Notwendigkeit der
höheren Incentivierung
der längeren
Interviews
Kosten
Qualität der Messung scheint
keine Probleme zu bereiten
Konsistenz besser als auf PC
Neue Methoden immer nur mit
technischen Hürden
integrierbar
Zeit
Zeitbedarf höher ohne daraus
Erkenntnisgewinn zu erzielen
Zeitfenster der Befragung größer
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
49
50. Frage nach der Validität einer Messung bleibt offen:
Desktop/Laptop-Erhebung die reale Abbildung der Welt?
Validität klassischer Verfahren darf hinterfragt werden: Welche
Interaktionsform liefert das „wahre“ Ergebnis?
Warum sollte ein künstliches Desktop-Ambiente näher an der Realität
sein, als die mobile Erhebung vor Ort oder auf der eigenen Couch?
Drop-out Raten der Mobilgeräte erheblich höher
Smartphone erzeugt den höchsten Drop-out und längste
Antwortzeiten. Diese Effekte verursachen erhebliche Kosten
Sampling erschwert: Ein genaues Sampling der Gerätekategorie
erzeugt hohen Aufwand (=Kosten).
Zielgruppeneffekte des Sampling: Das genutzte Gerät ist keine
unabhängige Variable sondern eine Resultante aus Alter, Einkommen
und vielleicht sogar Geschlecht
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
50
51. Status Mobile Befragung 2013
Es funktioniert mit (technischen) Einschränkungen
Mobile Befragungen sind keine neue Kategorie, sondern nur eine
besondere Form der Online-Befragung mit TOUCH Funktion
Obwohl die Befragung auf Smartphones erheblich länger ausfiel,
wurde dies kaum bemängelt. Zeit ist eine Frage der
Wahrnehmung
Unterschied der Antworten zwischen den Kategorien Laptop und
Desktop überrascht mehr
Neue Problemphänomene der Wahrnehmungskonkurrenz.
Eine hübsch designte Befragung kam auf PC sehr gut an.
Die identische Befragung auf mobilen Geräten aber nur gut
Device Agnostik ist die Entwicklungsrichtung. Proprietäre
Entwicklungen (Apps) bringen uns allerdings in die Steinzeit des
Computerzeitalters zurück
Unterscheidung der Kategorien in Zukunft eher durch den
Interaktionsmodus zu erklären (TOUCH vs DEVICE MEDIATED)
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
51
53. Unser Dank gilt den Partnern, die diese Studie unterstützt haben
Durchführung
Unterstützer der Studie
Prof. Dr. Holger Lütters
www.panelbiz.com
Hochschule für Technik und Wirtschaft Berlin
Fachbereich 3
Treskowallee 8
10318 Berlin
Holger.Luetters@htw-berlin.de
www.pangealabs.com
questfox® und Gyroscale® sind eine
Entwicklung der pangea labs GmbH Schweiz
und steht in www.questfox.com zur
Verfügung
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013
53