Presentation Holger Luetters (HTW Berlin) at Research & Results 2011 in Munich. Study to evaluate the use of Social Media in the market research process. A comparative approach comparing a representative sample with a facebook recruiting idea. Study of HTW Berlin in cooperation with adidas, panelbiz and pangea labs.

1. Umfragerekrutierung durch Soziale Netzwerke versus Online-Panels
Vortrag Research & Results, München 27. Oktober 2011
Prof. Dr. Holger Lütters holger.luetters@htw-berlin.de

2. 1
Social Media und Marktforschung

3. Facebook in der Marktforschung:
Chance oder Bedrohung?
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 3

4. Social Media erscheinen als eine vielversprechende Quelle
für die Marktforschung
Chance Fragen der Forschung
• Menschen begeben sich • Sind „Fans“ überhaupt
freiwillig in die Interaktion nutzbar für Zwecke der
mit Anbietern Marktforschung?
• Menschen sind Willens sich • Effekte des erhöhten
mit Anbietern zu vernetzen Themeninvolvements?
• Potential: • Wie gut sind Fans
• Etwaige Kosten für die motivierbar?
Rekrutierung könnten • Unterschiedliche Ergebnisse
entfallen je nach Rekrutierungskanal?
• Zeitaufwand könnte sinken
• Welche Nebeneffekte treten
auf?
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 4

5. Idee zur Erforschung der Thematik:
Ein Wettrennen im Bereich der Rekrutierung
• Rekrutierung: Panel vs. Social Media
• Forschungsprojekt der HTW Berlin mit Unterstützung von:
adidas erarbeitete Fragebogen und unterstützte die
Rekrutierung über Blogs, Twitter und Facebook
Panelbiz stellte ein repräsentatives, quotiertes
Sample zur Verfügung
pangea labs stellte die Software questfox für alle
Erhebungsvarianten zur Verfügung
Durchführung: Prof. Dr. Holger Lütters – HTW Berlin
• Thema der Erhebung: Running
• Dauer: März 2011 bis Oktober 2011
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 5

6. 2
Durchführung der Studie Running

7. Klassischer Fragebogen mit 35 Fragenblöcke zum Thema
Running im unterschwelligen adidas Design
• Screenoutregeln/
Quotenregeln (nur für
Panel)
• Verhaltensfragen
• Einstellungsfragen
• Soziodemografie
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 7

8. Ansprache wurde in der 2. Person Singular durchgeführt,
um Facebook-kompatibel zu sein
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 8

9. Die Methode des Analytic Hierarchy Process wurde
eingesetzt, um im Hintergrund eine Konsistenzmessung
vornehmen zu können
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 9

10. 3
Rekrutierungsunterschiede Panel vs. Social Media

11. Zwei Rekrutierungsstrategien im methodischen Vergleich
Online Panel Social Media
• Definition einer • Social Media Kanäle des
Quotensteuerung Anbieters adidas
• Durchführung Panelbiz • 263.488 Fans adidas Running
• Mit über 250.000 aktiven • Ziel: Unbegrenzte Anzahl von
Teilnehmern eines der größten Befragten
Panels Deutschlands
• Ziel: 300 Befragte
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 11

12. Social Media Rekrutierungsstrategie
Laufblog/Twitter
März bis August 2011
• 85 Starter
• 39 Completes =45,9%
1. Facebook Einladung
24.8.2011 (KEIN Incentive)
• 279 Starter
• 199 Completes =71,3%
2. Facebook Einladung
5.10.2011 (Mit Incentive)
• 165 Starter
• 107 Completes =64,8%
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 12

13. Die Rekrutierung von 300 vollständigen Interviews via
Panel benötigte 5 Arbeitstage brutto
Die Studie fand an 3 Tagen (netto) statt
• Start: 14.02.2011
• 1. Tag: Keine Aktion des Panels
Daily average completion rate: 93 %
• 5. Tag: Nur Zurückweisung der bereits erfüllten Quoten
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 13

14. Social Media Vergleichsgruppe startete gleichzeitig via Blog
2 fache Ansprache der Facebook Gruppe August 2011
160
Reminder
Anzahl der Starter/ Complete responses
140
Erste Einladung (Zweite Einladung)
als Post auf
adidas Running
120
100
Completes Social Media
80
Starter Social Media
60
Daily average
completion rate: 80%
40
Erste Reaktion auf Blog
20
0
14.2. 23.8. 5.10.
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 14

15. Einladungen im Social Media Umfeld haben eine kurze
Lebensdauer. Reminder gestalten sich sehr schwierig
• Von 263.488 potentiellen
Kontakten reagierten
0,13% mit einem
vollständigen Interview
• Trotz Incentivierung in
der 2. Welle fiel die
Reaktion geringer aus
• Fazit: Timing ist sehr
entscheidend
• Funktionsfähige
Reminder gibt es in
Social Media nicht!
http://www.businessinsider.com/chart-of-the-day-average-lifespan-of-a-link-2011-9
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 15

16. Vergleich Eckdaten des Antwortverhaltens der Rekrutierung
Social Media vs. Panel
Vergleichsgröße Social Media Panel
Recruiting Recruiting
8 Monate insgesamt
Dauer der Erhebung (Brutto) 5 Tage
Facebook: 2 Monate
Fremdkosten Rekrutierung Keine Fremdkosten Ca. 1250 €
Netto Antworttage 53 Tage 3 Tage
526 1178
Anzahl Starter
Keine Screen-out Regeln Screen-out Regeln
Anzahl vollständiger Interviews 345 320
717 Sekunden 449 Sekunden
Antwortzeit (Completes)
(11 Minuten 57) (7 Minuten 29)
Gefallen an der Studie 6,94 7,96
(Skala 0 bis 10) (STDV 1,66) (STDV 1,57)
Abbrecherquote
33,0% 7,8%
(ohne Screenout)
Durchschn. Konsistenz (CRH) 0,322 0,320
Anteil Antworten unterhalb
20,5% inkonsistent 20,0% inkonsistent
akzeptabler Konsistenzschwelle
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 16

17. Der Qualitätsindikator Konsistenz fällt in beiden Gruppen
nahezu identisch aus
Konsistenz- Social Media Panel
messung
Keine Messung 2,6% 1,9%
sehr konsistent <0,1 17,7% 15,0%
konsistent 11,6% 15,3%
<0,2
weniger <0,5 47,5% 47,8%
konsistent
inkonsistent >0,5 15,1% 15,3%
extrem
inkonsistent
>0,8 5,5% 4,7%
Basis n=345 n=320
Durchschnittlicher Konsistenzwert 0,323 0,320
Messung der Consistency Ratio of the Hierarchy (CRH) in der Entscheidungsfrage T10
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 17

18. 4
Ergebnisunterschiede
Nachfolgend werden keine inhaltlichen Ergebnisse der Studie gezeigt.
Es werden lediglich strukturelle Unterschiede, die auf die Art der
Rekrutierung zurückzuführen sind dargestellt.

19. Antworten zu eher allgemeinen Daten fallen vergleichbar
aus
AHP Paarvergleich; Basis n=320 Panelbiz; n=345 adidas
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 19

20. Die konkreten Themenfragen aus dem Bereich der
Fangruppe Running werden vom höheren Involvement der
„Fans“ positiv beeinträchtigt
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 20

21. Die Vergleiche der themenspezifischen Antworten fallen
sehr unterschiedlich aus
Hast Du im Jahr 2010 an einem Planst Du im Jahr 2011 an einem
Laufevent teilgenommen? Laufevent teilzunehmen?
Volks-
lauf
Halb-
marathon
Marathon
Basis n=320 Panelbiz; n=345 adidas
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 21

22. Je spezifischer die Details, desto größer die Unterschiede
im Antwortverhalten
nie immer
im Sommerurlaub
Anzahl Laufschuhe:
Panelbiz: 1,88
adidas: 2,49
im Winterurlaub Wochentage mit Running:
Panelbiz: 4,45
adidas: 4,93
Wochenend-Urlaub
Geschäftsreise
Basis n=320 Panelbiz; n=345 adidas
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 22

23. Facebook Fans der Marke adidas sind besser ausgerüstet
als eine Panelstichprobe
Panelbiz n=320; adidas n=345
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 23

24. Das Informationsverhalten differiert insbesondere bei
themenspezifischer Information stark
Wo informierst Du Dich über Neuigkeiten rund um das Thema Running?
Basis n=320 Panelbiz; n=345 adidas; Skala 1=nie bis 5= immer
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 24

25. User aus Social Media sind verwöhnt von guter Gestaltung
Social Media
Mittelwert 6,93
(STDV 1,64)
n=345
Panel
Mittelwert 7,96
(STDV 1,57)
n=320
Skala: 0=nervig bis 10 = interessant
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 25

26. 4
Interpretation der Erkenntnisse

27. Ergebnisunterschiede liegen in der Themennähe der
Befragten begründet
• Erhöhtes Themeninvolvement der Fans verzerrt Ergebnisse
zum Thema deutlich
• Nutzbarkeit für Themen mit bevölkerungsrepräsentativem
Anspruch eher nicht gegeben
• Nutzung für sehr spezifische Fragestellungen der Lead-
User gut
• Gedanke: Themenfremde Fragen auf einer Fanpage
könnten eher ein repräsentatives Abbild ergeben als
fanspezifische Inhalte
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 27

28. Panel: Kosten und Zeitachse unter Kontrolle
Social Media: Hoher Personaleinsatz unter Unsicherheit
• Der Aufwand der Rekrutierung via Social Media war immens
hoch
• Die Unsicherheit über den Rekrutierungserfolg bestand
durchgängig
• Auch wenn ein Panel Fremdkosten verursacht, ist der Einsatz
im direkten Vergleich für Fragebogenforschung jedoch besser
planbar
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 28

29. Auch bei Vorhandensein einer großen aktiven
Fangemeinde entstehen Kosten
• Ergebnis: Die Möglichkeiten der Rekrutierung über Social
Media bleiben faszinierend. Die ersten Erkenntnisse deuten
jedoch auf viel Arbeit bei Umsetzung von Studien via Social
Media hin
• Transaktionskosten: Der Aufwand der Abstimmung mit dem
Anbieter und dessen Partnern war immens
• Verschiedene Menschen aus verschiedenen
Organisationen/Abteilungen mussten involviert werden
• Professionelle Social Media Prozesse sind Voraussetzung
• Bei Vergabe eines Incentives steigt der
Organisationsaufwand erheblich (auch nach der Befragung),
(Incentive ohne messbaren Effekt in der vorgelegten Studie)
• Jede Variante der Rekrutierung und Motivation benötigt
Qualitätskontrolle. Social Media vielleicht sogar mehr!
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 29

30. Konsumentensicht der Befragung via Social Media
• Wenn eine „Freundschaftsbeziehung“ in die Marktforschung
überführt wird, kann sich dies negativ auf die Beziehung
auswirken
• Facebook User sind keine längeren Interaktionen gewohnt.
Dennoch nahmen sie sich mehr Zeit. Oder taten etwas anderes
• Response-Management-Problem: Reminder sind in Social
Media nahezu ausgeschlossen. Der aktive User, der bereits
teilgenommen hat, erscheint genervt bei wiederholter
Einladung.
• 12 User (von 345) nahmen via Facebook 2fach teil und
nannten ihre E-Mail doppelt (um zu gewinnen)
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 30

31. Hinweis: Wer das Social Media-Türchen öffnet, muss mit
Interaktion rechnen… diese kostet Planung, Zeit und Geld
Hier gibt es was zu gewinnen
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 31

32. 5
Recruiting der Zukunft in der Marktforschung

33. Die Zukunft der Rekrutierung wird das Riversampling als
Standardvariante kennen
• Panelrekrutierung ist auch in Zukunft ein sicherer Weg zur
quotierten, repräsentativen Stichprobe in einem vorab
definierten Kostenrahmen
• Die Rekrutierung der eigenen Kunden/Fans bleibt auch in
Zukunft sehr verlockend
• Hauptproblem: Management Issues des Handling
• Nebenproblem: Selbstselektionseffekte steigen in Social
Media und erzeugen unterschiedliche Antwortmuster
• Eine vergleichende Kombination beider Gruppen wird ein
gangbarer Weg in der Zukunft sein (oder gar Pflicht)
• Panelanbieter und deren Kunden sollten die Entwicklung der
Social Media im Auge behalten. We have only just begun!
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 33

34. Auch in der Zukunft des Riversampling gilt weiterhin:
„Alle, nicht jeder!“ (Elisabeth Noelle-Neumann)
• Die Erreichbarkeit via Social
Media war mit großen
Anstrengungen zu bewältigen
• Ergebnistendenz: Social Media sehr
gut für sehr spezifische
Fragestellungen. Vorsicht bei
Anspruch der Repräsentativität
• Eine hohe Anzahl der erreichten
Kontakte aus Social Media
Zielgruppen erlaubt keine
Aussage über die Qualität
• Die Rolle der Marktforschung im
Kontext Social Media ist gesondert
zu definieren: Nicht-reaktives
Potential von Social Media bisher
nicht hinreichend betrachtet.
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 34

35. Unser Dank gilt den Partnern, die diese Studie unterstützt
haben
Durchführung • Unterstützer der Studie
Prof. Dr. Holger Lütters
Hochschule für Technik und Wirtschaft Berlin
Fachbereich 3
Treskowallee 8
10318 Berlin
www.facebook.com/adidasRunning
Holger.Luetters@htw-berlin.de
www.panelbiz.com
www.pangealabs.com
Prof. Dr. Holger Lütters · Social Media vs. Panel Recruiting · Research & Results · 27. Oktober 2011 35