The real voice of the customer: Speech in research interviews

Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 1

Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 ·
Holger Lütters - Hochschule für Technik und Wirtschaft Berlin
DIGITALE NAIVE VS. NATIVE?
2

Digitale Transformation in der Marktforschung verläuft nicht als Revolution
Sind wir wirklich bereit für Veränderung?
0

Innovation, die eine bestehende
Technologie, ein bestehendes
Produkt oder eine bestehende
Dienstleistung möglicherweise
vollständig verdrängt
Möglichkeiten digitaler
Kommunikation können das
Fundament jedes Unternehmens in
seiner Strategie, Struktur, Kultur
und seinen Prozessen verändern.
Digitaler Darwinismus
DIGITALE TRANSFORMATION DISRUPTION
4

Wie passt sich eine Branche an die Digitalisierung an?
Kann man bewährte Dinge einfach in die neue Welt übertragen?
Alte Ideen in ein neues Umfeld verpflanzt sind keine neuen Ideen

Eine Idee aus dem Jahr 1932 wird unverändert auf High End Geräten der
Gegenwart ausgespielt
Siehe auch: https://en.wikipedia.org/wiki/Likert_scale
http://www.horizont.net/planung-analyse/nachrichten/Wann-kommt-das-Ende-der-Stummfilmzeit--156224
88 Jahre
Methodenentwicklung in
der Frageforschung!?
Disruption!?
Wir Marktforscher gehören auch zu denen, die in veränderten Umfeldern unverändert weitermachen wie bisher.

Speech wird gerade zu einem (weiteren) Standard in der digitalen Interaktion
Wir leben in Zeiten der Veränderung von User Interfaces
Icons made by Freepik from www.flaticon.com
Trivialer Gedanke: Warum also nicht Sprache in digitalen
Interviews der Marktforschung einsetzen?

Verwendung gesprochener Sprache in Konsumenteninterviews
Wir sprechen schon immer mit Geräten
1

Hardware und Software erobern die Welt der Digitalen Sprachassistenz mit
Voice und Video und KI im Hintergrund
Speech is everywhere but in research

Derzeit sind für jede Gerätewelt eigene Programmierungen erforderlich, die als
“SKILL” die Fähigkeiten der Geräte um externe Anwendungen erweitern
Looking for a usable alternative in the world of market research
https://developers.google.com/actions/
Amazon SKILLS Google ACTIONS
https://developer.microsoft.com/en-us/cortana
Microsoft Cortana SKILLS Apple SiriKit
https://developer.apple.com/sirikit
/
https://developer.amazon.com/de/alexa-skills-kit

Systemkrieg der Anbieter verhindert eine Nutzung im repräsentativen
Stil für Marktforschungszwecke
● Menschen setzen bereits unterschiedliche
Sprachassistenzsysteme der verschiedenen Anbieter ein
● Zielgruppen unterscheiden sich anhand der genutzten
Geräte erheblich (Google vs. Apple vs. IKEA)
● Zu Zwecken der Marktforschung müsste für jedes
konkurrierende System eine eigene technische
Entwicklung mit eigener Infrastruktur und eigener
Programmierumgebung aufgebaut werden
● Realisierung von Marktforschungsstudien über
bestehende Sprachassistenzsysteme in einer
geschlossenen System unverhältnismäßig aufwendig
mit zweifelhaften Erfolgsaussichten (je eine eigene
Entwicklung für Google, Apple, Amazon, Samsung,
Microsoft...)
Alexa et al. sind Wettbewerber um die Gunst des Konsumenten

Technische Umsetzung eines eigenen Device agnostischen Ansatzes
Idee & Setup
2

Idee: BYOD bei Nutzung der bestehenden Marktforschungsinfrastruktur
Nutzung von Text2Speech und Speech2Text im Marktforschungsforschungsprozess mit vorhandenen Standard
Devices
BYOD
Bring your own device
Speech2Text (STT)
Speichern Audio/Video Input mit
automatischer Transkription
Text2Speech (TTS)
Vorlesen der Fragen durch eine
artifizielle Stimme
questfox als Fragebogentool
mit Voice / Video Features
Nutzung bestehender
Panelstrukturen mit etablierten
Prozessen der Filterung / Quotierung
Text / Speech /
Facial Analytics

Verschiedene Speech2Text Fragetypen sind in der Erprobung
Background Speech2Text* Transkript wird erstellt
OHNE Sichtbarkeit für den Teilnehmer
Talk2Me* Live Speech2Text Transkript mit Darstellung
für den Respondenten
* questfox-Fragetypen können die Audioantwort zusätzlich zum Transkript des Textes speichern - www.questfox.com
Speech im Interview unterscheidet sich von Interaktionen mit Sprachassistenten

Empirische Überprüfung: Text vs. Speech vs. Video
Großstudie mit 9813 Kontakten und n=1251 vollständigen Interviews zur Evaluierung
3

Großstudie mit EntscheiderClub von GapFish mit 9 text/voice/video
Interaktionen pro Interview
Klassisches Experimentalsetting zum Vergleich der Effekte der neuen Möglichkeiten
Text n=437
Kontrollgruppe #A
Standardprozedur Text wird
eingetippt
*1,50 € Incentive für Fragebogen in deutscher Sprache. 9 Text/Speech/Video Interaktionen. Median 13:20 Minuten
Voice n=407
Experimentalgruppe #B
Background Speech2Text
Transkriptionsprozedur
Video n=407
Experimentalgruppe #C
Video Recording mit
automatischer Transkription vom
Audio Stream

Ein Transkript wird auf Basis der gesprochenen Antwort
automatisiert erstellt
Background Transkription von Audioantworten
Beispiel Männliche Stimme
also ich wäre auf sowas überhaupt nicht gekommen aber ich
frage mich auch wie
aber ich glaube nicht
ich denke nicht
weil
also von
also ich glaube nicht menschen würden sowas machen
ihren partner überwachen lassen
dass es
auch wenn man im streit ist oder irgendwie misstrauen hat
es würde es gibt sie also nicht kann jetzt nur sagen wo wie
wie meine sich so ist aber ich glaube eher nicht
TranskriptionsfehlerVerbesserung
Automatisiertes Transkript
Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun.
Glauben Sie, dass Menschen mit den Geräten z.B. Ihren Partner überwachen würden?”

Schwierige Audioqualität erzeugt Transkriptionsfehler
Beispiel Weibliche Stimme
diese geräte werden von menschen genutzt und menschen haben
nun mal ihre schwächen wie übrigens auch jede technik ihre
schwächen hat das macht man am computer und wenn sie nicht
mehr funktioniert da menschen immer in versuchung geführt
werden irgendwas zu erreichen durch gerät nachricht situation
z.b. oder aus neugierde betrügt mich mein partner was macht
mein partner z.b. könnte ich mir das auch in gefährlichen
situationen sehr gut vorstellen private partner sondern auch
geschäftspartner ich denke wenn die möglichkeit besteht dass
man partner privat und beruflich überwachen kann dann würden
das sicher viele auch machen mit rechnung habe ich schon
Transkriptionsfehler
Automatisiertes Transkript
Technische Qualität als Basisvoraussetzung des Transkriptionserfolgs

Die Qualität der Transkription hängt auch im Video von der technischen
Qualität der Aufnahme ab
Die Audiospur des Videos wird separiert transkribiert
natürlich birgt es diese gefahren
das wird auch vorkommen so
ist der mensch aber das wird
sich nicht verändern ich denke
die vorteile überwiegen je
nachdem wie man es nutzt
schwarze schafe gibt es immer
und überall
Automatisiertes Transkript Beispiel Männlicher Teilnehmer
Keine Transkriptionsfehler

Voice und Video Fragetypen sind Outperformer bei offenen Fragen
Tiefe der Antworten übersteigt im gesprochenen Format die üblichen Anwortraten offener Fragen
n=437 n=407*
ja schon das ist ja naheliegend es gibt ja auch Leute die
die Privatsphäre ihres Partners nicht akzeptieren und
Telefone und Nachrichten und so weiter kontrollieren E-
Mails und Chat Verläufe aber ich denke schon dass das
durchaus naheliegend ist
ja glaube ich definitiv also wir sind im Zeitalter den Medien
und Computer Wirtschaft und ja das ist definitiv ein einfaches
Gerät womit man den Partner überwachen kann womit man
ja auch diverse andere Sachen was illegal wenn ich sogar
höchst kriminell ist
ich denke schon dass es solche Menschen geben wird
die ihren Partner damit überwachen oder auch mich
*Beispiele aus je 407 automatisiert
durchgeführten Transkripten
n=407*
sicherlich kann man auch moderne technik illegale sachen
machen aber ja das kann man genauso gut auch ohne die technik
machen also von daher das ist jetzt nicht so der haupt
beweggrund warum ich das ablehnen asos assistentin also das
sicherlich ist das für manche halt noch ein beweggrund mehr
irgendwie zu lästern oder andere menschen sie diffamieren aber
ja aber das ist jetzt nicht so der hauptgrund für mich
ja in der tat ist das wahrscheinlich eine möglichkeit ich bin da
selber glaube ich ganz naiv bzw wenn mir jemand etwas böses
will dann wird er das so oder so schaffen so dann glaube ich nicht
dass die gefahr oder dass die möglichkeit durch diese dinge
wächst aber natürlich kann das auch für menschen die da sehr
empfindlich sind oder sehr ängstlich sind tatsächlich ein grund
sein das abzulehnen ich persönlich glaube das eigentlich nicht
vogelfutter könnte ich mir gut vorstellen auf menschen die
diesen drang haben andere ständig zu lachen oder zu
wissen was andere tun gibt es das ist glaube ich so dazu
verleitet

Voice ist ein sehr vielversprechender Fragetyp, der mit dem Faktor 2,5 mehr
Antwortdaten in der gleichen Zeit erhebt
Voice works
n=437 n=407 n=407

Device Agnostischer Ansatz im Ökosystem Marktforschung funktioniert
bereits heute unter genau definierten Voraussetzungen
Voice works … under restrictions
Desktop: “Schwierigste Geräteklasse”
Installationen problematisch bei Wiedergabe und Aufnahme
Laptop: “bietet das stabilste Setting für Audio- und Voice-Befragungen”
Bei Videobefragung problematisch aufgrund des Abstands zum Mikrofon
Tablet: “sehr gut verwendbar für Audio und Video”
Aber: Insgesamt wenige Teilnehmer
Smartphone: “Device gut für Audio / Video” Aber: höchste freiwillige
Drop-Out Rate

Real Voice of the Customer ist ein spannendes Feld für unterschiedliche
Anwendungen der Marktforschung
Kosten < Nutzen
● Aufwand und Nutzen in sehr
gutem Verhältnis
● Sofort einsatzfähig mit
etablierten Mechanismen der
Marktforschung
● Sehr einfach einsetzbar in
Kombination mit klassischen
Fragebögen
● Auch für großzahlige Studien
machbar (aber nicht zwingend
geeignet)
● Qualitative Szenarien mit
qualifizierten Teilnehmen
vielversprechend
● Zur Teilnehmerkontrolle sehr
gut geeignet
Voice Video

Analyse der Daten gestern, heute und morgen
Herausforderung: Analyse von mehr als 7300 Audio und Video Files
4

Massive Audio und Video Data Collection übersteigt die Möglichkeiten
der bisherigen Analyseverfahren
9 Inputs als Audio oder Video; jeweils n=407 Multimediaantworten = 3663 Media files für jede Route
>7.000 anonymisierte
Audio- / Video Files

Das detaillierte Text Mining mit der insius-API eröffnet neue Welten der
Textanalytics
Der massive Textantworten Anteil kann mit anspruchsvollen Textanalysetools bearbeitet werden
Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun. Glauben Sie, dass Menschen mit den
Geräten z.B. Ihren Partner überwachen würden?”

Erhebungsansatz kann mit zusätzlichen APIs kognitiver Services kombiniert
werden, um neben den Inhalten auch Sprache und Video zu analysieren
Der nächste Schritt ist die Analyse des Sprachmusters und zusätzlicher Informationen aus der Videosequenz
Voice Analytics wie
Computerized Voice Stress Analysis CVSA
Cognitive Services APIs

Das Forschungsprojekt zeigt Möglichkeiten für revolutionäre neue Ansätze
in der Interviewforschung auf
Die brandneue Welt der Interaktionsforschung ist nicht jedermanns Sache
● Technischer Bias / Ausfall
● Überrepräsentation von
technisch versierten Samples
Weaknesses
● Einfacher Zugriff auf mehr
Textantworten in kürzerer Zeit
● Niedrigere Barrieren für
Menschen mit geringerer
Bereitschaft / Möglichkeit, sich
schriftlich auszudrücken
● Mehr persönliche Informationen
in einer weniger kontrollierten
Umgebung
Strengths
● Menschliche Vorbehalte
gegenüber neuen
Interaktionsformen
● Rechtliche Fragen / Datenschutz
(Video besonders schutzwürdig)
● Zukünftige Auswertungen jenseits
der heutigen Vorstellungskraft
Threats
● Neue Forschungsmöglichkeiten
für völlig neue Interaktionsdesigns
● Interviews mit Analphabeten
● Neue Ideen für qualitative
Interviews
● Speech-Bots in der Forschung
Opportunities
Bitte bewerten Sie die neue
Idee nicht nur anhand
heutiger
Forschungsprozesse.
Überlegen Sie, wie Forschung
morgen aussehen könnte ...

Voice Fragetypen öffnen eine neue Tür in der Welt der
Interviewforschung und sind Impulsgeber für weitere
technische und methodische Entwicklungen
29

Speech in Agile Research:
Qualitative und Quantitative Inputs über Nacht.
Speech als
Standard in
Interviews

Wie fügen wir das Puzzle der Methodenentwicklung zusammen?
Weiter wie bisher, nur mit Sprache?
Oder wirklich disruptiv?
Alte Prozesse mit
neuer Technik
anreichern
Völlig neue Konzepte
der Erhebung und
Auswertung entwickeln

Vortrag auf der Research & Results am 23./24.10.2019
Mittwoch, 23.10.2019, 09.45-10.30 Uhr, Raum 1
Donnerstag, 24.10.2019, 15.15-16.00 Uhr, Raum 7
Emotionale KI in der
Werbeforschung

Holger Lütters – HTW Berlin
Kontakt
Prof. Dr. Holger Lütters
Hochschule für Technik und Wirtschaft Berlin
Treskowallee 8
13018 Berlin
Holger.Luetters@htw-berlin.de
www.luetters.com
Twitter @luetters
xing.com/profile/Holger_Luetters
de.linkedin.com/in/luetters/
Vielen Dank für Ihre Aufmerksamkeit
Ich freue mich auf den weiteren Austausch auf der GOR2020

Alle dargestellten Funktionen sind als Fragetypen in der Befragungssoftware
questfox integriert und stehen ohne Programmierkenntnisse zur Verfügung
Talk2Me: Der digitale Sprachassistent für die Marktforschung powered by questfox
Audio
Recording
Talk2Me
Speech2Text
Background
Speech2Text
Video
Insights
TTS
Text2Speech
Bisher unterstützte Sprachen:
Englisch, Deutsch, Niederländisch
www.questfox.com
Transcription
Quality Score
Emotional
AI Voice
Analysis

The real voice of the customer: Speech in research interviews

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie The real voice of the customer: Speech in research interviews

Ähnlich wie The real voice of the customer: Speech in research interviews (20)

Mehr von Holger Lütters

Mehr von Holger Lütters (15)

The real voice of the customer: Speech in research interviews