Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

The real voice of the customer: Speech in research interviews

293 Aufrufe

Veröffentlicht am

Vortrag Holger Lütters auf Agile Insights Summit 2019
Der Vortrag thematisiert die Möglichkeit gesprochene Sprache in klassischen Marktforschungsinterviews zu integrieren. Die vorgestellte Studie wurde auf der GOR 2019 mit dem Best Practice Award ausgezeichnet und wurde mit Unterstützung von GapFish, pangea labs und insius an der HTW Berlin durchgeführt.

Veröffentlicht in: Daten & Analysen
  • Login to see the comments

The real voice of the customer: Speech in research interviews

  1. 1. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 1
  2. 2. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · Holger Lütters - Hochschule für Technik und Wirtschaft Berlin DIGITALE NAIVE VS. NATIVE? 2
  3. 3. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 3 Digitale Transformation in der Marktforschung verläuft nicht als Revolution Sind wir wirklich bereit für Veränderung? 0
  4. 4. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · Innovation, die eine bestehende Technologie, ein bestehendes Produkt oder eine bestehende Dienstleistung möglicherweise vollständig verdrängt Möglichkeiten digitaler Kommunikation können das Fundament jedes Unternehmens in seiner Strategie, Struktur, Kultur und seinen Prozessen verändern. Digitaler Darwinismus DIGITALE TRANSFORMATION DISRUPTION 4
  5. 5. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 5 Wie passt sich eine Branche an die Digitalisierung an? Kann man bewährte Dinge einfach in die neue Welt übertragen? Alte Ideen in ein neues Umfeld verpflanzt sind keine neuen Ideen
  6. 6. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 6 Eine Idee aus dem Jahr 1932 wird unverändert auf High End Geräten der Gegenwart ausgespielt Siehe auch: https://en.wikipedia.org/wiki/Likert_scale http://www.horizont.net/planung-analyse/nachrichten/Wann-kommt-das-Ende-der-Stummfilmzeit--156224 88 Jahre Methodenentwicklung in der Frageforschung!? Disruption!? Wir Marktforscher gehören auch zu denen, die in veränderten Umfeldern unverändert weitermachen wie bisher.
  7. 7. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 7 Speech wird gerade zu einem (weiteren) Standard in der digitalen Interaktion Wir leben in Zeiten der Veränderung von User Interfaces Icons made by Freepik from www.flaticon.com Trivialer Gedanke: Warum also nicht Sprache in digitalen Interviews der Marktforschung einsetzen?
  8. 8. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 8 Verwendung gesprochener Sprache in Konsumenteninterviews Wir sprechen schon immer mit Geräten 1
  9. 9. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 9 Hardware und Software erobern die Welt der Digitalen Sprachassistenz mit Voice und Video und KI im Hintergrund Speech is everywhere but in research
  10. 10. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 10 Derzeit sind für jede Gerätewelt eigene Programmierungen erforderlich, die als “SKILL” die Fähigkeiten der Geräte um externe Anwendungen erweitern Looking for a usable alternative in the world of market research https://developers.google.com/actions/ Amazon SKILLS Google ACTIONS https://developer.microsoft.com/en-us/cortana Microsoft Cortana SKILLS Apple SiriKit https://developer.apple.com/sirikit / https://developer.amazon.com/de/alexa-skills-kit
  11. 11. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 11 Systemkrieg der Anbieter verhindert eine Nutzung im repräsentativen Stil für Marktforschungszwecke ● Menschen setzen bereits unterschiedliche Sprachassistenzsysteme der verschiedenen Anbieter ein ● Zielgruppen unterscheiden sich anhand der genutzten Geräte erheblich (Google vs. Apple vs. IKEA) ● Zu Zwecken der Marktforschung müsste für jedes konkurrierende System eine eigene technische Entwicklung mit eigener Infrastruktur und eigener Programmierumgebung aufgebaut werden ● Realisierung von Marktforschungsstudien über bestehende Sprachassistenzsysteme in einer geschlossenen System unverhältnismäßig aufwendig mit zweifelhaften Erfolgsaussichten (je eine eigene Entwicklung für Google, Apple, Amazon, Samsung, Microsoft...) Alexa et al. sind Wettbewerber um die Gunst des Konsumenten
  12. 12. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 12 Technische Umsetzung eines eigenen Device agnostischen Ansatzes Idee & Setup 2
  13. 13. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 13 Idee: BYOD bei Nutzung der bestehenden Marktforschungsinfrastruktur Nutzung von Text2Speech und Speech2Text im Marktforschungsforschungsprozess mit vorhandenen Standard Devices BYOD Bring your own device Speech2Text (STT) Speichern Audio/Video Input mit automatischer Transkription Text2Speech (TTS) Vorlesen der Fragen durch eine artifizielle Stimme questfox als Fragebogentool mit Voice / Video Features Nutzung bestehender Panelstrukturen mit etablierten Prozessen der Filterung / Quotierung Text / Speech / Facial Analytics
  14. 14. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 14 Verschiedene Speech2Text Fragetypen sind in der Erprobung Background Speech2Text* Transkript wird erstellt OHNE Sichtbarkeit für den Teilnehmer Talk2Me* Live Speech2Text Transkript mit Darstellung für den Respondenten * questfox-Fragetypen können die Audioantwort zusätzlich zum Transkript des Textes speichern - www.questfox.com Speech im Interview unterscheidet sich von Interaktionen mit Sprachassistenten
  15. 15. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 15 Empirische Überprüfung: Text vs. Speech vs. Video Großstudie mit 9813 Kontakten und n=1251 vollständigen Interviews zur Evaluierung 3
  16. 16. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 16 Großstudie mit EntscheiderClub von GapFish mit 9 text/voice/video Interaktionen pro Interview Klassisches Experimentalsetting zum Vergleich der Effekte der neuen Möglichkeiten Text n=437 Kontrollgruppe #A Standardprozedur Text wird eingetippt *1,50 € Incentive für Fragebogen in deutscher Sprache. 9 Text/Speech/Video Interaktionen. Median 13:20 Minuten Voice n=407 Experimentalgruppe #B Background Speech2Text Transkriptionsprozedur Video n=407 Experimentalgruppe #C Video Recording mit automatischer Transkription vom Audio Stream
  17. 17. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 17 Ein Transkript wird auf Basis der gesprochenen Antwort automatisiert erstellt Background Transkription von Audioantworten Beispiel Männliche Stimme also ich wäre auf sowas überhaupt nicht gekommen aber ich frage mich auch wie aber ich glaube nicht ich denke nicht weil also von also ich glaube nicht menschen würden sowas machen ihren partner überwachen lassen dass es auch wenn man im streit ist oder irgendwie misstrauen hat es würde es gibt sie also nicht kann jetzt nur sagen wo wie wie meine sich so ist aber ich glaube eher nicht TranskriptionsfehlerVerbesserung Automatisiertes Transkript Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun. Glauben Sie, dass Menschen mit den Geräten z.B. Ihren Partner überwachen würden?”
  18. 18. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 18 Schwierige Audioqualität erzeugt Transkriptionsfehler Beispiel Weibliche Stimme diese geräte werden von menschen genutzt und menschen haben nun mal ihre schwächen wie übrigens auch jede technik ihre schwächen hat das macht man am computer und wenn sie nicht mehr funktioniert da menschen immer in versuchung geführt werden irgendwas zu erreichen durch gerät nachricht situation z.b. oder aus neugierde betrügt mich mein partner was macht mein partner z.b. könnte ich mir das auch in gefährlichen situationen sehr gut vorstellen private partner sondern auch geschäftspartner ich denke wenn die möglichkeit besteht dass man partner privat und beruflich überwachen kann dann würden das sicher viele auch machen mit rechnung habe ich schon Transkriptionsfehler Automatisiertes Transkript Technische Qualität als Basisvoraussetzung des Transkriptionserfolgs Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun. Glauben Sie, dass Menschen mit den Geräten z.B. Ihren Partner überwachen würden?”
  19. 19. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 19 Die Qualität der Transkription hängt auch im Video von der technischen Qualität der Aufnahme ab Die Audiospur des Videos wird separiert transkribiert natürlich birgt es diese gefahren das wird auch vorkommen so ist der mensch aber das wird sich nicht verändern ich denke die vorteile überwiegen je nachdem wie man es nutzt schwarze schafe gibt es immer und überall Automatisiertes Transkript Beispiel Männlicher Teilnehmer Keine Transkriptionsfehler Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun. Glauben Sie, dass Menschen mit den Geräten z.B. Ihren Partner überwachen würden?”
  20. 20. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 20 Voice und Video Fragetypen sind Outperformer bei offenen Fragen Tiefe der Antworten übersteigt im gesprochenen Format die üblichen Anwortraten offener Fragen n=437 n=407* ja schon das ist ja naheliegend es gibt ja auch Leute die die Privatsphäre ihres Partners nicht akzeptieren und Telefone und Nachrichten und so weiter kontrollieren E- Mails und Chat Verläufe aber ich denke schon dass das durchaus naheliegend ist ja glaube ich definitiv also wir sind im Zeitalter den Medien und Computer Wirtschaft und ja das ist definitiv ein einfaches Gerät womit man den Partner überwachen kann womit man ja auch diverse andere Sachen was illegal wenn ich sogar höchst kriminell ist ich denke schon dass es solche Menschen geben wird die ihren Partner damit überwachen oder auch mich *Beispiele aus je 407 automatisiert durchgeführten Transkripten n=407* sicherlich kann man auch moderne technik illegale sachen machen aber ja das kann man genauso gut auch ohne die technik machen also von daher das ist jetzt nicht so der haupt beweggrund warum ich das ablehnen asos assistentin also das sicherlich ist das für manche halt noch ein beweggrund mehr irgendwie zu lästern oder andere menschen sie diffamieren aber ja aber das ist jetzt nicht so der hauptgrund für mich ja in der tat ist das wahrscheinlich eine möglichkeit ich bin da selber glaube ich ganz naiv bzw wenn mir jemand etwas böses will dann wird er das so oder so schaffen so dann glaube ich nicht dass die gefahr oder dass die möglichkeit durch diese dinge wächst aber natürlich kann das auch für menschen die da sehr empfindlich sind oder sehr ängstlich sind tatsächlich ein grund sein das abzulehnen ich persönlich glaube das eigentlich nicht vogelfutter könnte ich mir gut vorstellen auf menschen die diesen drang haben andere ständig zu lachen oder zu wissen was andere tun gibt es das ist glaube ich so dazu verleitet Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun. Glauben Sie, dass Menschen mit den Geräten z.B. Ihren Partner überwachen würden?”
  21. 21. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 21 Voice ist ein sehr vielversprechender Fragetyp, der mit dem Faktor 2,5 mehr Antwortdaten in der gleichen Zeit erhebt Voice works n=437 n=407 n=407
  22. 22. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 22 Device Agnostischer Ansatz im Ökosystem Marktforschung funktioniert bereits heute unter genau definierten Voraussetzungen Voice works … under restrictions Desktop: “Schwierigste Geräteklasse” Installationen problematisch bei Wiedergabe und Aufnahme Laptop: “bietet das stabilste Setting für Audio- und Voice-Befragungen” Bei Videobefragung problematisch aufgrund des Abstands zum Mikrofon Tablet: “sehr gut verwendbar für Audio und Video” Aber: Insgesamt wenige Teilnehmer Smartphone: “Device gut für Audio / Video” Aber: höchste freiwillige Drop-Out Rate
  23. 23. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 23 Real Voice of the Customer ist ein spannendes Feld für unterschiedliche Anwendungen der Marktforschung Kosten < Nutzen ● Aufwand und Nutzen in sehr gutem Verhältnis ● Sofort einsatzfähig mit etablierten Mechanismen der Marktforschung ● Sehr einfach einsetzbar in Kombination mit klassischen Fragebögen ● Auch für großzahlige Studien machbar (aber nicht zwingend geeignet) ● Qualitative Szenarien mit qualifizierten Teilnehmen vielversprechend ● Zur Teilnehmerkontrolle sehr gut geeignet Voice Video
  24. 24. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 24 Analyse der Daten gestern, heute und morgen Herausforderung: Analyse von mehr als 7300 Audio und Video Files 4
  25. 25. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 25 Massive Audio und Video Data Collection übersteigt die Möglichkeiten der bisherigen Analyseverfahren 9 Inputs als Audio oder Video; jeweils n=407 Multimediaantworten = 3663 Media files für jede Route >7.000 anonymisierte Audio- / Video Files
  26. 26. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 26 Das detaillierte Text Mining mit der insius-API eröffnet neue Welten der Textanalytics Der massive Textantworten Anteil kann mit anspruchsvollen Textanalysetools bearbeitet werden Frage: “Es gibt die Befürchtung, dass Menschen diese Technologien auch dazu nutzen werden, um unangemessene oder sogar illegale Dinge zu tun. Glauben Sie, dass Menschen mit den Geräten z.B. Ihren Partner überwachen würden?”
  27. 27. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 27 Erhebungsansatz kann mit zusätzlichen APIs kognitiver Services kombiniert werden, um neben den Inhalten auch Sprache und Video zu analysieren Der nächste Schritt ist die Analyse des Sprachmusters und zusätzlicher Informationen aus der Videosequenz Voice Analytics wie Computerized Voice Stress Analysis CVSA Cognitive Services APIs
  28. 28. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 28 Das Forschungsprojekt zeigt Möglichkeiten für revolutionäre neue Ansätze in der Interviewforschung auf Die brandneue Welt der Interaktionsforschung ist nicht jedermanns Sache ● Technischer Bias / Ausfall ● Überrepräsentation von technisch versierten Samples Weaknesses ● Einfacher Zugriff auf mehr Textantworten in kürzerer Zeit ● Niedrigere Barrieren für Menschen mit geringerer Bereitschaft / Möglichkeit, sich schriftlich auszudrücken ● Mehr persönliche Informationen in einer weniger kontrollierten Umgebung Strengths ● Menschliche Vorbehalte gegenüber neuen Interaktionsformen ● Rechtliche Fragen / Datenschutz (Video besonders schutzwürdig) ● Zukünftige Auswertungen jenseits der heutigen Vorstellungskraft Threats ● Neue Forschungsmöglichkeiten für völlig neue Interaktionsdesigns ● Interviews mit Analphabeten ● Neue Ideen für qualitative Interviews ● Speech-Bots in der Forschung Opportunities Bitte bewerten Sie die neue Idee nicht nur anhand heutiger Forschungsprozesse. Überlegen Sie, wie Forschung morgen aussehen könnte ...
  29. 29. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · Voice Fragetypen öffnen eine neue Tür in der Welt der Interviewforschung und sind Impulsgeber für weitere technische und methodische Entwicklungen 29
  30. 30. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 30 Speech in Agile Research: Qualitative und Quantitative Inputs über Nacht. Speech als Standard in Interviews
  31. 31. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 31 Wie fügen wir das Puzzle der Methodenentwicklung zusammen? Weiter wie bisher, nur mit Sprache? Oder wirklich disruptiv? Alte Prozesse mit neuer Technik anreichern Völlig neue Konzepte der Erhebung und Auswertung entwickeln
  32. 32. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 32 Vortrag auf der Research & Results am 23./24.10.2019 Mittwoch, 23.10.2019, 09.45-10.30 Uhr, Raum 1 Donnerstag, 24.10.2019, 15.15-16.00 Uhr, Raum 7 Emotionale KI in der Werbeforschung
  33. 33. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · Holger Lütters – HTW Berlin Kontakt Prof. Dr. Holger Lütters Hochschule für Technik und Wirtschaft Berlin Treskowallee 8 13018 Berlin Holger.Luetters@htw-berlin.de www.luetters.com Twitter @luetters xing.com/profile/Holger_Luetters de.linkedin.com/in/luetters/ Vielen Dank für Ihre Aufmerksamkeit Ich freue mich auf den weiteren Austausch auf der GOR2020
  34. 34. Holger Lütters · HTW Berlin · The Real Voice of the Customer: Speech in Research Interviews · Agile Insights Summit 2019 · 34 Alle dargestellten Funktionen sind als Fragetypen in der Befragungssoftware questfox integriert und stehen ohne Programmierkenntnisse zur Verfügung Talk2Me: Der digitale Sprachassistent für die Marktforschung powered by questfox Audio Recording Talk2Me Speech2Text Background Speech2Text Video Insights TTS Text2Speech Bisher unterstützte Sprachen: Englisch, Deutsch, Niederländisch www.questfox.com Transcription Quality Score Emotional AI Voice Analysis

×