inovex Meetup Köln, 12.06.2017 Dominik Helleberg, Sebastian Meßingfeld Sebastian Meßingfeld und Dominik Helleberg stellen die Neuerungen von Voice Assistants vor, gehen auf prinzipielle Funktionsweisen ein und zeigen ein, zwei Features in einer Demo. Fokus legen sie dabei auf Alexa und Google Home. Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/

1. Voice Assistants
What’s new in Amazon’s Alexa / Google’s
Assistant
Dominik Helleberg / Sebastian Messingfeld

2. CC 3.0 https://de.wikipedia.org/wiki/2001:_Odyssee_im_Weltraum#/media/File:HAL9000_Better_Reflection.svg
CC 3.0 https://en.wikipedia.org/wiki/KITT#/media/File:KITT_Interior_at_Toronto_Auto_Show_2011.jpg
CC 2.0 https://commons.wikimedia.org/wiki/Category:Star_Trek:_The_Next_Generation#/media/File:MasterSituationMonitor.jpg
Voice User Interfaces
The Hollywood Version

3. https://www.youtube.com/watch?v=N3i6NoUZsSw
https://en.wikipedia.org/wiki/Dragon_NaturallySpeaking#/media/File:Dragon_Naturally_Speaking_Logo.png
https://en.wikipedia.org/wiki/Nao_(robot)
https://en.wikipedia.org/wiki/Interactive_voice_response#History
Voice User Interfaces
The History

4. https://en.wikipedia.org/wiki/Siri
https://en.wikipedia.org/wiki/Cortana_(software)
https://en.wikipedia.org/wiki/Google_Voice_Search
https://pixabay.com/p-627876/?no_redirect
Voice User Interfaces
The new(er) ones

5. https://en.wikipedia.org/wiki/Google_Assistant
https://en.wikipedia.org/wiki/Amazon_Alexa
https://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/
Voice User Interfaces
The hot ones

6. https://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/
Voice User Interfaces
The hot ones - Features
Nachrichten / News abfragen
Smarthome steuern
Musik abspielen
Wettervorhersage
Chromecast steuern
Wecker / Timer stellen
Taxi rufen
Sportergebnisse
TV Programm abfragen
Kochrezepte
Übersetzungen
Kalender vorlesen
ToDo Liste
Fluginformationen
Verkehrslage
Shopping

7. Voice User Interfaces
The hot ones - APIs
Skills
Custom Skills
Smart Home Skills
Flash Briefing Skills
Actions
on Google
Conversations
Transactions (Developer Preview)
Smart Homehttps://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/

8. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
Natural Language
Understanding

9. Voice User Interfaces
Actions on Google

10. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition

11. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection

12. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction

13. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment

14. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment

15. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection

16. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction

17. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
https://

18. Voice User Interfaces
Actions on Google – Smart Transport
Welcome Message
WELCOME_INTENT
Complete Entities?
Suchanfrage
Query Entities
Nein Ja
Antwort
(1. Verbindung)
„Nächste“
Antwort
(2. Verbindung)
Query Fulfillment

19. Voice User Interfaces
Actions on Google – Smart Transport

20. Voice User Interfaces
Actions on Google – Smart Transport
Entities
Name Type Req
From * +
To * +
Depature_Date Date (sys)
Depature_Time Time (sys)
Transport_Type „Bus“,
„Tram“, ..

21. Voice User Interfaces
Actions on Google – Smart Transport
Welcome Message
WELCOME_INTENT

22. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

23. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

24. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

25. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

26. Voice User Interfaces
Actions on Google – Smart Transport

27. Voice User Interfaces
Actions on Google – Smart Transport - Testing
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
ChatBot

28. Voice User Interfaces
Actions on Google – Smart Transport

29. Voice User Interfaces
Actions on Google – Smart Transport

30. Voice User Interfaces
Actions on Google – Smart Transport

31. Voice User Interfaces
Actions on Google – Smart Transport

32. Voice User Interfaces
Actions on Google – Smart Transport

33. Voice User Interfaces
Actions on Google – Smart Transport

34. Voice User Interfaces
Actions on Google – Smart Transport

35. Voice User Interfaces
Actions on Google – Smart Transport

36. Voice User Interfaces
Actions on Google – Smart Transport

37. Voice User Interfaces
Actions on Google – Smart Transport
• Beta Tests sind sinnvoll
• User finden unsere Features nicht
• Dafür möchten sie andere Features
• Entities sind immer zu überprüfen
• Deutsch / Englisch zu mischen ist keine good idea...

38. Voice User Interfaces
Lessons Learned
• VUI‘s vs. ChatBots
• User fragen sehr spezifische Dinge
• VUI‘s sind gut für kurze, präzise Informationen / Abläufe
• Reaktionszeiten sind wichtig
• Benutzerführung ist wichtig
• Automatisierung / Deployment noch nicht vorhanden
• Neue „Gatekeeper“

39. Voice User Interfaces
Summary / Outlook
• Speech Recognition ist deutlich besser
• NLU braucht noch Verbesserungen
• Abläufe sind immer noch geskripted
• Multi-Account
• Privacy / Security
• Rückkopplung an andere UIs
• Discovery
• Testing

40. Voice User Interfaces
What’s new
What’s new?

41. Voice User Interfaces
What’s new

42. Voice User Interfaces
What’s new

43. Voice User Interfaces
What’s new

44. Voice User Interfaces
What’s new
What’s new?

45. Voice User Interfaces
What’s new on alexa?
Skill Builder (Beta)
• Grafische Oberfläche um bisheriges Interaktionsmodel zu erstellen
• Trennung zwischen Intent, Slots und Utterances wird „aufgehoben“
• Dialoge gestalten (neu)
• multi-turn conversation
• Kein Wechsel zwischen Intents mehr nötig
• Intent-Slots (Parameter) müssen nicht mehr initial übergeben werden
• fehlende Slots werden automatisiert abgefragt
• Hinterlegung von vordefinierten Fragen möglich
• Roundtrip zum Skill-Service bei jedem Slot

46. Voice User Interfaces
What’s new on alexa?
Skill Builder: Dialog-Ansicht

47. Voice User Interfaces
What’s new on alexa?
Skill Builder: Slot-Ansicht

48. Voice User Interfaces
What’s new on alexa?
Ablauf Multi-Turn Conversation
• notwendige Slot-Werte fehlen im Intent
• Parameter für Dialogstatus: dialogState & confirmationStatus
• Skill-Service
• nächste Abfrage eines Slots
• gezielte Abfrage eines Slots
• Confirmation für Slots und Intents (YES / NO)
• Veränderung eines Slot-Wertes
fehlender
Slot Wert
Aufruf
Skill Service
Ausgabe an
User
Überprüfung
Intent

49. Voice User Interfaces
Summary / Outlook
• VUIs sind schon ziemlich cool, aber
Alexa, Du musst echt noch viel lernen...
Danke!