Frontends sind dank Augmented- und Mixed Reality immer öfters in der reellen Welt eingebettet und werden sich in Zukunft mehr und mehr von Screens lösen. Traditionelle GUIs werden so durch Mixed Reality kombiniert mit AI-basierten virtuellen Assistenten erweitert oder ersetzt. Dies gilt insbesondere für Firstline-Workers welche nur sporadisch an einem festen Arbeitsplatz sitzen. So entsteht ein neues Interaktions-Paradigma mit geringerem 'cognitive load' für die Benutzer. Diese neuartigen Frontends erleichtern für viele Mitarbeiter den Zugang zu Informationen und Funktionalitäten. Simon Scheidegger und Paul Affentranger zeigen anhand eines konkreten Projekts bei CSL Behring Möglichkeiten, erste Erfahrungen, Limitierungen und werfen einen Blick auf die Zukunft von Mixed Reality Frontends.

1. Large-scale Frontends
with Mixed Reality
Simon Scheidegger
Paul Affentranger

6. Firstline Workers
• Continue to be overlooked
• 48% of companies report that the majority of their
firstline workers are not digitally connected
• UI often not adapted

8. Low
Cognitive
Load

9. Hands free

10. VR AR MR

12. Hololens
Apple
ARKit
Google
ARCore

14. CSL Behring Bern

15. Die Arbeit in der Produktionszone
• Mehrstufige Prozesse
• Komplexe Aufgaben für Mitarbeiter
• Hoher Leistungsdruck
• Strenge Vorgaben und validierte Prozesse /
MES
Schwierigkeiten
• Fokus der Systeme auf korrekten Ablauf,
nicht Benutzerfreundlichkeit
• Übersicht oft schwierig. MES unterstützt
nicht bei Planung
• Änderungen erfolgen
im Validierten/registrierten
System langsam

16. 3D Model for Spatial Information

18. Azure Cloud
Real Object
Receiver
Digital Twin
Actor Model
Service Fabric
XR API
HTTP Polling
Service Bus
Windows
Service
Queue Transform
Data
Warehouse
HTTP Call
Architektur

21. Experience

22. Challenges
• Device
• Heavy
• 2-3h battery live
• Rrestricted field of view
• Data
• Record based instead of Events
• High latency
• 3D Data (Environment)
• To many details

23. Large-scale Mixed Reality

24. Break down silos

25. AR Cloud

26. IoT + AI

27. Voice Assistant

28. Context is important

29. How to start
• «Solve» chicken – egg problem
• Think big - start small
• Concentrate on real value
• Start with Frontline Workers
• Start with things you can’t do with
2D UI

31. Human Nature is key

32. Thank you!
Simon Scheidegger
simon.scheidegger@cslbehring.com
Paul Affentranger
affentranger@afca.ch