Kontextbasierte Informationsbereitstellung und Anwendungsgerechte Benutzerschnittstellen für Industrie 4.0 am Beispiel Virtual Reality

1. Wissensmanagement und E-Learning für Industrie 4.0
Lösungsansätze für kontextbasierte Informationsbereitstellung
Prof. Dr. René Peinl Hof, 25.10.2017

2. 2
Wissensmanagement für Produktionsmitarbeiter
Kontextbasierte Informationsbereitstellung
E-Learning im Stile Industrie 4.0
Herausforderungen am Beispiel Virtual Reality und 360°Videos
Fazit und Ausblick
1
2
3
4
5
Agenda

3. Daten - Informationen - Wissen
Bildquelle: eigenes Foto

4. "0", "1", "4" und "x"
4x100
Preis für 4 Bonsai = 100 mex. Pesos
Es handelt sich um ein günstiges
Angebot, da 100 mex. Pesos ≈ 5 €.
Ich sollte also kaufen, da Bonsai
normalerweise viel teurer sind.
Zeichenvorrat
Syntax
Kontext (Semantik)
Handlungsbezug
(Pragmatik)
siehe auch Krcmar: Begriff „Information“ in WI-Enzyklopädie
Semiotik

5. Informationsüberfluss und Wissensmangel
• Viele Organisationen haben einen Überfluss an Informationsquellen und
Informationen. Das gleiche gilt für Informationen im Internet
• Mitarbeiter müssen aber die gewünschten Informationen einfach finden und es
mit eigenem Wissen verknüpfen können
– Finden: Suchmaschinen im Intranet sind häufig weniger hilfreich, als man
das von Internetsuchen á la Google gewohnt ist
– Anschlussfähigkeit: die gefundenen Informationen müssen verstanden
werden. Experten können aber häufig nicht für Laien verständlich schreiben.
– Angemessenheit: die Informationen müssen knapp sein, da niemand Zeit
hat Romane zu lesen, aber den notwendigen Kontext enthalten
– Quellenvielfalt: welches ist die aktuellste, relevanteste oder autorisierte
Version einer Information?

6. Was kann man mit Wissen im Unternehmen tun?
Wissens-
ziele
Wissens-
bewertung
Wissens-
nutzung
Wissens-
identifikation
Wissens-
bewahrung
Wissens-
(ver)teilung
Wissens-
entwicklung
Wissens-
erwerb
Feedback
Probst, Raub, Romhardt (1998), S.56
Wissensprozesse nach
strategisch
operativ
Wissens-
ziele
Wissens-
bewertung
Wissens-
nutzung
Wissens-
identifikation
Wissens-
bewahrung
Wissens-
(ver)teilung
Wissens-
entwicklung
Wissens-
erwerb
Feedback

7. Wie kann da Wissensmanagement helfen?
Panta rhei – alles fließt!
Hoffentlich auch das Wissen!
Aber nur zu den Richtigen!
Stark vereinfacht ausgedrückt:
- Wissensmanagement soll dafür sorgen, dass die
Wissensprozesse im Unternehmen funktionieren.
Bildquelle: Sven Micklisch, https://naturfotografen-forum.de

8. Wissensmanagement auf unterschiedlichen Ebenen
8
Persönliches
Wissensmanagement
Organisatorisches
Wissensmanagement
Wissensregion, Wissensgesellschaft

9. Knowledge management - a misnomer
“I call my field knowledge management, but
you cannot manage knowledge, nobody can.
What you do, what a company does, is manage
the environment that optimizes knowledge.”
Larry Prusak, IBM, 1997
Bildquelle: kbuntu/Colourbox, www.geo.de

10. Was kann man tun?
• Populäre Antwort im Jahr 2000:
– Wir führen ein Dokumentenmanagementsystem ein!
Dann schreiben alle auf, was sie wissen und alle können auf die
Dokumente an zentraler Stelle zugreifen!
• Populäre Antwort im Jahr 2008:
– Wir brauchen ein Wiki, so wie Wikipedia!
Da erstellen dann alle gemeinsam eine Unternehmenswissensbasis und
man kann immer schnell nachschlagen wenn man was wissen will.
• Populäre Antwort im Jahr 2013:
– Wir brauchen so eine Art Facebook fürs Intranet!
Da spricht dann jeder mit jedem und man hat immer den richtigen Kontakt.

11. Wissensmanagement Strategien
• Codification
• Personalisation
• Bridging-the-gap
11Bildquellen: https://www.szabosolicitors.com.au, http://www.bombaychamber.com, https://devops.com
Kodifizierung Personalisierung
Bridging-the-gap

12. Und wie geht's richtig?
er on-re ate mea re organi a ona mea re
ro e e
tr t re
r
e
I mea re
R. Peinl (2011): Knowledge Management Instruments, iKnow –
International Conference on Knowledge Management and Knowledge Technologies, Graz

13. WM Zielgruppe: White Collar vs. Blue Collar Worker
13Bildquellen: http://www.best-job-interview.com, http://pirum-av.de

14. Wissensmanagement für Büroarbeiter heute
14
Bildquelle: http://thehumanfactor.de
Bildquelle: https://tcwikis.files.wordpress.com

15. Wissensmanagement für Produktionsarbeiter bisher
15
Bildquelle: https://thegratitudegraffitiproject.files.wordpress.com
Bildquelle: eigenes Foto

16. Wissensmanagement für Produktionsarbeiter zukünftig?
16
Bildquelle: https://ak2.picdn.net
Alles klar. Erst hier ins
Portal, dann dort auf Doku-
mente, hier die Ordner,
… gleich hab ichs

17. Informationssysteme
KulturOrganisation
Ressourcen
1
2
3
4
5
6
Digital ja, aber nicht 1:1 die Bürolösung
17
Fokus des Vortrags
Industrie 4.0 Maturity Index
Akademie der Technikwissenschaften 2017

18. Wissensmanagement durch
kontextbasierte Informationsbereitstellung
18

19. Kontextinformationen sammeln
• Kontext = Informationen die zur Charakterisierung der Situation
einer Entität bei der Benutzerinteraktion genutzt werden können
• Vorteil des Fertigungsumfelds ist seine hohe Strukturiertheit
• Folgende Kontextinformationen liegen in der Fertigung vor
– Maschine, an der gearbeitet wird
– Fertigungsauftrag, der gerade bearbeitet wird
• Produkt, das hergestellt wird
• Werkzeug, das an der
Maschine verwendet wird
• Benötigte Stückzahl
– Daten der Maschine
• Produzierte Stück / lfm
• Eingestellte Parameter
• Fehlermeldungen
19Bildquelle: SAM Project, https://www.linkedin.com

20. Kontextinfos sinnvoll nutzen
• Anwendungsfall 1: „richtige“ Einstellungen für Werkzeug finden
• Bisheriges Vorgehen:
– Werkzeugmappe passend zum Werkzeug holen
– Handschriftliche Notizen entziffern
– Eigene Erfahrungswerte fürs Finetuning verwenden
• Zukünftiges Vorgehen
– System kennt Maschine, Produkt und Werkzeug, sowie Parameter
– Nach Auswahl des Fertigungsauftrags werden die empfohlenen
Einstellungen direkt angezeigt
– Vergleich mit historischen Werten und resultierender Produktqualität
direkt im Programm möglich
20

21. Kontextinfos sinnvoll nutzen
• Anwendungsfall 2: Korrekturmaßnahmen im Fehlerfall finden
• Bisheriges Vorgehen unerfahrener Mitarbeiter:
– Handbuch der Maschine suchen
und Fehler nachschlagen
oder
– erfahrenen Kollegen fragen
oder
– trial and error
• Zukünftiges Vorgehen
– System zeigt direkt entsprechenden Abschnitt im Handbuch
– System merkt sich, was bei den letzten gleichen Störfällen gemacht wurde
und schlägt ein Vorgehen vor, das in der Vergangenheit erfolgreich war
21
Bildquelle: https://marblelibrary.blogspot.de

22. Kontextinfos sinnvoll nutzen
• Anwendungsfall 3: Ursachen für schlechte Qualität der Produkte finden
• Bisheriges Vorgehen:
– trial and error
oder
– auf das Bauchgefühl
erfahrender Mitarbeiter hören
• Zukünftiges Vorgehen
– Maschinelle Lernverfahren finden statistische
Korrelationen zwischen Eingabeparametern
(z.B. Qualitätsmerkmale der Materialien oder
Komponenten), Prozessparametern (z.B. Druck,
Temperatur, Flussgeschwindigkeit) und
Qualität der Endprodukte und machen
entsprechende Vorschläge
22
Bildquelle: https://www.welt.de
Merke: statistische Korrelation ≠ kausaler Zusammenhang

23. Weitere Herausforderungen für WM für Industrie 4.0
• Holtgrewe 2014
– 1) restructuring and relocation of work, 2) new and evolving players from
India and China, 3) convergence of telecommunications and IT,
4) omnipresent connectivity, 5) cloud computing and big data,
6) employment growth and a perception of skill shortage,
7) flexible employment, 8) virtual collaboration and its limits
• Thornley et al 2015
– 1) big data, internet of things, 2) judging the trustworthiness and authority of
information, 3) knowledge integration rather than knowledge production,
4) effective learning from knowledge assets,
5) adapting insights from the past to challenges of the future
• Hannola et al. 2016
– Digitally augmented human work, self-learning manufacturing workplaces,
worker-centric knowledge sharing, in-situ mobile learning for factory workers
• Zysman and Kenney 2016
– Diffusion of innovation, intelligence augmentation
23
siehe Peinl (2017): Knowledge Management 4.0 – lessons learned from IT trends. Professional KM, Karlsruhe,, April 5-7, 2017

24. Anwendungsgerechte Benutzerschnittstelle
am Beispiel E-Learning
24

25. E-Learning Dimensionen
25
OnlineOffline Blended
Lernen im Lernfeld
Selbstgesteuert
Aktives Lernen
(ausprobieren, tun)
Passives Lernen
(lesen, zuhören)
Fremdgesteuert
Ad-hoc
zeitlicher
Versatz
Lernen im Tätigkeitsfeld

26. Lernen mit allen Sinnen (multi-modal)
• Text lesen
• Bilder anschauen
• Ton hören
• Video anschauen
26
• Selbst ausprobieren
• Virtual Reality erleben
Bildquellen: http://real.de, http://www.basteln-gestalten.de/, https://www.virtuance.com

27. Mittendrin statt nur dabei
27

28. Virtuelle Realität – SciFi oder bald normal?
28
Bildquelle: https://mcchill.de
177 Mio
aktive
VR/Nutzer
2018
2015
https://www.xing.com/news/insiders/articles/virtuelle-realitat-von-7-millionen-aktiven-nutzern-2015-auf-171-millionen-bis-2018-953281
https://www.statista.com/statistics/426469/active-virtual-reality-users-worldwide/
Bruce Willis – Surrogates (2009), Bildquelle: http://newatlas.com
7 Mio
2015

29. Bildquelle: https://vrscout.com
• CGI = Computer Generated Imagery
• Computergenerierte 3D Welten, die
live vom System berechnet werden
• Für Spiele, aber auch andere VR-
Inhalte mit größerer Interaktivität
• Kann durch geeignete Texturen relativ
realistisch wirken (Rechenleistung)
• 360°Videos können wie normale
Videos mit geeigneten Playern
abgespielt werden
• Werden mit speziellen Kameras
aufgenommen
• Sehr realistisch, starke Immersion
• wenig Interaktivität
Welche Art von VR wollen wir: CGI oder Video?
29Bildquelle: https://vr-world.com

30. Ziel: Immersion
• Kein Fliegengittereffekt
• Keine matschigen Videos
• Geringe Latenzen
• Keine „Motion Sickness“
• 3D positional Sound
• Direkte Interaktions-
möglichkeiten
30
Bildquelle: https://www.dilly.at/media/36141/sportpool-eintauchen-frau-1069324.jpgSiehe auch Qualcomm 2016:
https://www.slideshare.net/qualcommwirelessevolution/making-immersive-virtual-reality-possible-in-mobile-60351804

31. Anforderungen für E-Learning mit Virtual Reality
• Wegen Authentizität hochauflösendes Video wünschenswert
=> große Datenmenge, hohe Rechenleistung
• Für Interaktivität ist ein reines Video zu wenig => Kombination mit 3D Engine
=> erfordert geeignete Controller, komplexe Umsetzung
• Möglichst große Bewegungsfreiheit
=> Kombination aus realer Welt und VR wäre wünschenswert, drahtlos
• Bewegungen von Kopf/Händen möglichst schnell in VR umzusetzen
=> hohe Rechenleistung, schnelle Drahtlosverbindung, gute Sensorik
• Geräusche in Fertigungshalle für viele Anwendungen weniger wichtig (Lärm)
=> kann trotzdem fürs E-Learning interessant sein, z.B. Fehlererkennung
• Anzeige möglichst nah an realer Welt
=> hochauflösendes Display mit hoher Bildwiederholrate nötig
31

32. Herausforderungen am Beispiel 360° Video
32
Plattformen
360°
Kamera
VR-
Headset
Software
Player
Codecs
Inhaltsersteller Konsumenten
Netzwerk
802.11ad
Vermittler
Controller

33. VR Headsets
33
Samsung Gear VR
Oculus Rift HTC Vive
Playstation VR
Q1 2017
Worldwide
Sales in 1000
490
430
190
100
Bildquelle: amazon.de Zahlen: https://www.idc.com/getdoc.jsp?containerId=prUS42707617
489.5
429.0
190.9
99.3

34. Mobil und drahtlos soll es sein
34
Smartphone Headset Kopfhörer

35. Wieviele Pixel braucht ein Smartphone?
• Für normalen Gebrauch reichen 300 ppi: z.B. iPhone 8, Samsung Galaxy A3
• Für den Einsatz in Virtual Reality Brillen kann es aber kaum genug sein
• Aktuell: Google Pixel (5 Zoll, FHD, 440 ppi), Samsung Galaxy S7 (577 ppi)
• Sony Xperia XZ Premium (5,5 Zoll, 4k, 807 ppi, leider zu langsam für VR)
35
https://vrodo.de/neue-displays-mit-bis-zu-800-ppi-sollen-fliegengittereffekt-beseitigen/

36. 12480x3510 3D 60Hz HDR
= 88MP, 19.800 MB/s
unkomprimiert
360°Virtual Reality 3D Video
Alliance for Open Media: ARM, Amazon, AMD, Cisco, Google, Intel, Microsoft, Mozilla,
Netflix, Nvidia, … arbeiten ammen an h.265 Na hfo ger AV1
Evtl. noch 2017 fertig, aber CPU/GPU-Unterstützung, Treiber,
Software, Geräte, Inhalte frühestens Ende 2018/Anfang 2019
Zie : 1h Vi eo ≈ 14-18 GB
AV1 komprimiert
6240x3510 2D 60Hz
= 22MP, 3.920 MB/s
unkomprimiert
180°Virtual Reality Video
1h Video ≈ 10-14 GB
h.265 komprimiert
3840x2160 2D 30Hz
= 8MP, 720 MB/s
4k Video (~ 110°Sichtfeld)
1h Vi eo ≈ 6-10 GB
h.264 komprimiert
2012 2013 2014 2015 2016 2017 2018 2019 2020
1920x1080 2D 30Hz
= 2MP, 180 MB/s
Full HD Video
Wieviele Pixel braucht ein Video?
H.265: 2012/13 verabschiedet, 2017/18 durch Apple massentauglich gemacht

37. Entwicklung: Wunsch und Realität
2012 2013 2014 2015 2016 2017 2018 2019 2020
HD-Display
FHD Video
Rechenleistung
3 fps
FHD-Display
4k Playback
Rechenleistung
23 fps
4k-Display
6k Playback
Rechenleistung
118 fps
6k-Display
12k Playback
Rechenleistung
360 fps
?
x 7,5 x 5 x 3
Datenmenge
180 MB/s
720 MB/s
3.960 MB/s
19.800 MB/s
x 4 x 5 x 5
Videokompression
x 2 x 2 x 2
Anwendung / Wunsch der Anwender
FHD-Video 4k Video Virtual Reality
Geräte
AV-1
VR-HD

38. 360°Kameras und ihre Charakteristika
38
https://vrodo.de/vr-kameras-im-vergleich/
• Video-Auflösung: von 4k bis 12k in 2D oder 3D
• Bildwiederholfrequenz: von 25 fps bis 120 fps
• Live Stitching oder aufwändiges Post-Processing
• Videocodec: h.264 oder h.265
• Bitrate: 4 MBit/s -160 MBit/s
• Aufnahmekapazität: von 40 min bis mehrere Stunden
• Consumer-Gerät ab 150€ bis Profi-Kamera: 45.000€
Samsung Gear 360 Vuze VR Camera
Insta360 Pro
Facebook Surround 360 x24
Nokia Ozo+

39. Doppelklick auf eine 360°Kamera
• 2 bis 24 solcher Kameras stecken in
einer 360°Kamera
39
Linse
Licht
Sensor
Analog-
Digital-
Konverter
Haupt-
Speicher
Mikroprozessor
https://digitalcamerahistory.wordpress.com/
Auge
Fest-
speicher
elktr. Sucher
Digital
Kamera
z.B. Ambarella H3

40. Video Stitching Software
• Stitcher: für Fotos eine bekannte Softwarekategorie
40
Bildquelle: https://blamethemonkey.com/hdr-photography-panorama-tutorial
mit großer Auswahl
• Für 360°Videos sehr geringe Auswahl:
– Kolor Autopano Video, Orah VideoStitch Studio
• Einschränkungen hinsichtlich Ausgabeformat,
z.B. h.265 in 8k kaum unterstützt
• Je nach Algorithmus schneller oder langsamer
z.B. 15 min Rechenzeit pro Minute Video
• Je nach Hilfsmittel einfacher oder schwieriger,
um die Ankerpunkte für das Stitching zu finden.
=> schlechtes Stitching führt zu sichtbaren
„Stoßkanten“ des 360° Videos

41. Interaktionsmöglichkeiten in VR
• Körper statisch
• Kopf kann um 3 Achsen drehen
41
• Körper vor/zurück, links/rechts
und hoch/runter bewegen
• Kopf kann um 3 Achsen drehen
Bildquelle: https://www.slideshare.net/qualcommwirelessevolution/making-immersive-virtual-reality-possible-in-mobile-60351804

42. Interaktionsmöglichkeiten in VR
42
https://youtu.be/7fVS5qqXek4
Finch Controller für GearVR und Daydream, https://www.vrnerds.de
Manus VR Gloves,
https://de.msi.com/blog/mainstream-vr-gadgets
HTC Vive Controller
https://thevrking.com

43. Aktuelle Entwicklungen (Oktober 2017)
• Windows 10-basierte VR Headsets kommen
– Acer, Asus, Dell, HP, Lenovo, …
– 2x 2.89-inch 1440x1440 LCD (90Hz)
=> 4,57 Zoll für beide, 705 ppi
• Chinesische Firma Pimax bietet VR Headset
mit 2x 4k Auflösung und 200° Sichtfeld.
Per Crowdfunding 2 Mio USD eingeworben
• 360°Kameras mit mehr als 4k Video
werden bezahlbar
– Insta Pro 360: 4000€ für 6k 3D oder 8k 2D
– GoPro Fusion: 750€ für 5.2k in 2D
• TPcast liefert drahtlos Schnittstelle für Vive
• Spiele Engine Unity setzt stark auf VR
43
Quelle: https://www.computerbase.de/2017-09/pimax-8k-5k-vr-headsets-kickstarter/
https://www.golem.de/news/tpcast-im-hands-on-ueberzeugende-drahtlose-virtuelle-realitaet-1710-130671.html
https://m.heise.de/developer/meldung/Spiele-Engine-Unity-2017-2-zielt-vor-allem-auf-2D-Entwicklung-und-Extended-Reality-3860769.html
Bildquelle: GoPro

44. From Virtual Reality to Augmented Intelligence
44
Bildquelle: ThyssenKrupp, https://windowsunited.de

45. Where are we heading to?
“40 years ago, we had Pong, two rectangles and a dot…That is what
games were. Now, 40 years later, we have photorealistic 3D
simulations with millions of people playing simultaneously, and it’s
getting better every year. And soon we’ll have virtual reality, augmented
reality. If you assume any rate of improvement at all, the games will
become indistinguishable from reality.”
Elon Musk at Code Conference 2016
Founder of Tesla, Space X, SolarCity,
Hyperloop, …
45
https://futurism.com/are-we-living-in-a-computer-simulation-elon-musk-thinks-so/ Bildquelle: OnInnovation / Flickr, CC BY-ND 2.0

46. Fazit
• Wissensmanagement auch im Kontext Industrie 4.0 wichtig
• Neue Technologien helfen, Informationen passgenauer bereitzustellen
und besser verarbeitbar durch Menschen zu machen
• Mehr verfügbare Kontext-Informationen
=> passgenauere Hilfestellung
aber auch => größere Kontrollmöglichkeit (Überwachung)
• Technische Entwicklung ist heute sehr schnell,
selbst wenn sie scheinbar gegenüber den letzten Jahren abflacht
• Neue Technik ist ein Werkzeug für
den Menschen und sollte auch
dafür eingesetzt werden,
nicht umgekehrt
46Bildquelle: https://leftisminfilm.files.wordpress.com
Matt Damon in Elysium (2013), als ihm ein Roboter
seine Rechte und Pflichten erklärt. =>

47. Quellenverzeichnis
47
• Hannola, L., Heinrich, P., Richter, A., & Stocker, A. (2016). Sociotechnical challenges in knowledge-intensive
production environments. In XXVII ISPIM Innovation Conference. Porto
• Holtgrewe, U. (2014) New technologies: the future and the present of work in information and communication
technology. New Technol. Work Employ. 29, 9–24.
• Thornley, C., Carcary, M., Connolly, N., O’Duffy, M., & Pierce, J. (2016). Developing a Maturity Model for
Knowledge Management (KM) in the Digital Age. In 16th European Conf. on KM. Ulster, Northern Ireland.
• Zysman, J., Kenney, M. (2016) The Next Phase in the Digital Revolution: Platforms, Abundant Computing,
Growth and Employment (BRIE Working Paper No. 2016–3). The Research Institute of the Finnish Economy.

48. Hof University
Alfons-Goppel-Platz 1
95028 Hof, Germany
rene.peinl@hof-university.de
www.hof-university.de
Phone +49 9281 409-3000
Fax +49 9281 409-4000
Mobil, virtuell, interaktiv Lernen
Prof. Dr. René Peinl
Head of research group systems integration
Teaching area: Web architecture