1.
Dr. Leif Oppermann
Head of Mixed and Augmented Reality Solutions
leif.oppermann@fit.fraunhofer.de
—
Metaverse – eine Einordnung
Fakt oder Fiktion?

2.
Zur Person – Leif Oppermann
Seit 1990 Grafikprogrammierung (Commodore)
Studium der Medieninformatik 1998-2003
OpenGL & ARToolKit; Abschluss in 2003, Thema: “Interaktionsflächen in Augmented Reality”
2004 – 2009, Mixed Reality Lab, Uni Nottingham, England
Doktorväter: Steve Benford & Tom Rodden
Thesis: “Facilitating the Development of Location-Based Experiences” (mit 2.5 & 3G, WiFi)
2009 – heute, Fraunhofer FIT, Sankt Augustin
Leitung Mixed and Augmented Reality Solutions in der Abteilung Kooperationssysteme (Prof. Prinz)
Ko-Autor des GI VR/AR-Lehrbuchs von Springer (3 Auflagen) → Kapitel Interaktion
Aktuell Mixed Reality Projekte mit 5G in der Industrie, im Baubereich und in der Bauwerksprüfung
Seite 2

3.
Innovative Benutzerschnittstellen → “Post-Desktop”
Smart Phones, Smart Glasses, HMDs, Watches, etc.
In drahtlosen Netzwerkumgebungen
Techniken zur Positionierung
Kooperationsunterstützung mit CSCW und Mixed Reality bei der Arbeit
Studie: Head Mounted Displays in German Companies
(Deloitte, Fraunhofer FIT, bitkom)
Study #180: VR/AR („Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag“)
i-com journal of interactive media „Smart Glasses“
Worum geht es mir?
Seite 3

4.
History
28.04.2022 © Fraunhofer FIT
Seite 4

5.
Eigentlich schon eine alte Technik …
Seite 5
Ivan Sutherland, The Ultimate Display / Sword of Damocles, 1968

6.
Vision von 1929
(Credit: Museum für Kommunikation, Bern)
Kommunikation bei der Arbeit und in der Freizeit
28.04.2022 © Fraunhofer FIT
Seite 6
Facetime?

7.
Interactive Fiction, Adventures & Virtuelle Welten
28.04.2022 © Fraunhofer FIT
Seite 7
1980er
Infocom 1979 ff.
Atari Adventure 1979
Video Game Crash 1983
VPL gegründet 1984
Ultima 4 1985
Habitat 1985
Jaron Lanier, VR Pionier (VPL)

8.
28.04.2022 © Fraunhofer FIT
Seite 8
Snow Crash
1992
„Cyberpunk“ Sci-Fi-Roman von Neal Stephenson
Sollte ursprünglich interaktiver Comic werden
Spielt in einer heruntergekommenen Realität und im
„Metaverse“, einer digitalen Parallelwelt i.S.v. VR/AR
10 Min. Pizzabote
vs.
Edler Hacker und Kämpfer
Eine Dystopie, das Metaverse birgt eine Bedrohung
Autor Stephenson ist Anhänger freier Software

9.
Vision und Wirklichkeit der Virtual Reality in den 1990ern
Seite 9
Massive VR Teleconferencing (1995)
Nottingham
Dactyl Nightmare (1991)
◼ Sog. „VR Crash“
◼ Erwartungen konnten nicht
erfüllt werden
Virtual Boy (1995)

10.
Science
28.04.2022 © Fraunhofer FIT
Seite 10

11.
Seite 11
Was ist Mixed Reality?
(Milgram und Kishino, 1994)
Mixed Reality – MR
Reality
Virtual Reality
Augmented Reality Augmented Virtuality
◼ AR ist Variation von
Virtual Reality (VR)
◼ VR ersetzt die
Wahrnehmung
◼ AR erweitert sie
◼ Oder doch „Microsoft Reality“?
(viel Marketing-Budget, AR=MR)
◼ X in XR: Platzhalter für A,V,M
(Cross Reality / eXtended Reality)
▪ Kombination von real und virtuell

12.
Steve Benford
28.04.2022 © Fraunhofer FIT
Seite 12
1993 & 2021
Professor für kollaboratives Computing an der Uni Nottingham,
Grundlagenforschung räumliche Interaktion in virtuellen Umgebungen (1993 ff.), erste CVE-
Konferenzen, Pervasive Gaming, Assoziation von Eigenschaften des Metaverse (2021):
1. Virtuelle Welt (wichtigste Eigenschaft), Zugangsgerät zweitrangig, Präsenzerlebnis im Virtuellen
2. Virtuelle Realität (VR), verbessert Eintauchen, solange man nicht an reale Grenzen stößt (Couchtisch)
3. Andere Leute und Bots als Avatare. Metaverse ist sozial und mglw. natürlicher.
4. Langlebigkeit / Persistenz. Jederzeit da und kann besucht werden. Überlebt Sessions.
5. Verbindung zur realen Welt. Digitaler Zwilling in einigen Visionen des Metaversums.
Quellen: https://theconversation.com/metaverse-five-things-to-know-and-what-it-could-mean-for-you-171061

13.
Tony Parisi
28.04.2022 © Fraunhofer FIT
Seite 13
1994 & 2021
Virtual Reality Modeling Language (1994), WebGL
Sieben Regeln für das Metaverse (2021)
1.Es gibt nur ein Metaversum.
2.Das Metaversum ist für Jedermann.
3.Niemand kontrolliert das Metaversum.
4.Das Metaversum ist offen.
5.Das Metaversum ist Hardware-unabhängig.
6.Das Metaversum ist ein Netzwerk.
7.Das Metaversum ist das Internet.
Quellen: https://medium.com/meta-verses/the-seven-rules-of-the-metaverse-7d4e06fa864c

14.
Mark Billinghurst
28.04.2022 © Fraunhofer FIT
Seite 14
1999 & 2022
ARToolkit Anwendungen, z.B. Video-basiertes AR Teleconferencing
(ARToolkit war Open-Source Augmented Reality Forschungskatalysator)
Professor für 3D User-Interfaces an der Uni South Australia und Uni Auckland
Meistzitierter Mixed Reality Forscher, Artikel „Delivering the Entire Metaverse“ (2022):
• Viele Visionen fokussierten lediglich auf geteilte VR/AR Erlebnisse
• Und lassen Kernkomponenten außer acht (nicht Crypto, nicht web3)
• Hinweis auf Interoperabilität
• Expliziter Verweis auf Metaverse Taxonomy von 2007
Quellen: https://marknb00.medium.com/delivering-the-entire-metaverse-db4c2afcb6e5

15.
Industry
28.04.2022 © Fraunhofer FIT
Seite 15

16.
Metaverse Roadmap
28.04.2022 © Fraunhofer FIT
Seite 16
2007
Ausführlicher „Foresight“ - Bericht aus 2007 (1 Mrd. Internetnutzer)
“What happens when video games meet Web 2.0?
When virtual worlds meet geospatial maps of the planet?
When simulations get real and life and business go virtual?
When you use a virtual Earth to navigate the physical Earth,
and your avatar becomes your online agent?
What happens is the metaverse.”
Quellen: https://www.metaverseroadmap.org/

17.
Matthew Ball
28.04.2022 © Fraunhofer FIT
Seite 17
2021
Essays mit acht Kategorien/Schichten:
1. Hardware
2. Netzwerk
3. Berechnung
4. Virtuelle Plattformen
5. Werkzeuge und Standards zum Datenaustausch
6. Bezahlung
7. Inhalte und Services
8. Nutzerverhalten
Ball ist Investor
Inspiration für Zuckerberg
Crypto und Blockchain tauchen in verschiedenen
Kategorien auf, u.a.:
• Berechnung
• Datenaustausch
• Bezahlung
Quellen: https://www.matthewball.vc/all/my-live-audio-chat-with-mark-zuckerberg

18.
Gedanken
28.04.2022 © Fraunhofer FIT
Seite 18

19.
Nutzer des Internets == Nutzer des Metaverse?
28.04.2022 © Fraunhofer FIT
Seite 19
Potential oder Hype?
Knapp 8 Mrd. Einwohner auf der Erde vs.
2,5 Mrd. ohne Internet
5 Mrd. bis 2030 im Metaverse
Also: jeder Internetnutzer wäre im Metaverse. Wirklich?
Ist „das Metaverse“ ein Projekt um die nächste Mrd.
anzubinden?
Quellen: https://www.wiback.org/content/dam/wiback/en/documents/Study_Connect%20the%20Unconnected_2019.pdf , https://www.fool.de/2022/04/20/vorhersage-5-milliarden-menschen-werden-bis-2030-im-metaverse-sein/ , https://fortune.com/2022/04/01/citi-metaverse-economy-13-trillion-2030/
Zahlen von Citi (04/22)

20.
Reflektionen
28.04.2022 © Fraunhofer FIT
Seite 20
Science Fiction oder Business Fiction?
Frühe Arbeiten (vgl. Boeing Wire Harness) zeigten bereits Tragbarkeitsgrenzen von HMDs auf
Wie lange haben Sie während der Pandemie ein HMD getragen?
Und was ist mit dem 3D Fernseher, der nach dem Film Avatar omnipräsent war?
10 Minuten Lieferdienste haben wir bereits, folgt bald die Bedrohung aus dem Metaverse?
Kein etablierter Wissenschaftler im Bereich VR/AR/MR/XR bezieht sich auf Investor Ball
Legitimation bei Image-Problemen und Staaten-Rückzug im Plattform-Kapitalismus?
Was war mit Schrems I (bzgl. „Safe Harbor“) und Schrems II (bzgl. EU-US Privacy Shield)?
Crypto & Co bieten Möglichkeit, an das Geld der Finanzmärkte zu kommen. Wo wird versteuert?
Quellen: https://www.bbc.com/news/av/world-asia-india-61147690

21.
Digitales Bermudadreieck
Seite 21
Seoul will bis 2023 Behördengänge im Metaverse
anbieten
Deutschlandfunk titelt in 2021: Corona-Bekämpfung in
Behörden / Die verschleppte Digitalisierung
2022: TK Krankenkasse bietet Fax-Funktion in App an
Ehem. Estland CIO Taavi Kotka berichtet auf
Zukunftskongress in Bonn 2019 von erfolgreicher
Digitalisierung seines Landes mit eindeutiger digitaler
Identität, ausgehend von Problemen, die Deutschland
offenbar nicht habe
?

22.
Von VPL zu Meta (née Facebook)
VPL, gegr. 1984, war weltweit erste VR Firma, u.a. NASA-Auftrag für Datenhandschuh
“If you run [the metaverse] on a business model that’s similar to the one that Facebook runs on, it’ll destroy
humanity. I’m not saying that rhetorically. That is a literal and specific prediction that humanity could not
survive that.” – Jaron Lanier (VPL Gründer und VR Pionier)
VPL EyePhone,1989 Meta horizon Workrooms,2021
Jaron Laniers Vorhersage

23.
Reflektionen
Mobiletechnik sind der Treiber (Oculus Rift Idee basierte u.a. auf Smart Phone Displays)
Reiche Forschungstradition in CSCW und HCI verschmilzt seit 10 Jahren mit mobiler Mixed Reality
Wir sehen Einsatz-Potentiale auf der Arbeit, nicht nur im Büro
Anwendungen in vielen Domänen, z.B. auch vor Ort im Bau
Forschung seit den 1980er in Deutschland, Europa und der Welt zeigt:
Mensch-zentriertes Design: iteratives, partizipatives Vorgehen ein Muss!
IA>AI: Mensch und Computer stärker als nur Computer (auch KI)
Second Life hat uns das Metaverse schon vor 15-20 Jahren vorgelebt
und Blaxxun noch früher
Spiele-Engines Unity und Unreal wichtige Technologie-Provider
Seite 23

24.
Seite 24 Aktuelles Beispiel mit Digitalem Zwilling einer Maschine aus Projekt IndustrieStadtpark, www.5gtroisdorf.de

25.
Seite 25
Von Pervasive Gaming zum Metaverse
Unsere Definition von „Metaverse“:
1.Soziales Medium (Menschen, Avatare, Interaktion, Kommunikation, Work-Life Integration)
2.Crossmediale und multimodale Teilhabe (unterschiedliche Geräte, Zugänge und „Embodiments“)
3.Kombination von vernetzten, virtuellen und erweiterten Realwelten
4.Enge Anbindung an Realwelt (in Teilen „Digitaler Zwilling“)
5.Integrativ, d.h. offene und interoperable Komponenten
6.Das Metaverse ist prinzipiell persistent und langlebig, inkl. zeitlich begrenzter Sessions
Epidemic Menace (IPerG, 2005) verschiedene, cross-mediale Interfaces in den selben virtuellen und
erweiterten Raum. „Fun-Fact“: Plot beinhaltete ein Virus, das die Welt bedroht

26.
Kontakt
—
Dr. Leif Oppermann
Mixed and Augmented Reality Solutions
Tel. +49 2241 14-3799
leif.oppermann@fit.fraunhofer.de
Fraunhofer-Institut für Angewandte Informationstechnik FIT
Schloss Birlinghoven
53757 Sankt Augustin
www.fit.fraunhofer.de/mars