State of the Art in Augmented Reality: an update

1. Techniline v3 Page 1 of 6
Techniline v3 15-04-2011
Production Technology
Interactie tussen mens en machine in een stroomversnelling, Nr. 0
ook in de digitale fabriek
(15-04-2011)
Steeds snellere computers, hun miniaturisatie, de draadloze communicaties naar computernetwerken
(via wifi en mobiele systemen) en de GPS-mogelijkheden maken dat heel wat ‘Augmented Reality’-
toepassingen binnen drie jaar massaal beschikbaar zullen zijn. Ook vandaag zijn er al toepassingen,
zowel voor de consument als voor de professionele markt. Een sneak preview van de nabije
toekomst.
Augmented Reality is ondertussen de hype voorbij. De technologie heeft het stadium van maturiteit
bereikt tot op het punt dat meer en meer praktische toepassingen geïmplementeerd worden in
marketing en industrie, en zo het dagelijkse leven binnendringen langs allerlei kanalen. Een
marktstudie van ABI Research wees op een boomende marktgrootte voor AR, die zo’n 360 miljoen
dollar zal waard zijn tegen 2014.
Evolutie in interactie
De technologische evolutie reflecteert zich in verschillende termen:
Het vakgebied ‘human machine interaction’ (HMI) of ‘mens-machine-interactie’ (MMI) houdt zich
binnen de informatiekunde bezig met onderzoek naar de interactie (wisselwerking) tussen mensen
(gebruikers) en machines. De interactie wordt gerealiseerd via een gebruikersinterface (user
interface). De gebruikersinterface is als intermediair op te vatten tussen mens en machine, en kan
zowel de hardwarekant als de softwarekant van een machine omvatten. Een voorbeeld: bij het
autorijden gebruikt de bestuurder het stuur en het gaspedaal om de richting en de snelheid van de
auto te bepalen. De stoel meldt het gedrag (interactie) van de auto (machine) aan de bestuurder.
Het stuur, het gaspedaal en de stoel zijn in dit voorbeeld de mens-machine-interface. Hoe het
voertuig reageert, is de interactie.
‘Human computer interaction’ (HCI) of ‘mens-computer-interactie’ (MCI) is het vervolg op het
voorgaande, waarbij de machine nu een computer is. Veelal worden HMI en HCI door elkaar gebruikt,
aangezien het doel hetzelfde is, namelijk methoden en gereedschappen ontwikkelen om de interactie
tussen de gebruikers van machines (waaronder computers) zo soepel mogelijk te laten verlopen.
De evolutie van de verschillende interfaces tussen 1945 en 1995 in universitair onderzoek, industrieel
onderzoek en beschikbaarheid van commerciële producten toont het volgende:
http://techniline.sirris.be/s/p.exe/WService=WO/webextra/prg/olArticlePrint?vWebSe... 27/04/2011

2. Techniline v3 Page 2 of 6
Geschatte tijdslijnen die aangeven waar het onderzoek werd uitgevoerd op de belangrijkste
technologieën
(Bron: Meyers)
Hypertext, waarbij documenten kunnen verbonden worden met gerelateerde documenten, is de basis
voor het huidige internet. Onder andere dankzij de huidige internettechnologieën en aanverwante
technologieën zijn ‘Augmented Reality’-toepassingen mogelijk.
Via de ‘gesture recognition’-technologie communiceert de mens met de computer op basis van
gebaren en bewegingen. Augmented Reality is hier dus een onderdeel van.
Augmented Reality
Het 2011 Horizon Rapport omschrijft Augmented Reality (AR) of 'toegevoegde realiteit' (TR) als “een
computerondersteund toevoegen van een contextgebaseerde informatielaag over de echte wereld,
waardoor een realiteit wordt gecreëerd die verbeterd, verheven of toegevoegd is”. Zo realistisch
mogelijk computergemaakte beelden en gelaagde contextinformatie worden toegevoegd aan
rechtstreekse, reële beelden. In plaats van informatie af te beelden op klassieke en geïsoleerde
beeldschermen, worden de data geprojecteerd in het gezichtsveld van de gebruiker, meestal via een
head-mounted display of head-up display. Het maakt het verschil tussen de reële wereld en de
virtuele wereld steeds kleiner en zorgt voor eenvoudigere en gebruikersvriendelijkere interfaces, ook
voor complexere toepassingen.
Een andere term is ‘blended reality’: door een informatielaag over 3D-ruimteobjecten krijgt men een
nieuwe ervaring van de wereld. Blended reality is nu de motor om de computermigratie te
ondersteunen van de desktopcomputer naar mobiele systemen. Hierdoor schept men nieuwe
http://techniline.sirris.be/s/p.exe/WService=WO/webextra/prg/olArticlePrint?vWebSe... 27/04/2011

3. Techniline v3 Page 3 of 6
verwachtingen rond toegang tot informatie.
Er bestaan twee dominerende methodes om de ‘gemengde’ informatie te verzamelen: via visuele
markeringen die gedetecteerd worden door een camera (op computer of mobiel apparaat) of via
positiegebaseerde toepassingen zoals GPS en het ingebouwd kompas van het mobiel apparaat, zoals
een smart Phone. Men onderzoekt nu echter ook al nieuwe technologieën die markeringsloze 3D-
beeldherkenning toelaten.
Het krachtige concept van ‘blending’ (mengen) van informatie met de echte wereld heeft AR op de
voorgrond geplaatst bij de ervaringsgerichte omgevingen zoals entertainment, onderwijs, marketing,
business en technologie.
Augmented Reality in de praktijk
Pattie Maes and Pranav Mistry illustreerden het potentieel van AR in de praktijk op de TED-
conferentie al in februari 2009. Het AR-systeem SixthSense, ontwikkeld door MIT Media Lab's Fluid
Interfaces Group, bestaat uit een camera, een kleine projector, een smart Phone, een spiegel en vier
gekleurde vingerhoeden. De vingerhoeden worden gebruikt om de beelden die uit de projector
komen te manipuleren. Alle componenten zijn beschikbaar en kosten samen nog geen 350 dollar
(245 euro).
Het Sixth Sense AR systeem projecteert een toetsenbord op je hand waarmee je kunt telefoneren
zonder je gsm uit je broekzak te halen
(Bron: Bonsor)
Enkele toepassingsvoorbeelden en -mogelijkheden binnen verschillende sectoren:
1. Toerisme
Op smartphones met ingebouwde GPS en camera, zoals de iPhone en toestellen met het Google
Android-besturingssysteem, zijn al AR-toepassingen beschikbaar. Zo ontdekten iPhone-gebruikers in
augustus 2009 een ‘easter egg’ – een verborgen applicatie die normaal alleen de
softwareontwikkelaars kennen - in de Yelp-toepassing. Yelp is een toepassing die recensies van
restaurants en andere zaken weergeeft, maar de easter egg Monocle gaat nog een stapje verder.
Door drie keer met een iPhone 3GS te schudden start Monocle. Op basis van de ingebouwde GPS en
kompas zal Monocle informatie over lokale restaurants, inclusief beoordelingen en commentaar,
weergeven op het schermpje. Als je dan een restaurant in de lijst aanklikt, dan krijg je nog meer info
over dat specifiek restaurant.
2. Gaming en entertainment
Binnen de ‘gaming en entertainment’-industrie zijn er al verschillende AR-toepassingen. Zo bepaalt
bijvoorbeeld Wii van Nintendo op basis van de versnellingscontroller en de vaste infrarood-
positiesensor de positie van de Wii-accessoire en zijn speler en geeft zo die locatie weer in het spel
op het tv-scherm. Andere voorbeelden zijn de ‘first down’-lijn bij American Football - de afstand die
het team moet afleggen voor een succesvolle aanval - die op het tv-scherm wordt geprojecteerd
bovenop het wedstrijdbeeld of een rode lijn in ijshockey die de positie en richting aangeeft van de
http://techniline.sirris.be/s/p.exe/WService=WO/webextra/prg/olArticlePrint?vWebSe... 27/04/2011

4. Techniline v3 Page 4 of 6
puck.
Het Museum of London bracht StreetMuseum uit, een gratis app voor iPhone die gebruik maakt van
GPS-positionering en geotagging om gebruikers informatie en historische beelden, over de
hedendaagse gebouwen heen, te tonen terwijl ze door de stad London reizen. Een vergelijkbaar
project iTacitus (Intelligent Tourism and Cultural Information Through Ubiquitous Services) genaamd
laat gebruikers toe historische locaties zoals het Colosseum te bezoeken met hun mobiel toestel en
een gebeurtenis uit het verleden te bekijken.
3. Opleidingen
Een van de meest belovende aspecten aan AR is dat het kan gebruikt worden voor visuele en intens
interactieve leervormen, aangezien het even makkelijk toelaat een laag data te leggen over de echte
wereld, als dat het dynamische processen simuleert. Een tweede basiskenmerk is de mogelijkheid te
reageren op de input van de gebruiker.
Voor educatieve doeleinden kunnen AR-systemen eveneens worden gebruikt om een panoramisch
recreatie van een historische gebeurtenis te bekijken over de eigentijdse achtergrond heen.
Studenten kunnen dit systeem gebruiken om een beter begrip te verwerven van de wolkenvorming,
de structuur van het universum en het sterrenstelsel dankzij realistische en eenvoudig te begrijpen
simulaties via AR-systemen.
4. Business - Sales
Ook in de zakenwereld krijgt AR steeds meer vorm:
Een Augmented Reality-business card heeft een speciale marker, die gedetecteerd wordt door een
webcam, verbonden met het internet. Op basis van die marker worden dan niet alleen je
contactgegevens weergegeven, maar ook een videoclip van je bedrijf.
Het prototype van een toepassing, in februari getoond op het Mobile World Congress in Barcelona,
ging nog verder: richt de telefoon naar een persoon, indien deze vervolgens details van deze persoon
vindt, kan hij ze van het web halen en gegevens als een Twitter-gebruikersnaam, Facebook-pagina
en andere feiten rond het hoofd weergeven via het scherm van de telefoon. Zo worden sociale
netwerken naar een volgend niveau getild.
Nog futuristischer en een droom voor verkopers is de mogelijkheid om naar een gebouw te gaan en
inzicht te krijgen in het potentieel van mogelijke klanten die zich binnen bevinden.
Een voorbeeld van mobiele AR (MAR) is het inrichten van virtuele 3D-meubels binnen in een
bestaande woning. Dit is een reeds bestaande MAR-toepassing op iPhone voor ‘Atelier Pfister’.
5. Business - Services
Aan de Columbia Universiteit werd een Augmented Reality voor onderhoud en herstelling ontwikkeld
binnen het Armar-project. Het combineert sensoren, head-up-displays en instructies om het
probleem aan te pakken. Men start met een onderdeel onder handen te nemen en de details ervan
worden onmiddellijk voor jouw ogen weergegeven.
Een andere toepassing laat een onderhoudsploeg de mogelijkheid om naast een gebouw te gaan en
tegelijkertijd inzicht te krijgen in de aanwezige producten (Installed Base) binnen het gebouw, die
onderhouden moeten worden, met hun specifieke historiek.
6. Kennisbeheer
In het kader van kennisbeheer is een veelvoorkomend probleem dat de specifieke informatie vaak
niet beschikbaar is op dat specifieke moment, omdat ze zo moeilijk direct te vinden is. BMW heeft
een concepttest uitgevoerd, waarbij een mecanicien een ventilator moest vervangen. De mecanicien
droeg een speciale bril waarop instructies werden geprojecteerd van zodra hij keek naar het
motorcompartiment van de wagen.
SAP heeft een project gelanceerd in een Daimler-Benz-fabriek, waarbij een magazijnier een aantal
verschillende onderdelen uit het magazijn moet halen. Via een bril ziet hij welke onderdelen hij moet
verzamelen en van zodra hij het onderdeel uit de locatie haalt, wordt direct realtime het onderdeel
afgevinkt van de lijst en wordt de magazijnvoorraad direct bijgewerkt.
http://techniline.sirris.be/s/p.exe/WService=WO/webextra/prg/olArticlePrint?vWebSe... 27/04/2011

5. Techniline v3 Page 5 of 6
Op een presentatie van SAP’s World Tour-event in Birmingham werd aangekondigd dat SAP aan een
AR-toepassing werkt. Mogelijke toepassingsvoorbeelden hiervoor:
de bankier die op het moment dat hij een bedrijf binnenstapt alle benodigde, gekende
financiële informatie automatisch ter beschikking krijgt.
wie op de productievloer informatie wenst over het onderhoud van een welbepaalde machine,
hoeft alleen met zijn mobiel apparaat deze machine aan te wijzen ….
Hoe AR uw business zal beïnvloeden
Op volgende vijf vlakken kan AR nu al een verschil maken of zal dit in de zeer nabije toekomst doen:
De aard van marketing en adverteren: naast een artikel in een magazine staat een
advertentie, voorzien van een visuele code. De geïnteresseerde lezer kan deze inscannen met
een BlackBerry of iPhone en onmiddellijk een bestelling plaatsen.
De aard van positiebepaling: nu al duiken toepassingen op geavanceerde telefoons op die
gebruikers toelaten door gewoon hun telefoon naar een locatie te richten, op het scherm
informatie te krijgen over die locatie.
De aard van gezondheidszorg: een groot probleem in de gezondheidszorg is het gebrek aan
informatie op de plaats waar diensten verstrekt worden. Het is nog slechts een kwestie van
tijd eer men over de optie zal beschikken om medische informatie aan een persoon te linken.
Dankzij goedkope, beschikbare bioherkenningstechnologie zal iemand via een veeg met zijn
vinger of door in een telefoon te spreken zichzelf kunnen identificeren, om zo zijn medisch
dossier toegankelijk te maken voor de dokter van dienst.
De aard van relaties: een opportuniteit voor verkopers is door het inscannen van iemands
gezicht (gezichtherkenning is tegenwoordig standaard voor heel wat fotoproducten,
waaronder de iPhone) iemands achtergrond kunnen opzoeken, onder meer via sociale
netwerken.
De aard van kennis(beheer): heel wat van de kennis die nodig is om een job uit te voeren is
niet altijd snel beschikbaar op het gewenste moment. De concepttest van BMW, eerder
beschreven in het artikel, is hier van toepassing.
De volgende stap: gesture-based computing
Binnen een vijftal jaren mogen we een doorbraak verwachten in gesture-based computing volgens
het 2011 Horizon Report. Wat kunnen we ons hierbij voorstellen? Een preview werd zo’n tien jaar
geleden gegeven door de acteur Tom Cruise in de science-fiction film ‘Minority Report’. Hij stalde
informatie voor zich uit door met zijn armen te zwaaien. De ontwerper van deze fictieve interface
presenteerde op TED Talk in 2010 de niet-fictieve versie G-Speak. Zowel dit toestel als SixthSense
van Pranav Mistry (zie eerder) maken gebruik van visuele merkers en gesture recognition, wat de
komst van gesture-based computing inluidt.
Dit valt buiten de scope van dit artikel, maar zal ongetwijfeld in een volgend Techniline-artikel aan
bod komen.
Verwant artikel
Techniline 20.04.2007 - Augmented reality vult reële wereld aan met digitale informatie
Bronnen
Arthur, C. (2010, Maart 21). Augmented Reality: it's like real life, but better.
The Observer: www.guardian.co.uk
Bonsor, K. (n.d.). How Augmented Reality Works.
computer.howstuffworks.com: http://computer.howstuffworks.com
Henderson, S., & Feiner, S. (sd). Augmented Reality for Maintenance and Repair (ARMAR).
Columbia Universiteit - Computer Graphics & User Interfaces Lab:
http://graphics.cs.columbia.edu
Mens-computerinteractie. (sd).
Wikipedia: http://nl.wikipedia.org
Meyers, B. A. (1998). A Brief History of Human Computer Interaction Technology.
ACM interactions, Vol. 5, no. 2 , 44-54.
New Media Consortium (NMC) en EDUCAUSE Learning Initiative (ELI). (2011).
2011 Horizon Report. Austin, Texas, USA: New Media Consortium.
Scott, J. (2010, Juli 8). SAP working on augmented reality for business.
IT Pro - Fit for Business: http://www.itpro.co.uk
Sviokla, J., & Rao, A. (2009, October 30). How Will "Augmented Reality" Affect Your Business?
http://techniline.sirris.be/s/p.exe/WService=WO/webextra/prg/olArticlePrint?vWebSe... 27/04/2011

6. Techniline v3 Page 6 of 6
Harvard Business Review - Blogs: http://blogs.hbr.org
Technology Horizons Program, SR-1221. (2009).
Blended Reality - superstructing Reality, superstructing selves. Palo Alto, CA 94301, USA:
Institute for the Future.
Toegevoegde realiteit. (sd).
Wikipedia: http://nl.wikipedia.org
Vance, J. (2010, Augustus 30). 5 reasons your business needs augmented Reality ...Today!
Datamotion.com: http://itmanagement.earthweb.com
http://newsletter.metaio.com
Dit artikel kwam tot stand in het kader van het EFRO-project “Op weg naar de Digitale Fabriek” en
met de steun van Europa - EFRO, Agentschap Ondernemen – Vlaanderen in Actie en KMO-IT.
Meer weten over de digitale fabriek? Kom dan op 10 mei naar Manufacturing Day - Stoom uw
bedrijf klaar voor de toekomst !
Contactpersoon: Sirris, Ludwig Prinsen
E-mail digitale.fabriek@sirris.be
Tel. +32 498 91 93 00 Fax +32 16 32 29 84
http://techniline.sirris.be/s/p.exe/WService=WO/webextra/prg/olArticlePrint?vWebSe... 27/04/2011