Tesi di master su soluzioni di realtà aumentata basata su algoritmi di Image Recognition e SLAM, realizzata per il master in "Tecnologie Open Source per Beni Culturali".

1. Realtà aumentata markerless basata su
algoritmi di Image Recognition e SLAM
Simone Sabbatini
sabbatini.simone@gmail.com
Sede dello stage: Interplay Software
Tutor: Giovanni Cortese

2. OBIETTIVI
• Comprendere funzionamento della Realtà
Aumentata
• Approfondire tecniche markerless
• Image Recognition
• SLAM
• Test tool di sviluppo
• Realizzazione demo

3. Realtà aumentata – che cos’è
Realtà Aumentata (AR)
Rappresentazione alterata della realtà
Alla realtà percepita attraverso i sensi umani
vengono sovrapposte informazioni ed elementi
virtuali ed artificiali
Realtà Virtuale (VR)
Non si ha percezione
della realtà

4. Realtà aumentata – come funziona
Marker-based Basata su riconoscimento di marker
bidimensionali
Fotocamera
Webcam
Marker
Modello 3D

5. Basata sulla locazione geografica
Realtà aumentata – come funziona
Location-based

6. Realtà aumentata – come funziona
Marker-less
Basata su algoritmi di Computer Vision
IMAGE
RECOGNITION
(IR)
Non necessita di marker
SIMULTANEOUS
LOCALIZATION AND
MAPPING
(SLAM)

7. IMAGE RECOGNITION
Acquisizione
immagine
Analisi immagine
I n d i v i d u a z i o n e
features significative
Classificazione
immagine

8. Simultaneous Localization and Mapping
Problema affrontato nel campo della robotica
LOCALIZZAZIONE
MAPPING
“Where I am?”
“What does the world look like?”

9. Simultaneous Localization and Mapping
E’ considerato un problema risolto
Esistono varie implementazioni ( alcune Open Source! )
Visual SLAM : risolve il problema della SLAM utilizzando
solamente la camera come sensore
C r e a u n a m a p p a 3 D
dell’ambiente circostante
utilizzando i sensori dei robot
No riferimenti metrici e
sistema di riferimento non
noto

10. STRUMENTI di SVILUPPO
TOOL AR IR SLAM SDK
Frameworks
OpenSource

11. Obiettivo:
Riconoscimento quadri interi o dettagli
Visualizzare informazioni relative al quadro
riconosciuto
Visualizzare collegamenti a “Scheda Autore” e
“Contesto storico”
DEMO – Image Recognition
https://github.com/SimoneSabba/DemoIR-PointCloud

12. DEMO – Image Recognition

13. DEMO – Image Recognition

14. DEMO – Image Recognition

15. DEMO – Image Recognition

16. Dettaglio del cavallo
Dettaglio donna che urla
DEMO – Image Recognition

17. Obiettivo:
Riconoscere immagine ed
“aumentarla” con contenuti
3D e video
DEMO – Image Recognition
https://github.com/SimoneSabba/DemoIR-Android-Metaio

18. DEMO – Image Recognition

19. DEMO – Image Recognition
Riproduzione Video

20. DEMO – SLAM
Obiettivo:
Demo misurazione ambiente
Problemi:
Mappa non scalata metricamente
Sistema di riferimento non noto
Soluzione:
Utilizzo di Image Recognition + SLAM
https://github.com/SimoneSabba/DemoSLAM-PointCloud

21. DEMO – SLAM

22. DEMO – SLAM

23. DEMO – SLAM
Obiettivo:
Visualizzazione modello 3D
Problemi:
Mappa non scalata metricamente
Sistema di riferimento non noto
Soluzione:
Utilizzo di Image Recognition + SLAM
https://github.com/SimoneSabba/DemoSLAM-Android-Metaio

24. DEMO – SLAM
Creazione mappa 3D

25. DEMO – SLAM
Mappa 3D non calibrata

26. DEMO – SLAM
Mappa 3D calibrata

27. DEMO – SLAM
Aumentazione
M o d e l l o 3 D
visualizzato nella
scena inquadrata
dalla fotocamera

28. CONCLUSIONI
Nuove soluzioni di AR basate su Image Recognition e SLAM
possibili grazie a dispositivi mobili sempre più “evoluti”
Esperienza d’uso più stimolante ed immersiva per l’utente
Nuovi scenari di utilizzo grazie a Google Glass ed affini
Riconoscimento basato su SLAM sensibile ai cambiamenti
esterni della scena (cambi di luce e variazione della scena)
Problematica superabile grazie a nuove features quali tracking
basato su modello CAD

29. https://github.com/SimoneSabba