Presentazione di Ubiquitous Computing - Sistemi context aware "Analisi di tecnologie per l’interazione dei visitatori all'interno di musei" Lorenzo Airoldi - Matteo Baiguini - Rossella Nota - Valerio Radice 11/2010 - Università degli studi di Milano Bicocca

1. Analisi di tecnologie per
l’interazione dei visitatori
all'interno di musei
Lorenzo Airoldi - INF
Matteo Baiguini - INF
Rossella Nota - TTC
Valerio Radice - TTC
Università degli Studi Milano - Bicocca
Ubiquitous Computing - Sistemi Context-Aware

2. Introduzione
• Tecnologie attualmente impiegate nei musei
• Più coinvolgimento
• Migliore interazione
• Semplice apprendimento
• Le nostre scelte
• Interazione naturale
• Sistemi non intrusivi
• Ampia contestualizzazione
Università degli Studi Milano - Bicocca 2

3. Sistemi analizzati
• Gesturespace
• iDisplay
• Quadro Navigabile
• Orchestra Sinestetica
Università degli Studi Milano - Bicocca 3

4. Gesturespace
Prototipo realizzato nel 2009
Università delle Arti di Zurigo
Università degli Studi Milano - Bicocca 4

5. Gesturespace
• Caratteristiche
• Controllo tramite il corpo
• Riconoscimento corpo e mani tramite videocamera 3D
• Immediato feedback visuale
• Intuitività e semplicità dei gesti
Università degli Studi Milano - Bicocca 5

6. Gesturespace
Università degli Studi Milano - Bicocca 6

7. Gesturespace
Università degli Studi Milano - Bicocca 7
http://www.youtube.com/watch?v=vuXvBBUBjvg

8. Gesturespace
• Parti principali del prototipo
• Videocamera 3D e innovativo software per controllarla
• Definizione e interpretazione di gesti semplici
• Applicazioni da controllare
• Proiettore
• Software usato
• Microsoft Visual C++
• Librerie OpenGL (Open Graphics Library) per il 3D
• Librerie OpenCV (Open Computer Vision) per il 2D
Università degli Studi Milano - Bicocca 8

9. iDisplay
• Trasformazione di un
normale schermo LCD in una
superficie interattiva
• Riconoscimento di
• Oggetti rotondi e colorati
• Colore della pelle per identificare
l'input dell'utente
• Input tramite "Pinching gesture"
• Input multipli
Università degli Studi Milano - Bicocca 9

10. iDisplay
Università degli Studi Milano - Bicocca 10
http://www.youtube.com/watch?v=0-mkOYJ3MIo

11. iDisplay
Università degli Studi Milano - Bicocca 11

12. iDisplay
• Caratteristiche tecniche
• Implementazione in C++
• openFrameworks (open source C++ toolkit) come piattaforma di
sviluppo
• OpenCV e OpenGL come librerie di analisi delle immagini, perchè
consentono
• Ampio raggio di riconoscimento dei movimenti
• “Skin Color Detection”
• Applicazione client-server basata su TUIO
• Il server riceve dati dalla webcam, riconosce forme,
colori e movimenti dell'utente e genera eventi inviati al client
• Il client interattivo raccoglie gli eventi e li visualizza sullo schermo
lcd
Università degli Studi Milano - Bicocca 12

13. iDisplay
• Dispositivi
• Webcam
• Monitor lcd (NON touchscreen)
Università degli Studi Milano - Bicocca 13
Superfici interattive
oggi disponibili
iDisplay
Tecnologie Sensori e/o proiettori ad
infrarossi
Webcam
Costi Elevati Bassi
Conoscenze tecniche e
progettuali richieste
Senior Junior

14. I COLORI DI GIOTTO
Il quadro navigabile
Spazi espositivi del Palazzo del Monte Frumentario
Assisi
Università degli Studi Milano - Bicocca 14

15. • Funzionamento
• Il visitatore entra nell'area
sensibile, viene catturato dal
sistema ed entra virtualmente
nella rappresentazione grafica
• Parte la narrazione e
l’animazione
• Il dispositivo utilizzato per
interagire è il proprio corpo
• La scena cambia in base al
punto di vista del visitatore
Università degli Studi Milano - Bicocca 15
I COLORI DI GIOTTO
Il quadro navigabile

16. I COLORI DI GIOTTO
Il quadro navigabile
Università degli Studi Milano - Bicocca 16
http://www.youtube.com/watch?v=tPChQND-nEM

17. I COLORI DI GIOTTO
Il quadro navigabile
• Utilizzo di due software
• Intercettazione delle coordinate spaziali della persona
• Rendering 3D dell'immagine da visualizzare
• Tecnologia utilizzata
• Videocamera infrarossi
• Illuminazione a infrarossi
• Un videoproiettore
• Un faretto occhio di bue
Università degli Studi Milano - Bicocca 17

18. Orchestra sinestetica
Prototipo per la simulazione di un'orchestra sinestetica
Università dell’Indiana, Stati Uniti (2009)
Università degli Studi Milano - Bicocca 18

19. Orchestra sinestetica
• 8 postazioni disposte ottagonalmente
• 2 microfoni
• 2 tamburi
• 2 piani
• 2 chitarre
• Ogni partecipante mediante uno strumento genera onde
facilmente distingubili
• Le onde vengono visualizzate in modo coinvolgente su un
display comune (sinestesia audio/video)
• Interazione con gli strumenti e tra più persone
Università degli Studi Milano - Bicocca 19

20. Orchestra sinestetica
Università degli Studi Milano - Bicocca 20
http://www.youtube.com/watch?v=9691BnhNDeM

21. Focus
• Bambini in età 7-14
• Facilità di utilizzo
• Interazione intuitiva e coinvolgente
Università degli Studi Milano - Bicocca 21

22. Prospettive future
(Gesturespace)
• Utilizzo per
• Architetture, Monumenti, Planimetrie
• Fotografie
• Mondi virtuali
• Videogiochi
• Possibile utilizzo anche su pareti
• Aggiunta di nuovi gesti
Università degli Studi Milano - Bicocca 22

23. Prospettive future
(iDisplay)
• Ampliamento
• Delle forme riconosciute
• Dei gesti riconosciuti
• Miglioramento del software
• Funzionalità
• Esplorazione interattiva
• Del corpo umano
• Del mondo marino
• Di flora e fauna
• Semplici giochi di logica
• Associazione di forme e colori
• Associazione di concetti
Università degli Studi Milano - Bicocca 23

24. Prospettive future
(Quadro navigabile)
• Accompagnatore virtuale
• Esplorazione mondi virtuali e pianeti virtuali
• Videogiochi (es: bowling)
• Ginnastica interattiva
Università degli Studi Milano - Bicocca 24

25. Prospettive future
(Orchestra sinestetica)
• Aggiunta di nuovi strumenti
• Traduzione delle musiche in una pittura
• Riproduzione della nota o del ritmo ascoltato
• Stabilire i suoni che compongono le immagini riprodotte
a video
Università degli Studi Milano - Bicocca 25

26. References di rilievo
• Gesturespace
• http://iad.projects.zhdk.ch/gesturespace/wp-
content/uploads/2009/11/KJ_BA_Theoriearbeit.pdf
• Quadro navigabile
• http://www.icoloridigiotto.it/sala_interattiva.html
Università degli Studi Milano - Bicocca 26

27. References
• Gesturespace
• [1] http://iad.projects.zhdk.ch/gesturespace
• [2] http://www.youtube.com/watch?v=2RCrP0hXZ-4&feature=related
• [3] http://www.nextension.com/wp-content/uploads/2010/01/KJ_BA_Dokumentation_Web.pdf
• [4] http://iad.projects.zhdk.ch/gesturespace/wp-content/uploads/2009/11/KJ_BA_Theoriearbeit.pdf
• iDisplay
• [5] http://www.soundofcode.com/idisplay.html
• [6] http://www.youtube.com/watch?gl=IT&v=mlLY0zic7u0
• [7] http://www.openframeworks.cc/about
• [8] http://www.matteolucarelli.net/opencv/opencv-dev142.pdf
• [9] http://en.wikipedia.org/wiki/OpenGL
• [10] http://www.tuio.org/
• Quadro navigabile
• [11] http://www.icoloridigiotto.it/sala_interattiva.html
• [12] http://www.icoloridigiotto.it/tecnologia.html
• [13] http://www.rai.tv/dl/replaytv/replaytv.html#day=2010-11-13&ch=3&v=38325&vd=2010-11-13&vc=3
• [14] http://artparticipation.it/giotto-come-non-lavete-mai-visto-chiara-multi
• [15] http://www.youtube.com/watch?v=YVfSuPwic9I&feature=player_embedded
• Orchestra sinestetica
• [16] http://www.youtube.com/watch?v=m4DDe4UGNOs
Università degli Studi Milano - Bicocca 27