Presentazione alla conferenza WebTech 2010 su sviluppo di applicazioni multitouch con AIR WebtTech 2010 short talk on multitouch applications with AIR technology

1. AIR applications on
multi-touch surfaces
di Daniele Pezzatini

2. Daniele Pezzatini
www.micc.unifi.it/pezzatini
d.pezzatini@gmail.com
• Automatic video annotation and content based retrieval
• Intelligent videosurveillance
• Internet applications
• Natural interaction
Centro di eccellenza nazionale istituito dal
MIUR nel 2001

3. Natural Interaction
Permettere agli utenti di interagire con sistemi
informatici utilizzando meccanismi di interazione
naturale (gesti, comportamenti, parlato ecc.)
• Interfacce tangibili
• Ambienti interattivi & smart room
• GUI  NUI (Natural User Interfaces)

4. “I believe we will look back on 2010 as the year we
expanded beyond the mouse and keyboard and
started incorporating more natural forms of
interaction such as touch, speech, gestures,
handwriting, and vision - what computer scientists
call the “NUI” or natural user interface.”
Steve Ballmer, CEO Microsoft

5. Multitouch e interazione con dispositivi esterniMultitouch e interazione con dispositivi esterni

6. Interazione tramite gesti (natural interaction?)Interazione tramite gesti (natural interaction?)

7. Riconoscimento dei gesti del corpoRiconoscimento dei gesti del corpo

8. Multitouch
L’interazione con il mouse è basata su una serie di eventi
singoli e relativi a un unico punto.
La tecnologia multitouch consente un’interazione con eventi
multipunto e in parallelo.
• Riduzione nel tempo di esecuzione
• Aumento della semantica di ogni singolo input
• Possibilità di interazione multiutente

9. Ambienti musealiAmbienti museali

10. Spazi pubbliciSpazi pubblici

11. Sale di controlloSale di controllo

12. Ambienti collaborativi e didatticiAmbienti collaborativi e didattici

13. Tecnologie multitouch
• Sistemi basati su visione (es. FTIR)
• Sistemi con cornici a infrarossi
• Sistemi capacitivi e elettromagnetici (es. iPhone)
Dal 2006 ACM organizza una conferenza
dedicata alla ricerca sul multitouch
ITS - Interactive Tabletops and Surfaces

14. AIR 2 supporto per multitouch
• Set di gesti predefiniti
• Paradigma listener-dispatcher
• Scelta tra modalità GESTURE o
TOUCH_POINT
Multitouch.inputMode = MultitouchInputMode.GESTURE;
mySprite.addEventListener(TransformGestureEvent.GESTURE_ZOOM, onZoom);
mySprite.addEventListener(TransformGestureEvent.GESTURE_ROTATE,
onRotate);
private function onZoom(e:TransformGestureEvent):void {
var mySprite:Sprite = e.target as Sprite; mySprite.scaleX
*= e.scaleX;
mySprite.scaleY *= e.scaleY;
}
private function onRotate(e:TransformGestureEvent):void {
var mySprite:Sprite = e.target as Sprite; mySprite.rotation
+= e.rotation;
}

15. Natural interaction e AIR
• Solo Windows 7 e hardware compatibile?
• Superfici o ambienti interattivi ad hoc?
• Supporto per interazione con oggetti?
AIR 2 offre supporto per
• Windows 7 con hardware compatibile
• Mac OS X con multitouch trackpads
• Dispositivi mobile

16. TUIO + oggetti e marker
Reactable – strumento musicale con interfaccia tangibileReactable – strumento musicale con interfaccia tangibile

17. Identificazione e tracking di tocchi, oggetti, markers fiduciari
www.tuio.org
TUIO - Protocollo standard per sistemi
ad interfacce tangibili

18. • Supportato da gran parte degli hardware in
commercio, basati sia su visione che su cornici IR
• Frameworks disponibili per tutti i principali linguaggi
di programmazione e ambienti di sviluppo (Java, C#,
Python, Processing, Unity3D ecc.)
www.tuio.org
TUIO - Protocollo standard per sistemi
ad interfacce tangibili

19. GestureWorks
• Compatibile con TUIO e Win7
• Supporto per “hand gestures”
e creazione di gesti
• Versione free per didattica e
musei (open exhibits)

20. TUIO Flash blog
http://bubblebird.at/tuioflash/
Framework open source
• Input via UDP (Air 2) o TCP
• Riconoscimento dei gesti sui
componenti grafici
• API per la creazione di gesti
personalizzati
• Supporto per tracciamento di
oggetti e markers fiduciari

21. • Trovare video!! Mediapick?
MediaPick – Tangible Media Retrieval System

22. Riferimenti
• TUIO - http://www.tuio.org
• NUI Group - http://nuigroup.com/
• GestureWorks - http://gestureworks.com/
• FTIR - http://wiki.nuigroup.com/FTIR
• Reactable - http://www.reactable.com/
• CommunityCoreVision - http://ccv.nuigroup.com/
• TUIO Flash blog - http://bubblebird.at/tuioflash/
• ITS - http://www.its2010.org/
• MICC - http://www.micc.unifi.it/

23. Grazie!
Contatti
www.micc.unifi.it/pezzatini
d.pezzatini@gmail.com