Socialismo y sindicalismo. los movimientos sociales.
Računalnik te gleda
1. Pozor,
računalnik te gleda!
Borut Kumperščak, CTO, UNIKI d.o.o.
@kumpri, borut@uniki.eu
Serija predavanj Do gležnjev v blatu,@vblatu, http://meetup.com/vblatu
November 2011
2. Vsebina
• ideja “nevidnega vmesnika”
• zakaj računalniški vid
• sodobni senzorji in algoritmi
• aplikacije
3. Ideja “nevidnega” UI
• prostor se odziva na prisotnost oseb
• velike vizualne površine - projekcija, LED
wall
• več uporabnikov hkrati
• “Naravni vmesnik”, NI, NUI
5. Zahteve “nevidnega” UI
• neposreden odziv na gibe in kretnje
• visoka toleranca do uporabnika
• oddaljeni senzorji
• delovanje v realnem času
6. Zakaj računalniški vid
• kamera je oddaljena od objekta opazovanja
• delovanje v realnem času
• velika količina zgoščenih informacij
7. Računalniški vid deluje
• kontrola in nadzor
• touch UI
Janez Primc, Emil Jerman, Mitja Zabavnik: Avtomatska
detekcija prometa v slovenskih predorih, ROSUS 2009
Reactable, Reactable Systems
• klasifikacija in razpoznavanje objektov
• knjižnica OpenCV je švicarski nož
8. Računalniški vid ne deluje
• ozek spekter uporabnosti (2D aplikacije)
• potreben “man in the middle”
• kontrolirano okolje
• primer: izločanje ozadja
9. Zakaj ne deluje?
• pomanjkljivi vhodni podatki (2D)
• šum - neželjene motnje na vhodu
• procesorska zahtevnost algoritmov
(OpenCV požre CPU za malico)
14. TOF kamera
• kombinacija senzorja in osvetlitve
• senzor in osvetlitev zelo natančno
sinhronizirana
• točke merijo čas potovanja žarka (princip
radarja)
Panasonic D-Imager
16. Strukturirana osvetlitev
• prostor osvetljen z znanim vzorcem
svetlobe
• navadna kamera (senzor)
• iz korelacije vzorca s posnetkom se
izračuna globinski odklon za vsako točko
XBox Kinect vzorec projicirane svetlobe
18. PrimeSense
• osvetlitev je IR
• osvetlitev je laserska
• CPU vgrajen v kamero
• osnova za XBox Kinect in Asus WAVI Xtion
XBox Kinect Asus WAVI Xtion
19. Kje nam to pomaga?
• enostavno izločanje ozadja
• preprosto polje kazalca - ravnina v 3D
• zajem prostora, pozicije objektov,...
• naprednejši algoritmi
20. Boljši algoritmi
• primer: algoritem za sledenje postavi
Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard
Moore, Alex Kipman, Andrew Blake: Real-Time Human Pose Recognition in Parts from
Single Depth Images, Microsoft Research Cambridge & Xbox Incubation
21. NITE middleware
• izdelal PrimeSense za svoj senzor
• implementacija algoritmov zaznavanja,
klasifikacije, sledenja (prostor, oseba, roka)
• multithreaded, <10% CPU (trenutna
generacija)
22. It gets better - OpenNI
• OpenNI framework za NI aplikacije
• abstrakcija povezave senzor -> middleware
-> aplikacija
• future-ready
OpenNI User Manual
23. It gets even better
• OpenNI je konzorcij, cross-platform, open
source
• NITE je cross-platform, licenca dovoljuje
uporabo v komercialne namene
24. Kinect
• prva komercialna kamera s PrimeSense
senzorjem
• 3D slika, RGB slika, 3D zvok
• ni programsko omejen ali zaklenjen
(uporablja se PrimeSense driver, ki je open
source)
• poceni
25. Kinect SDK
• ni narejen na OpenNI
• dodaten nivo abstrakcije
• dodelane funkcije iz NITE
• podpora za 3D zvok
• samo za Windows
26. XBox Kinect
• video: XBox Kinect promo
http://www.youtube.com/watch?
v=4OMLjXRfaDQ
27. Kaj se zares dogaja?
• pravi brezdotični in brezšarni 3D vmesnik
• prvi osvojili vizualni umetniki, takoj za njimi
marketing
• odziv presenetil tudi Microsoft