O documento apresenta uma introdução ao Kinect e sua integração com Delphi XE2. Discute o hardware do Kinect, sua liberação para PC e exemplos de uso para além do Xbox. Apresenta a biblioteca TKinect para conectar Delphi ao Kinect, demonstrando controle de câmeras, LEDs e acesso a imagens e acelerômetro.

1. Integrando
Delphi XE2
com Kinect
Victory Fernandes

2. Victory Fernandes
• Engenheiro, Diretor Técnico da TKS Software
• Autor da ActiveDelphi, TheClub e ClubeDelphi
• Autor de componentes para
– Sintegra, SPED, Nfe, Cte, FCONT, SEF...
• Colaborador do projeto TKinect
• Edição 88 da ActiveDelphi

3. Quem jogou XBOX360 com Kinect?

4. Quem já integrou Kinect com PC?

5. Project Natal
lançado nos EUA em 04.11.2010
lançado nos Brasil em 18.11.2010

6. R$350 US$110

7. R$1.100 US$300

9. Especificações do Hardware
• Câmera de vídeo RGB (Red-Green-Blue)
– Imagens RGB em alta resolução (1600x1200 pixels)
• Hardware de scanner 3D
– Imagens com informação de profundidade (640x480 pixels)
– Resolução de 3mm; 1cm de precisão a 2m de distância
• Sensores acelerômetros
– Detecta movimentação e inclinação (eixos X, Y e Z)
• Microfones
– Reconhecimento e controle de voz
• Ajustes de altura com servo-motor instalado na base
• Controle do LED frontal

12. +
=

13. Por dentro do Kinect...
• PrimeSense (www.primesense.com)
– Empresa Israelense; Patente americana: 2010/0118123-A1

14. Produto equivalente...
• D-IMager (Panasonic)
– US$1,967.00 (digikey.com)
• Wavi Xtion (Asus)
– US$189.00 (us.estore.asus.com)

15. Kinect muito além do XBOX360...
Stanford ‘JediBot’
http://youtu.be/VuSCErmoYpY
Real Time Lightsaber
http://youtu.be/3EeJCln5KYg

16. Kinect muito além do XBOX360...
Humanoid Robot by Kinect
http://youtu.be/w8BmgtMKFbY

17. Kinect muito além do XBOX360...
NAO Robot + Kinect
http://youtu.be/TmTW61MLm68
Quadrocopter Ball - ETH Zurich
http://youtu.be/3CR5y8qZf0Y

18. Kinect muito além do XBOX360...

19. ? ?

20. Kinect muito além do XBOX360...
• Inspeção 3D em planta industrial
• Manipulação Hands-Free
– Ambiente industrial
– Mídia Publicitária

21. Kinect + PC
• 06.11.2010 na semana do lançamento...
– AlexP é o primeiro a hackear o Kinect no Windows
– KinectHacks (http://kinecthacks.net/)
– Ladyada (http://ladyada.net/learn/diykinect/)
• Algumas semanas depois...
– Code Labs libera CLNUI - drivers estáveis para Windows
– Aleks da IT Security Lab divulga videos (http://itsecuritylab.eu/)
– Simons J. Stuart converte Headers em C para Delphi e libera
TKinect v1.00
– 29.12.2010 – Andreano e ActiveDelphi noticiam no Brasil

22. Kinect + Delphi = TKinect
• Download CLNUI
– http://codelaboratories.com/nui/
• Download .NET Redistributable
– http://www.microsoft.com/download/en/details.aspx?id=65
• Download TKinect
– Freeware, Opensource
– www.simonjstuart.com/delphi-stuff/tkinect/

23. CLNUI self-test
+ +

24. TKinect v1

25. TKinect v1

26. TKinect v1

27. TKinect v1

28. 01: Conectando DelphiXE2 e Kinect
• Conexão com múltiplos Kinects
• Controle de LEDs
– MyKinect.Motor.LEDColor
– TKinectLEDColor =
(klcOff, klcGreen, klcRed, klcOrange, klcBlinkGreen, klcBlinkRed
Orange);
• Controle de Motor
– myKinect.Motor.SetPosition()

29. 02: Imagens e acelerômetro
• Imagens
– myKinect.Camera.RGB.Output.Bitmap
– myKinect.Camera.Depth.Output.Bitmap
– myKinect.Camera.Start;
– myKinect.Camera.RGB.GrabFrame;
– myKinect.Camera. Depth.GrabFrame;
• Acelerômetro
– myKinect.Accelerometer.Update
– myKinect.Accelerometer.X;
– myKinect.Accelerometer.Y;
– myKinect.Accelerometer.Z;

30. 03: Processamento das imagens
• Detecção de mãos e dedos
• Movimento do Mouse e Clicks
• Controle de sliding

31. TKinect v2 – Futuro Próximo...
• Integração SDK oficial Microsoft
– http://kinectforwindows.org/
– Atenção: Incompatível com CLNUI; Não executa em VMachines
• Acesso a Stream de dados para RGB, 3D e Audio
• Recursos de Joint e Skeletal Tracking

32. C:UsersPublicDocuments

33. C:Program Files (x86)

35. 06: DelphiXE2 Skeletal Viewer

36. TKinect v2 – Futuro Próximo...
• Joint e Skeletal Tracking funcionais
• Problemas na captura de imagens em formato Stream
• Dificuldades na conversão Headers em C# para Delphi

37. TKinect v2 – Futuro Próximo...
• Disponível na próxima semana para download (AS-IS)
– www.simonjstuart.com
• Componente nativo no Delphi XE3?
– Empowering new hands free UI
• The Kinect Accelerator Project
– Ten Startups. Three Months in Seattle. $20,000
– www.microsoft.com/bizspark/kinectaccelerator/

38. Perguntas?
• Referências
– ActiveDelphi - Edição 88
www.activedelphi.com.br/mostra_edicao.php?ed=88
• Exemplos utilizados na palestra
– www.igara.com.br/delphiconference
• Slides na EDN–Embarcadero Developer Network
– http://edn.embarcadero.com/br
• Favor preencher ficha de avaliação 

39. Obrigado!
Victory Fernandes
victory@igara.com.br
www.igara.com.br/victory
@victoryjorge