Apresentação do Intel Perceptual Computing SDK, que permite que os desenvolvedores criar aplicações que percebam as ações do usuário e proporcionem interfaces naturais, intuitivas e imersivas

1. Intel Perceptual Computing
SDK
Felipe Pedroso

2. ‹#›‹#›
Software and Services Group
Felipe Pedroso
•Gerente da Comunidade de
Ultrabooks/Windows no grupo de
Software da Intel
•Nascido em Sorocaba/SP
•Formado em Engenharia da
Computação na FACENS
•Desenvolvedor nas horas vagas (se é
que elas existem...)
•Gosta de C, C++, C#, Java, Python,
HTML5, Férias ou qualquer coisa que
seja programavel.

3. ‹#›‹#›
Software and Services Group
O que é Perceptual Computing?

4. ‹#›‹#›
Software and Services Group
•Forma de interação homem-máquina
−Ações do usuário são sentidas/percebidas
−Proporciona uma interface natural, imersiva e intuitiva
•Como prover essa interface?
−Gestos com as mãos/dedos
−Rastreamento/Análise da face
−Reconhecimento de voz
−Realidade aumentada
O que é Perceptual Computing?

5. ‹#›‹#›
Software and Services Group

6. ‹#›‹#›
Software and Services Group
•Biblioteca de detecção de padrões e implementações de
algoritmos de reconhecimento (áudio e imagem)
•Muda o foco do desenvolvedor na implementação dos
algoritmos para inovações no desenvolvimento das aplicações
•Flexibilidade: Permite trabalhar em alto e baixo nível
•Extensível: permite a adição de novos modos de utilização
•Aceleração de Hardware em plataformas da Intel®
Intel Perceptual Computing SDK

7. ‹#›‹#›
Software and Services Group
Casos de uso
•Interface de Usuário Interativa
•Jogos
•Segurança
•Realidade Aumentada
•Auxílio a portadores de
deficiência

8. ‹#›‹#›
Software and Services Group
O que usar para desenvolver?
•Linguagens
−C++
−C#
−Java
•Frameworks
−Unity3D
−Processing
−openFrameworks

9. ‹#›‹#›
Software and Services Group
Creative* Camera
•Captura de imagem HD
(720p)
•Sensor de profundidade
•Array de dois microfones
•Alimentação USB (<2.5W)
•Drivers para Windows 7 e
Windows 8 (Desktop)

10. ‹#›‹#›
Software and Services Group
Câmeras Integradas aos Ultrabooks!

11. ‹#›‹#›
Software and Services Group
•8-bit RGB in RGBA/RGB24/NV12/YUY2
−Creative* camera supports up to 1280x720
•16-bit depthmap, confidence map and vertices.
−Creative camera supports up to QVGA (320x240)
−Depthmap smoothing by default
Captura de Imagem

12. ‹#›‹#›
Software and Services Group
•Rastreamento dos “nós”
−7 pontos: pontas dos dedos, centro da palma e
punho
•Gestos e poses padronizadas
−Poses: positivo/negativo, paz
−Gestos: swype, círculo, aceno e High-5
Rastreamento de dedos

13. ‹#›‹#›
Software and Services Group
•Detecção/rastreamento de
múltiplas faces
•Detecção de 7 pontos de
referência: olhos, nariz e boca
•Reconhecimento: semelhanças
entre um conjunto de faces
•Detecção de atributos: faixa
etária, sexo, sorriso e abertura dos
olhos (em desenvolvimento)
Rastreamento e Análise de Faces

14. ‹#›‹#›
Software and Services Group
•Desenvolvido pela empresa Nuance
•Reconhecimento de comandos pré-definidos
•Ditado
•Sintetização de frases curtas
Reconhecimento e Síntese de Voz

15. ‹#›‹#›
Software and Services Group
•Rastreamento de superfícies planas 2D
−Posição e orientação
•Rastreamento de objetos 3D
−Baseado em modelos 3D
•Orientação de faces
Rastreamento de objetos 2D/3D

16. ‹#›‹#›
Software and Services Group
•Informa ao usuário final toda vez que alguma aplicação ativa
a câmera
Notificação de privacidade

17. ‹#›‹#›
Software and Services Group
Arquitetura

18. ‹#›‹#›
Software and Services Group
Hello World 
C++
class MyPipeline: public UtilPipeline {
public:
MyPipeline(void):UtilPipeline() {
EnableGesture();
}
virtual void PXCAPI OnGesture
(PXCGesture::Gesture *data) {
printf_s(“%dn”,data->label);
}
};
int wmain(int argc, WCHAR* argv[]) {
MyPipeline pipeline;
pipeline.LoopFrames();
return 0;
}
C#
class MyPipeline: UtilMPipeline {
public MyPipeline():base() {
EnableGesture();
}
public override void OnGesture
(ref PXCMGesture.Gesture data) {
Console.WriteLn(data.label);
}
};
class Program {
static void Main(string[] args) {
MyPipeline pipeline=new MyPipeline();
pipeline.LoopFrames();
pipeline.Dispose();
}
}

19. ‹#›‹#›
Software and Services Group
Demos

20. Mas como conseguir uma
câmera?

21. ‹#›‹#›
Software and Services Group
Programa de Parcerias: Intel + Smyowl
Mais informações sobre parcerias: http://software.intel.com/pt-br/partner-home

22. ‹#›‹#›
Software and Services Group
Para desenvolvedores
•Participar ativamente do IDZ :
−Apresentar uma proposta de um bom projeto
−Se comprometer a escrever artigos técnicos com a câmera em
mãos
−Depende da disponibilidade e do comprometimento do
desenvolvedor
•Comprar a câmera: www.intel.com/software/perceptual
−149 dólares (+ impostos)
−Entrega no Brasil
•Ou…

23. ‹#›‹#›
Software and Services Group
… Perceptual Challenge Brasil!!!
Saiba mais em: http://software.intel.com/perceptualchallengebrasil

24. Hands-on: Perceptual Tetris!

25. Dúvidas?

26. ‹#›‹#›
Software and Services Group
http://software.intel.com/pt-br/
Quer saber mais?

27. ‹#›‹#›
Software and Services Group
Comunidade Ultrabooks/Windows

28. ‹#›‹#›
Software and Services Group
http://software.intel.com/pt-br/
https://www.facebook.com/intelswbrasil
Contatos
Felipe Pedroso
felipe.pedroso@intel.com
@felipeapedroso
Muito Obrigado!

29. ‹#›‹#›
Software and Services Group
•Intel Perceptual Computing SDK
−http://intel.com/software/perceptual
•Documentação
−http://software.intel.com/sites/landingpage/perceptual_computing
/documentation/html/
•Guia sobre a interface
−http://download-
software.intel.com/sites/default/files/article/325946/perc-
humaninterfaceguidelines.pdf
Referências