2. Formado em Jogos Digitais
Participação no projeto Aventuras de Bio-Bio
Sócio – Fundador da Startup Rapps Studio ( Incubatep – ITEP )
Criado Por Pedro Queiroz
3. Primeiro Contato Com Realidade Aumentada
Criação do Projeto de Conscientização Ambiental ( MangueTown ) FAIL
Criação do Projeto de Educação com Jogos em RA ( EducAR ) FAIL ?
Criado Por Pedro Queiroz
4. Projeto Pré-Incubado no Incubatep - ITEP
Prototipação do EducAR ( Versão Mobile )
Inscrição do EducAR no Intel Perceptual Challenge
Criado Por Pedro Queiroz
5. Estudo do Perceptual SDK
Adaptação do EducAR Mobile Para Perceptual
Desenvolvimento do EducAR Perceptual
Criado Por Pedro Queiroz
6. Reconhecimento de Gestos
Posicionamento das Mãos ( 2D e 3D )
Posicionamento dos Dedos ( 2D e 3D )
Reconhecimento Facial ( Olhos, boca e Nariz )
Reconhecimento de Voz
Realidade Aumentada
Criado Por Pedro Queiroz
8. PXCUPipelineOT ppot = null;
PXCUPipelineOT.Mode mode = PXCUPipelineOT.Mode.Gesture
Ppot = new PXCUPipelineOT();
If (!ppot.Init(mode)){
Return;
Print(“nao foi possivel iniciar o pipeline”);
}
Ppot.Close();
Ppot = null;
Criado Por Pedro Queiroz
9. Propriedades que podem ser utilizadas para iniciar o Pipeline:
COLOR_VGA
COLOR_WXGA
DEPTH_QVGA
DEPTH_QVGA_60FPS
GESTURE
FACE_LOCATION
FACE_LANDMARK
VOICE_RECOGNITION
COLOR_VGA|DEPTH_QVGA|GESTURE|FACE_LOCATION
Criado Por Pedro Queiroz
10. If (ppot == null) return;
If (!ppot.AcquireFrame(false)) return;
If (!ppot.IsDisconnected()){
UpdateApp();
}
Criado Por Pedro Queiroz
12. Gestos Implementados pelo SDK :
LABEL_NAV_SWIPE_LEFT
LABEL_NAV_SWIPE_RIGHT
LABEL_NAV_SWIPE_UP
LABEL_NAV_SWIPE_DOWN
LABEL_POSE_PEACE
LABEL_POSE_BIG5
LABEL_HAND_WAVE
LABEL_HAND_CIRCLE
LABEL_POSE_THUMB_UP
LABEL_POSE_THUMB_DOWN
Criado Por Pedro Queiroz
13. PXCMGesture.GeoNode[] primeiraMao = new PXCMGesture.GeoNode[1];
If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY,
out primeiraMao)){
Cubo.transform.localPosition = new Vector3(-primeiraMao[0].positionWorld.x,
primeiraMao[0].positionWorld.z, primeiraMao[0].positionWorld.y);
Cubo.transform.rotation = Quaternion.LookRotation(new Vector3(
-primeiraMao[0].normal.x, primeiraMao[0].normal.z,primeiraMao[0].normal.y));
}
Criado Por Pedro Queiroz
14. Algumas Propriedades da Captura da mão :
PositionWorld
PositionImage
Normal
Openness
OpennessState
LABEL_OPEN
LABEL_CLOSE
Criado Por Pedro Queiroz
15. PXCMGesture.GeoNode[] polegar = new PXCMGesture.GeoNode[1];
If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY |
PXCMGesture.GeoNode.Label.LABEL_FINGER_THUMB,out polegar)){
CuboPolegar.transform.localPosition =
new Vector3(-polegar[0].positionWorld.x, polegar[0].positionWorld.z,
polegar[0].positionWorld.y);
}
Criado Por Pedro Queiroz
16. Dedos Implementados pelo SDK :
Outros Implementados pelo SDK :
LABEL_FINGER_THUMB
LABEL_FINGER_INDEX
LABEL_FINGER_MIDDLE
LABEL_FINGER_RING
LABEL_FINGER_PINKY
LABEL_HAND_UPPER
LABEL_HAND_MIDDLE
LABEL_HAND_LOWER
LABEL_BODY_ELBOW_PRIMARY
LABEL_BODY_ELBOW_SECONDARY
Criado Por Pedro Queiroz
17. PXCMFaceAnalysis.Detection.Data rosto;
If (ppot.QueryFaceLocationData(face, out rosto)){
rect = new Rect(rosto.rectangle.x, rosto.rectangle.y, rosto.rectangle.w, rosto.rectangle.h)
}
PXCMFaceAnalysis.Landmark.LandmarkData[] rosto = new PXCMFaceAnalysis.Landmark.
LandmarkData[6];
If (ppot.QueryFaceLandmarkData(face,PXCMFaceAnalysis.Landmark.Label.LABEL_6POINTS,
rosto){
rect = new Rect(rosto[0].position.x, rosto[0].position.y, 5, 5 )
}
Criado Por Pedro Queiroz
18. Pontos de Rosto Identificados pelo SDK :
Rosto[0] = LABEL_LEFT_EYE_OUTER_CORNER
Rosto[1] = LABEL_LEFT_EYE_INNER_CORNER
Rosto[2] = LABEL_RIGHT_EYE_OUTER_CORNER
Rosto[3] = LABEL_RIGHT_EYE_INNER_CORNER
Rosto[4] = LABEL_MOUTH_LEFT_CORNER
Rosto[5] = LABEL_MOUTH_RIGHT_CORNER
Rosto[6] = LABEL_NOSE_TIP
Criado Por Pedro Queiroz
20. Alertas de Captura de Som:
LABEL_VOLUME_HIGH
LABEL_VOLUME_LOW
LABEL_SNR_LOW
LABEL_SPEECH_UNRECOGNIZABLE
Criado Por Pedro Queiroz
21. Todos os códigos são fornecidos pelo Demo no SDK
Imprimir o Marcador
Precisamos Importar os Plugins e os Códigos
Montar a Estrutura no Unity3D
Criado Por Pedro Queiroz
70. Utilizando o Pipeline e Unity3D você não tem todas as funcionalidades da câmera,
Mas dá para fazer muita coisa bacana com tudo isso!
Email: Pedro@Rappstudio.com
/
contato@Rappstudio.com
www.rappstudio.com
Agradecimento:
Anthony Lins, Breno Carvalho, Intel, Renato Oliveira , Eric Pessoa
Minha Mãe , Minha avó e My Xuxuzinha Gabriela
Apoio: Itep – Incubatep
Criado Por Pedro Queiroz