O documento propõe o desenvolvimento de uma biblioteca de gestos para interação com galerias multimédia em interfaces naturais baseadas na tecnologia Kinect. Serão testados gestos com utilizadores para validar a sua eficácia e satisfação, com o objetivo de definir padrões de interação nestas interfaces.

1. A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM
NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
sob orientação: Prof. Doutor Rui Raposo
José Oliveira . 43292 . jmro@ua.pt
Mestrado Comunicação Multimédia – Universidade de Aveiro - 2012

2. • Resumo
• Problemática
• Problema
• Questões de investigação
• Hipóteses
• Enquadramento
• Metodologia
• Participantes
• Instrumentos e recolha de dados
• Cronograma
• Modelo de análise
• Resultados esperados
• Limitações
índice

3. Resumo
• O presente estudo visa perceber o que existe,
neste momento, para manipulação de galerias
multimédia, em interfaces gestuais.
Impulsionando a integração da tecnologia
Kinect.
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20122/18

4. Problemática
• O crescimento da utilização de Natural User
Interfaces
• As marcas que desenvolvem os produtos não
apresentam standards de interação
• “um passo atrás na usabilidade?”
Donald A. Norman e Jakob Nielsen
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20123/18

5. Problemática
Luva – Realidade Virtual
Controlo Remoto - Wii
Move – PS3
Eye – PS3
Kinect – Xbox360
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20124/18

6. Problema
• Não existem bibliotecas de gestos para NUI
• Nas diversas formas de interação com galerias
multimédia, quem define os padrões?
• É possível definir padrões de interação?
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20125/18

7. Questões de investigação
• Será que os gestos, que caracterizam outros
tipos de interação, são aplicados em interação
gestual NUI, utilizando o Kinect?
• Quais os gestos que são identificados como
facilitadores de manipulação de galerias
multimédia em NUI, utilizando o Kinect?
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20126/18

8. Hipóteses
• Os modelos existentes, respondem na perfeição
ao solicitado.
• É necessário implementar uma biblioteca de
gestos que levarão à criação de um padrão.
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20127/18

9. Enquadramento
• Evolução HCI
MCI – Mechanical User Interface
CLI – Command-Line User Interface
GUI – Graphic User Interface
TUI – Tangible User Interface
NUI – Natural User Interface
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20128/18

10. Enquadramento
• Construção de NUI - O processo (Dan Staffer)
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 20129/18

11. Enquadramento
• Touch e Multitouch (linha orientadora para implementação)
Apple – Magic Trackpad
Microsoft – Surface (mesa tátil)
Apple – Iphone
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201210/18

12. Metodologia
Estudo de caso / investigação-ação
• Processo inicial com estudo de caso para
avaliar a aceitação de aplicações existentes
• investigação-ação para implementar novos
gestos em aplicação
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201211/18

13. Participantes
Com ou sem conhecimentos informáticos/NUI
• 1ª fase – CETAC
• 2ª fase – DeCA
• 3ª fase – Outros departamentos
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201212/18

14. Técnicas e instrumentos
• Questionário (dados preliminares)
• Observação e registo (tempo; erros; tentativas;
eficácia)
• Fotos momentâneas (com autorização do
utilizador para registo da experiência)
• Questionário final (recolha das opiniões)
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201213/18

15. Cronograma
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201214/18

16. Modelo de análise
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201215/18

17. Resultados esperados
• Eficácia dos utilizadores na interação
• Satisfação da utilização
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201216/18

18. Limitações
• Tempo dispensado para os testes
• Disponibilidade dos utilizadores
• Possivelmente, tempo útil no desenvolvimento
de uma nova aplicação
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
José Oliveira . 43292 . jmro@ua.pt MCM – UA 201217/18

19. José Oliveira . 43292 . jmro@ua.pt
Mestrado Comunicação Multimédia – Universidade de Aveiro - 2012
obrigado
A INTERAÇÃO COM GALERIAS MULTIMÉDIA EM
NUI, BASEADOS EM TECNOLOGIA KINECT:
PROPOSTA DE UMA BIBLIOTECA DE GESTOS.
sob orientação: Prof. Doutor Rui Raposo