Weitere ähnliche Inhalte Ähnlich wie Rastreamento de Objetos em Realidade Virtual e Realidade Aumentada (20) Rastreamento de Objetos em Realidade Virtual e Realidade Aumentada1. 0© Copyright IBM Corporation 2020.
Dr. Mauro Pichiliani
Pesquisador/cientista
IBM Research Lab
Rastreamento de Objetos em Realidade Virtual e
Realidade Aumentada
2. 1© Copyright IBM Corporation 2020.
• Introdução
• Aplicações de rastreamento em RV, RA, RM
• Rastreamento por visão computacional
• Rastreamento por sensores
• Rastreamento por instrumentação
• Atividade
• Pausa e trabalho em grupo
• Apresentação dos grupos
• Discussão
• Conclusão
Sumário
3. 2© Copyright IBM Corporation 2020.
• Realidade Virtual (RV), Realidade Aumentada (RA)
e Realidade Mista (RM) cada vez mais populares:
• Celulares
• Consoles
• HMDs (Head Mounted Displays)
Introdução
4. 3© Copyright IBM Corporation 2020.
• Projetos posuem vários objetivos, requisitos e aspectos
• Balanceamento constante entre realidade e simulação
• Experiências com RV, RA e RM prezam pela imersão
• Foco do workshop: rastreamento de objetos
• Rastreamento envolve:
• Descobrir posição do objeto no mundo real
• Capturar estado e comportamento
• Representar o objeto no ambiente/mundo virtual
• Permitir interatividade
Introdução
5. 4© Copyright IBM Corporation 2020.
• Muito além de games:
Aplicações RV, RA, RM
6. 5© Copyright IBM Corporation 2020.
• Fornecedores permitindo rastreamento de partes do corpo
• Uso de dispositivos para instrumentar corpo/objetos
Aplicações RV, RA, RM - Fabricantes
7. 6© Copyright IBM Corporation 2020.
• Visão computacional: forma mais popular para posicionamento do objeto
físico dentro de um espaço virtual
• Requer câmera (RGB, RGBD), marcadores, algoritmo e processamento
• Prós:
• Solução simples
• Custo baixo/médio
• Diversos algoritmos (precisão variada)
• Contras:
• Ruido devido à luminosidade do ambiente
• Latência razoável (processamento das imagens)
• Escalabilidade: Room-scale requer diversos dispositivos
• Difícil capturar estado/comportamento (oclusão)
Rastreamento por visão computacional
8. 7© Copyright IBM Corporation 2020.
• Muito usado em aplicacões de realidade aumentada
• Marcadores fiduciais:
• Diversos toolkits, frameworks, plug-ins e pacotes
• Série de filtros e algoritmos:
• Filtro de deteção de borda (filtro de Sobell)
• Detecção de rotação/translação (optical flow)
• Posicionamento para imagem em ambiente 3D (posit co-planar)
• Instrumentação depende do objeto e da camera
• Usuário com HMD não “vê” marcador: possível perda do rastreio
Visão computacional: marcadores fiduciais
9. 8© Copyright IBM Corporation 2020.
• Utilizados em MOCAP (Motion Capture)
• Requer câmera com filtro de luz infra-vermelho (ex: OptiTrack >60 fps)
• Marcadores:
• Ativos (LED IR)
• Passivos (objetos com tinta retro-reflexiva)
• VIVE Tracker, HTC Valve e outros permitem room-scale tracking
• Studio de MOCAP
• Série de filtros e algoritmos:
• Interpolação bilinear (câmera com lente grande angular)
• Threshold de luminosidade
• Limitação de pontos (algoritmo FloodFill)
• Clustering de pontos (DBScan)
Visão computacional: marcadores ativos/passivos
12. 11© Copyright IBM Corporation 2020.
• Sensores e uso de componentes eletrônicos:
• Posicionamento: acelerômetros, magnetômetros, giroscópios, GPS
• Comportamento: push buttons, sliders, sensor de toque, sensor hall
• Atuação: servos, motores, ventiladores
• Prós:
• Alta precisão
• Custo médio
• Integração com objetos existentes
• Simulação de comportamento (velocidade =>vento, tranco => vibração)
• Contras:
• Mapeamento do mundo virtual com o mundo real
• Cuidados especiais com eletrônicos (fios, bateria, calibração, peso)
• Processamento adicional (ex: microcontrolador)
Rastreamento por sensores
13. 12© Copyright IBM Corporation 2020.
• Instrumentação pode alterar características do objeto:
• Peso
• Dimensões
• Ocultar parte do objeto
• Uso por tempo limitado (battery life)
• Comunicação sem fio gera latência
• Algoritmos para tratar sinal podem requerer muito processamento
• Série de filtros e algoritmos:
• Filtro de ruído do sensor (ex: moving average, kalman filter)
• Thresholds de deteção (ex: filtro passa-alta)
• Conversão de métricas (ex: cm para pixels)
Sensores na prática
15. 14© Copyright IBM Corporation 2020.
• TinyDuino: plataforma de módulos acopláveis
• Microcontroladores, sensores, módulos de comunicação
• Módulo para coin cell (bateria de relógio)
• Suporta ecossistema da plataforma arduino
• Usado para projetos vestíveis (wearables)
• Requer processamento externo
Rastreamento por sensores – TinyDuino
16. 15© Copyright IBM Corporation 2020.
• Demo: TinyDuino com módulo de posionamento (acelerômetro)
Rastreamento por sensores - Demo
17. 16© Copyright IBM Corporation 2020.
• Instrumentação do usuário por dispositivos (wearables)
• Feedback sensorial
• Uso de gestos
• Exemplos: luvas, anéis, coletes, sapatos, tatuagens temporárias
• Prós:
• Alta sensibilidade na captação de músculos e partes do corpo
• Deteção de nuances
• Uso de gestos
• Contras:
• Calibração para cada usuário
• Fadiga
• Processamento adicional (ex: microcontrolador)
Rastreamento por instrumentação
18. 17© Copyright IBM Corporation 2020.
Rastreamento por instrumentação - Detalhes
• Instrumentação do usuário levanta outras questões:
• Conforto
• Fadiga
• Acessibilidade
• Uso contínuo
• Produtos wearables do mercado tem aspecto estético
• Precisão é limitada em detrimento do visual
• Wearables de medição biométrica: sem precisão clínica
• Muito cuidado com o usuário: não forçar o uso daquilo que ele não se
sente confortável de usar!
• Diversos requisitos iguais ou mais restritos do que uso de sensores
21. 20© Copyright IBM Corporation 2020.
• Parte prática do workshop: imaginar uso virtual de objetos em cenários
• Atividade em grupo (canal do Discord)
• Entre no canal de acordo com o tema/grupo que você escolher
• Para cada cenário:
• Sugerir contexto de uso (RV, RA, RM)
• Escolher objetos e indicar como eles vão ser usados
• Descrever a técnica de rastreamento para cada objeto
• Cada grupo deve escolher um membro para apresentar
• Sugestão: montar um slide ou imagem para ilustrar as idéias
Atividade em grupo - Ideação
22. 21© Copyright IBM Corporation 2020.
• Cenário 1: Aplicação para treinar novos dentistas
• Sugestão de objetos:
Atividade em grupo – Cenário 1
23. 22© Copyright IBM Corporation 2020.
• Cenário 2: Ensinar a preparar um prato usando objetos da cozinha
• Sugestão de objetos:
Atividade em grupo – Cenário 2
24. 23© Copyright IBM Corporation 2020.
• Cenário 3: Sessão de fisioterapia virtual
• Sugestão de objetos:
Atividade em grupo – Cenário 3
25. 24© Copyright IBM Corporation 2020.
• Cenário 4: Jogo virtual de desatar/atar nós em corda
• Sugestão de objetos:
Atividade em grupo – Cenário 4
26. 25© Copyright IBM Corporation 2020.
• Cenário 5: Simular cuidados com bonsai/jardinagem
• Sugestão de objetos:
Atividade em grupo – Cenário 5
27. 26© Copyright IBM Corporation 2020.
• IMPORTANTE: ~20 minutos para cada grupo trabalhar
• Link do DISCORD: http://bit.ly/discord-eventos-nacionais
• Canal Discord Grupo 1 (Dentista)
• Canal Discord Grupo 2 (Cozinha)
• Canal Discord Grupo 3 (Fisioterapia)
• Canal Discord Grupo 4 (Nós)
• Canal Discord Grupo 5 (Bonsai)
• IMPORTANTE: ~7 minutos para cada grupo apresentar!
• Voltamos às 16:50
Pausa e mão à obra!
28. 27© Copyright IBM Corporation 2020.
• Grupo 1 (Dentista):
• Grupo 2 (Cozinha):
• Grupo 3 (Fisioterapia):
• Grupo 4 (Nós):
• Grupo 5 (Bonsai):
Apresentação dos grupos
29. 28© Copyright IBM Corporation 2020.
• Cenários reais?
• Complexidade?
• Viabilidade?
• Outras ideias?
Discussão
30. 29© Copyright IBM Corporation 2020.
Conclusão
• Rastreamento de objetos em RV, RA e RM contribui para a imersão
• Diversas formas de trazer objetos para o mundo virtual
• Visão Computacional é a mais comum
• Sensores permitem várias possibilidades
• Instrumentação requer atenção especial com o usuário
• Novas experiências vão cada vez mais mesclar o mundo físico com o
mundo/ambiente virtual
Hinweis der Redaktion Figura: https://www.aniwaa.com/blog/mixed-reality-vs-augmented-reality-whats-the-difference/
Adptação do site Hacker Noon https://www.tecnisa.com.br/lp/hololens (Arruda 168)
Leque: Drag:on https://dl.acm.org/doi/abs/10.1145/3334480.3383145
Claw: http://www.hbenko.com/publications/2018/Choi_CLAW_2018.pdf
ElastImpact
Wireality: https://www.youtube.com/watch?v=LzLht9m51XQ
NormalTouch & TextureTouch http://www.hbenko.com/publications/2016/NormalTouch_UIST2016.pdf Citar também usuários animais quando mencionar a questão do conforto! https://hi5vrglove.com/
https://www.bhaptics.com/tactsuit/
https://www.cybershoes.io/ Anel do smart glass da focals
Colar inteligente (smart collar) da Finek
Tatuagem 1: DuoSkin
Tatuagem 2: SkinMarks (citar o efeito que certos objetos possuem na pele e que este efeito pode ser rastreado pela tatuagem)