Publicado no SVR 2012

1. Desenvolvimento de Gestos Personalizados para Criação e Navegação em
Ambientes de Realidade Virtual e Aumentada associada a Dispositivos Móveis
Pedro Henrique Cacique Braga, Alexandre Cardoso, Edgard Afonso Lamounier Jr.
Grupo de Realidade Virtual e Aumentada
Universidade Federal de Uberlândia
Uberlândia – MG - Brasil
cacique@mestrado.ufu.br, {alexandre, lamounier}@ufu.br
Abstract — This article discusses current practices in mobile-
learning and presents a strategy for developing educational
applications associated with Augmented Reality. As concept
proof of the technic discussed an application was created to
teach basic mechanics. We discuss the creation of custom
gestures for interaction between user and application for the
creation of three-dimensional models from scratch in two
dimensions. Concepts are discussed for creating dynamic
interfaces for mobile devices, as well as attributes related to
the usability of systems for m-learning
Keywords: Mobile-Learning, Gesture, Multi-Touch,
Virtual Reality, Augmented Reality, Usability.
I. INTRODUÇÃO
O cenário tecnológico está cada vez mais voltado para
os dispositivos móveis. No final de 2010, o Brasil contava
com 202,9 milhões de acessos do Serviço de Telefonia
Móvel Pessoal, registrando um crescimento de 16,7% em
relação ao ano anterior. Com esse resultado, o país
permaneceu em quinto lugar no ranking mundial de
acessos da telefonia móvel, atrás apenas de China, Índia,
Estados Unidos e Rússia. Em 2010 o Brasil apresentou
uma taxa de 104,7 acessos móveis pessoais a cada 100
habitantes [1].
Juntamente com a tecnologia móvel surgem diferentes
métodos de interação entre o usuário e o dispositivo. A
crescente aplicação dessas tecnologias traz à tona uma
série de questões relativas à sua criação, escolha,
adaptação e consequências de utilização [2]. O
surgimento da tecnologia móvel trouxe consigo a
necessidade da recriação das interfaces homem-máquina.
A fim de aproveitar as funcionalidades dos dispositivos e
adaptar o conteúdo dos aplicativos aos novos tamanhos de
displays, surgem as interfaces naturais, que buscam
readaptar os conceitos de interação a um ambiente cada
vez mais limpo e isento de botões e outros elementos
gráficos, voltando o foco do aplicativo exclusivamente ao
seu conteúdo. As interfaces naturais (NUI) são assim
chamadas por fazerem uso de técnicas baseadas na
natureza humana, como física, gestos, movimentos, voz,
entre outros, o que faz com que menos elementos sejam
apresentados ao usuário, constituindo uma fácil
navegação e um rápido aprendizado do uso do sistema
[3].
Entre as diferentes formas de interação destacam-se os
gestos, bastante comuns aos sistemas operacionais
móveis. Gestos oferecem uma maneira intuitiva de
interação com um dispositivo [4]. Sua utilização não se
limita ao passar de páginas de um livro virtual, ou ao
zoom de uma imagem, por exemplo. A navegação em
ambientes de Realidade Virtual (RV) e Aumentada (RA)
tem se beneficiado bastante da facilidade deste método.
Em sistemas de RV e RA, a navegação no ambiente deve
ser a mais intuitiva possível, para que o usuário assemelhe
este desenvolvimento ao seu processo cognitivo natural.
Muitas pesquisas vêm sendo conduzidas a fim de
desenvolver métodos de interação aos ambientes virtuais
mais próximos do processo de descoberta e aprendizagem
humana.
Neste contexto, a navegação por gestos apresenta
relevante contribuição para tais pesquisas, pois os
movimentos físicos do usuário implicam em atualizações
dos ambientes virtuais e aumentados, que acompanham
tais movimentos, com pouca ou nenhuma abstração. Para
mover um objeto virtual para a direita, por exemplo, usa-
se o gesto de pan, que é o mover do dedo sobre a tela da
esquerda para a direita, como se realmente estivesse
movendo o modelo.
O reconhecimento bem sucedido dos gestos é um dos
principais desafios no desenvolvimento de aplicativos
para dispositivos móveis. Isso se deve ao fato de que as
habilidades naturais dos movimentos usados em interfaces
gestuais ainda são limitadas pela tecnologia atual [5].
Considerando a necessidade de desenvolvimento de
soluções para o ensino e aprendizagem, ressalta-se que
não há mais um “confinamento” em salas de aula. É vasta
a quantidade de aplicativos voltados à aprendizagem com
uso de tecnologia móvel, contextualizando o mobile-
learning [6]. O usuário, no ponto de vista da educação a
partir de dispositivos móveis, torna-se o foco do
desenvolvimento de aplicativos, sendo o principal atributo
de avaliação da usabilidade dos mesmos [7].

2. Este artigo propõe métodos de desenvolvimento de
gestos personalizados, visando expandir o registro de
gestos comuns aos sistemas operacionais móveis. Não
apenas são apresentados seus modos de criação, mas
opções de integração entre os gestos criados e funções de
transformação de desenhos bidimensionais em modelos
em três dimensões. Os gestos personalizados são
utilizados para criação, edição e navegação de ambientes
em realidade virtual e aumentada. Utilizam-se os
conceitos de aplicativos para dispositivos móveis para a
criação de ambientes de RV e RA que utilizem, ao
máximo, as funcionalidades de tais aparelhos.
O uso de tal forma de interação é exemplificado em um
aplicativo para m-learning voltado ao ensino de Física
(mecânica).
II. TRABALHOS CORRELATOS
A. Magic Paper
O trabalho desenvolvido pelo Massachusetts Institute
of Technology em 2006 conhecido como Magic Paper
consiste em um sistema de criação de modelos
bidimensionais com interações físicas [8].
O sistema foi desenvolvido para uso em computadores
pessoais com mouses ou mesas digitalizadoras como
hardware de entrada ou para dispositivos com telas
capazes de reconhecer o toque, como lousas digitais.
O Magic Paper recebe, como dados de entrada,
esboços de objetos em duas dimensões e os transforma
em figuras geométricas com características físicas. Estas
podem ser inseridas desenhando códigos e símbolos que
as representem. Uma seta para baixo, por exemplo,
simboliza a ação da gravidade sobre o ambiente.
A Figura 1 apresenta em (a) a etapa de criação do
ambiente e em (b) a execução das leis físicas sobre os
elementos criados.
São explorados elementos como blocos, molas,
cilindros e bolas (representados por circunferências), que
podem ser conectados ou dispostos isoladamente no
cenário. O controle da animação é feito através de barras
de ferramentas contidas no software e conta com técnicas
que facilitam a compreensão das mesmas, garantindo a
melhor visualização do espaço.
O Magic Paper apresenta algoritmos de correção do
traçado, aproximando o esboço ao elemento geométrico
bidimensional. Apesar da vasta biblioteca de elementos
físicos e de forças de interação, a interação com o usuário
é limitada ao uso do mouse ou do simples toque da caneta,
não apresentando interações gestuais.
Dentre as restrições, destaca-se o fato de o ambiente
criado limitar-se ao tamanho fixo do quadro, não sendo
permitida a expansão do mesmo através de técnicas como
alteração da escala dos elementos.
B. In-Place 3D
O In-Place 3D é um framework para autoria de cenas
tridimensionais para realidade aumentada baseado em
desenhos à mão livre. Com este framework, é possível
transformar esboços em sistemas em três dimensões com
a possibilidade de interação, permitindo ao usuário
controlar as etapas da animação, bem como alterar as
propriedades físicas dos elementos contidos no ambiente
[9].
Desenvolvido pelo Hit Lab New Zealand em 2009, o
In-Place 3D faz uso de técnicas de processamento de
imagens e realidade aumentada, bibliotecas de
desenvolvimento de ambientes e interações físicas.
Os esboços são feitos com base no desenho em
perspectiva ortogonal. São usadas técnicas de
processamento de imagens e reconhecimento de padrões
para reconhecimento dos símbolos desenhados e
capturados por uma câmera comum.
A Figura 2 apresenta em (a) a autoria de um sistema
mecânico, criado sobre um marcador especial que
delimita o espaço da cena. Em (b) tem-se o ambiente
virtual gerado e inserido no ambiente real sobre o
marcador.
O tratamento das imagens permite a criação de
elementos sólidos baseados em triedros e tetraedros e
forças interativas como atrito, gravidade e velocidade. A
criação do modelo é gerada e mostrada no vídeo
sobreposta à imagem da câmera. Os movimentos e
transformações dos objetos são feitos com a adição de
(a) (b)
Figura 1 Magic Paper: (a) Desenho do sistema; (b) Animação do
modelo físico. (a) (b)
Figura 2 InPlace3D: (a) Autoria do sistema mecânico, esboçado no
papel; (b) Ambiente de Realidade Aumentada construído com base no
modelo desenhado.

3. marcadores de controles à cena e com a movimentação da
câmera.
O framework de desenho é genérico e, portanto, pode
ser utilizado para diferentes casos de uso. Sua utilização
gerou diferentes publicações em áreas de ensino e criação
de mundos virtuais.
A cena virtual não se limita ao marcador, apenas o
utiliza como orientador no espaço. Entretanto, assim
como o Magic Paper, o InPlace 3D tem espaço limitado
para criação do modelo mecânico.
A interação com o ambiente, realizada através da
câmera, é mais bem utilizada em um ambiente controlado,
com uma câmera fixa. Para dispositivos móveis, esta
forma de interação deve ser repensada para que aborde os
conceitos de interação gestual, utilizando o toque do
usuário e a orientação do dispositivo.
C. ILoveSketch
Trata-se de um software desenvolvido por Seok-
Hyung bae, Ravin Balakrishnan e Karan Singh, capaz de
criar ambientes tridimensionais baseados em esboços
feitos em dispositivos de captura por toque [10].
Este sistema pode ser usado com navegação 2D ou 3D
e cria curvas NURBS. Foi desenvolvido para profissionais
do design, possibilitando a interação do usuário com seus
modelos 3D com gestos comuns, existentes em uma
biblioteca coesa de gestos.
A aplicação diferenciada do software é a navegação e
criação de elementos usando um ambiente tridimensional.
Desenho e transformações dos mesmos se misturam em
um ambiente sólido e consistente.
São trabalhados gestos como ponto, curva, laço, loop,
entre outros, para desenho, transformação e
movimentação do ambiente.
Todos os traços do usuário são tratados a fim de
melhorar o desenho e torná-lo mais uniforme com os
padrões de projeto. São evitadas as redundâncias de
traços, para que não haja ambiguidade no processamento
dos dados, deixando os contornos definidos.
O ambiente conta com as principais ferramentas de
transformação dos modelos, que alteram suas
propriedades geométricas e estéticas. Assim como os
grandes editores de modelos 3D, o ILoveSketch propõe
diferentes câmeras e perspectivas de vistas.
Apesar das boas ferramentas de desenho, o software
não conta com ferramentas para animação. O espaço de
criação pode ser aumentado, através de gestos, mas não
há interação entre os elementos criados. Estes se
comportam como elementos estáticos.
III. INTERAÇÃO GESTUAL PARA CRIAÇÃO DE
AMBIENTES TRIDIMENSIONAIS
Os smartphones atuais apresentam como forma de
navegação o sistema de toques e gestos. Um gesto pode
ser definido, na abordagem deste trabalho, como um
conjunto de sinais que indicam direções de movimentos.
A Figura 4 apresenta os principais gestos comuns a
todos os sistemas operacionais móveis com sistemas de
interação por gestos.
Este sistema de navegação tem se mostrado bastante
inteligível e de rápido aprendizado. Suas funções básicas
são automaticamente relacionadas aos gestos.
A utilização de gestos tem uma grande aceitação dos
usuários, tendo em vista a similaridade do seu aprendizado
com o processo de desenvolvimento do conhecimento
humano. Os gestos estão presentes em todas as etapas do
crescimento humano e servem para comunicação mesmo
quando não há uma linguagem comum.
Com base nesta facilidade, desenvolve-se um método
de criação de ambientes virtuais mais intuitivo, com uma
rápida curva de aprendizagem.
A. Arquitetura do Sistema
O processo de criação começa a partir de desenhos
bidimensionais feitos na tela de um dispositivo móvel,
Figura 4 Dicionário de Gestos Padrões
(a) (b)
Figura 3 ILoveSketch (a) Criação do esboço; (b) Trabalhos finais
gerados.

4. utilizando o toque e o movimento dos dedos. Este esboço
passa por um processo de reconhecimento de padrões e é
então transformado em formas básicas pré-estabelecidas
em um banco de dados. O processo está representado na
Figura 5.
Observa-se que o usuário é responsável pela criação do
ambiente de duas diferentes formas. A primeira através do
desenho de formas básicas, existentes em um Banco de
Dados relacionado a cada aplicação. A segunda forma de
criação é através do desenho de figuras não pertencentes
ao Banco de Dados, realizando uma extrusão Linear ou
Spin. Ambas contribuem para a criação do ambiente
virtual, que pode ser apresentado em forma de Realidade
Virtual ou Realidade Aumentada.
Através dos gestos, o usuário também pode navegar no
ambiente criado, quando selecionado o modo de
visualização.
B. Desenho Bidimensional
Optou-se por dividir o reconhecimento dos gestos em
dois algoritmos distintos: um para o desenho de formas
básicas e outro para a interpretação dos gestos de
interação.
O aplicativo é capaz de interpretar a forma desenhada e
convertê-la em um desenho existente no banco de dados
do projeto.
O método de desenho consiste em etapas sequenciais
responsáveis pela interpretação dos gestos e criação do
ambiente tridimensional.
1) Entrada de dados por toque
A captura dos dados de entrada para o reconhecimento
de toque é bastante simples, pois faz uso da tecnologia
nativa dos dispositivos móveis. É determinada uma taxa
de atualização da tela, conhecida como framerate, medida
em fps (frames per second). Com base neste parâmetro,
são capturadas, em cada atualização, as posições do dedo
do usuário, guardando uma sequência de pontos que
formam o caminho percorrido. O evento começa ao ser
reconhecido o toque e termina quando o dedo é removido
da tela. Obtém-se, assim, a trajetória do toque.
2) Reconhecimento de padrões
O reconhecimento de caminhos desenhados não é um
trabalho simples e pode ser feito utilizando técnicas de
Inteligência Artificial para reconhecimento de padrões,
como Algoritmos Genéticos e Redes Neurais Artificiais.
Contudo, um método simples e de baixo custo
computacional pode ser recriado para tal finalidade [11].
O algoritmo denominado $1 Dollar Recognizer é baseado
em comparações do padrão de entrada com uma
biblioteca de templates associados a cada gesto desejado.
O Algoritmo se divide em quatro passos principais:
 Simplificação da trajetória do gesto
 Rotação do padrão pelo ângulo indicativo
 Escala e Translação
 Busca pelo ângulo ótimo e melhor pontuação
A Figura 6 apresenta a execução do algoritmo $1
Dollar Recognizer. A primeira imagem apresenta em cinza
a trajetória relativa à letra “a”. Para a realização, foram
gerados 187 pontos durante a interação do usuário, em um
tempo de 1.816s, o que é considerado uma forma de
interação de tempo médio, com base na média de tempo
gasto para realização de gestos simples.
A trajetória foi simplificada em 40 pontos
equidistantes, representados em vermelho. O raio dos
círculos maiores ao redor de cada ponto representa a
distância calculada para a simplificação dos pontos.
O novo caminho gerado é então representado pela
imagem superior direita, que contém apenas os pontos
simplificados interligados.
Figura 6 Execução do Algoritmo $1 Dollar Recognizer
Figura 5 Arquitetura do Sistema

5. 3) Associação do padrão reconhecido à uma forma
preexistente no banco de dados
O algoritmo então realiza suas etapas de escala e
rotação para o melhor ângulo e realiza a comparação com
os templates existentes no banco de dados, atribuindo a
cada operação uma pontuação normalizada. A maior
pontuação atribuída determina qual template deve ser
escolhido.
A imagem inferior direita da Figura 6 apresenta a
sobreposição dos pontos de entrada simplificados com os
pontos registrados no banco de dados da aplicação.
Observa-se a coerência do reconhecimento pela pontuação
atribuída de aproximadamente 0.78 unidades. Deve-se
determinar um limiar para o melhor reconhecimento para
que, na inexistência de um padrão no banco de dados, não
seja atribuída uma forma completamente diferente.
Pode-se deduzir pelos passos do algoritmo que o
mesmo mostra-se eficiente apenas para bancos de dados
pequenos. Para o exemplo em questão, o tempo gasto para
reconhecimento foi em torno de 43% do tempo gasto pelo
usuário para realizar o desenho.
Caso contrário, o tempo gasto com o reconhecimento
pode superar o tempo disponível para a aplicação. Em
casos como este, recomenda-se o uso de redes neurais
artificiais que, apesar de dispenderem um tempo maior na
etapa de treinamento, são bastante rápidas na etapa de
reconhecimento.
4) Simplificação da forma reconhecida
Uma vez reconhecida a forma desenhada, realiza-se
um processo de simplificação da mesma, capturando as
dimensões do esboço e substituindo-o pela forma padrão
correspondente com traços firmes.
A estas formas são adicionados eventos de toque para
edição das mesmas. Com um toque longo é permitida a
edição da forma em suas principais propriedades: escala,
rotação e translação, de modo que o ambiente possa ser
composto da maneira desejada pelo usuário.
C. Criação e Reconhecimento de novos Gestos
O dicionário de gestos apresentado na Figura 6 é
comum aos sistemas operacionais móveis predominantes
e pode ser utilizado para qualquer finalidade programada.
Entretanto é limitado aos movimentos básicos.
A criação de novos gestos é um processo que envolve
a entrada de dados do usuário em tempo real e o
processamento imediato da informação. Para isso, deve-se
criar um algoritmo de retorno rápido e consistente,
garantindo assim a usabilidade do sistema.
O procedimento para elaborar gestos personalizados é
baseado não apenas no caminho percorrido, mas no seu
movimento de execução. Não é analisada apenas a
localização dos pontos percorridos, mas a relação entre
pontos subsequentes.
São realizadas as seguintes etapas no reconhecimento
do gesto:
a) Entrada de dados e formação do vetor de pontos
percorridos.
b) Criação de um vetor de direções. São analisadas
as relações entre os pontos, atribuindo a elas um
valor numérico no intervalo [0,7] que representa a
direção do movimento. O intervalo segue o
sentido horário, começando da direção horizontal
no sentido partindo da esquerda para a direita. Os
demais valores seguem um passo de 45° a partir
deste. A Figura 7 apresenta a relação completa
dos sinais simples e compostos.
c) Eliminam-se os sinais repetidos sequencialmente,
a fim de evitar ambiguidade dos dados.
d) O vetor formado até então é suavizado, de modo
que três valores que indicam um caminho
quebrado possam ser simplificados por um único
valor. A composição [7,6,7], por exemplo, pode
ser substituída por [7].
Observando os passos descritos, um movimento
senoidal poderia ser descrito pela composição [6,7,1,7,6].
Uma vez que os gestos foram reconhecidos e figuras
bidimensionais foram associadas a eles, começa-se então
o processo de criação do ambiente virtual, associando
novos modelos 3D aos esboços 2D reconhecidos.
D. Criação do ambiente virtual
A transformação do desenho bidimensional em um
modelo 3D é feita através dos gestos criados
anteriormente. A associação das formas básicas aos
modelos é efetivada com base em um banco de dados do
aplicativo que contém todas as formas pertinentes ao seu
conteúdo.
Assim, é possível criar um modelo tridimensional a
partir de extrusões lineares e por rotação de um
determinado padrão. Para cada método de extrusão é
adotada uma sequencia de ações gestuais que realizam os
Figura 7 Dicionário de Sinais formadores de Gestos

6. passos do processo, apresentadas nas demais sessões deste
trabalho.
Foram adotados gestos com um dedo para a criação de
esboços 2D. Gestos realizados com dois dedos são
destinados à transformação dos esboços.
1) Extrusão Linear
A Figura 8 apresenta em (a) o processo de extrusão
linear, ilustrando a interação do usuário para a realização
do mesmo. Observa-se a implementação do algoritmo $1
Dollar Recognizer nos passos A e B para o desenho
bidimensional. O primeiro passo após o desenho é a
transformação da perspectiva do desenho. Para isso,
utiliza-se o gesto Pan Down (Vetores [2] e [2]) para
realizar a rotação do desenho no eixo horizontal X. O
processo segue na etapa E com a extrusão da forma
linearmente no eixo vertical Y. O gesto associado a esta
etapa não é nativo dos sistemas operacionais
predominantes, mas foi implementado de forma que
utilize dois toques simulando o crescimento do caminho
de extrusão. Conhecido como Grow Up (vetores [] e [6]),
o gesto é feito mantendo um dos dedos pressionado sobre
a figura de extrusão e o outro se move de baixo para cima
a partir do ponto de toque. O efeito obtido é a criação do
modelo extrudido.
2) Extrusão Spin
O processo de extrusão spin, ou extrusão por rotação é
baseado em um profile, ou uma forma básica, que é
rotacionada em torno de seu eixo, a fim de criar um objeto
simétrico.
O método proposto é visualizado na Figura 8 (b). É
possível perceber a maior flexibilidade do processo,
permitindo ao usuário desenhar um profile personalizado,
não necessariamente sendo uma das formas básicas
presentes no banco de dados.
A rotação em torno do eixo vertical é realizada através
do gesto de meia rotação (vetores [] e [0,1,2,3,4]). Pode-se
adaptar o sistema de modo a aceitar qualquer um dos
gestos de rotação, completa ou parcial.
O modelo criado também aceita as transformações
geométricas básicas de escala, rotação e translação.
IV. ESTUDO DE CASO
Como ferramenta de validação da usabilidade do
sistema proposto, foi criado um aplicativo para mobile-
learning voltado para o ensino de Física (mecânica
simples).
O objetivo principal do sistema é permitir ao aluno a
criação em tempo real de um sistema físico capaz de
refletir seu alvo de estudo. O aluno pode desenhar sistemas
presentes no material didático, estudados em sala de aula,
ou ainda a concepção de uma nova configuração dos
modelos.
O banco de dados do sistema conta com os principais
elementos que podem compor os experimentos virtuais,
tais como bolas, blocos, carros e planos inclinados.
A. Interface
A interface do aplicativo foi criada de acordo com os
padrões de desenvolvimento para dispositivos móveis
estabelecidos pelos principais desenvolvedores atuais, que
podem ser vistos em [12].
Durante o processo de criação da interface do
aplicativo foram observados principalmente os seguintes
aspectos:
 Usabilidade;
 Estética;
 Transições entre páginas;
 Facilidade de aprendizagem;
 Compatibilidade com diferentes dispositivos e
sistemas operacionais.
(a)
(b)
Figura 8 Processos de Extrusão (a) Linear e (b) Spin

7. Com base nos tópicos referenciados, desenvolveu-se a
interface apresentada na Figura 9. Uma das características
centrais de tal interface é sua dinamicidade, uma vez que é
permitido ao usuário alterar a disposição do menu
principal, para ajustá-lo à sua preferência.
Seguindo os princípios de desenvolvimento de
interfaces para dispositivos móveis e os padrões das
interfaces naturais, foram suprimidos os menus estáticos
comuns a muitos softwares e aplicativos, de tal forma que
apenas elementos mais relevantes a cada tela são vistos no
display.
Uma vez que a interface está cada vez mais limpa, as
transições entre as telas e o conteúdo apresentado devem
ser exploradas, contribuindo para um aplicativo mais
atraente ao usuário.
As facilidades da linguagem adotada permitiram a
elaboração de um aplicativo com poucos elementos
gráficos visíveis e bastante elegante em suas transições.
A paleta de cores escolhida é minimalista e segue as
tendências de padrões web e mobile adotados pelos
principais sites e aplicativos atuais.
As páginas foram conectadas seguindo um padrão em
estrela, o que garante uma comunicação entre todas elas de
forma direta, de tal forma que o usuário não precise
retornar ao menu principal para alternar entre as páginas.
B. Funcionalidade
O aplicativo desenvolvido, na forma de prova de
conceito, é baseado em esquemas básicos relacionados ao
tópico em questão, que envolvem o movimento de objetos
sólidos como caixas, carros e bolas sobre uma superfície.
As características de cada elemento móvel e das
superfícies, bem como do ambiente ao redor, influenciam
no comportamento do móvel.
Tais parâmetros nem sempre são de fácil alteração
durante os experimentos reais, como a ação da força
gravitacional, por exemplo. A simulação em ambiente
virtual permite ao estudante perceber o efeito de condições
físicas extremas e/ou irreais, como gravidade negativa ou
com valores extremamente altos. A comparação entre estes
parâmetros e os reais é de grande importância no
aprendizado.
O aplicativo permite ao aluno alterar quaisquer
parâmetros relacionados à geometria dos corpos, assim
como as forças que atuam sobre os corpos e sobre o
ambiente externo.
A criação do ambiente segue as premissas apresentadas
anteriormente. O aluno começa pelo planejamento do
sistema físico, esboçando por gestos os elementos que
constituem o ambiente. Ao pressionar o modelo criado, ele
é apto a alterar suas propriedades físicas, como peso e
atrito, por exemplo.
Através do menu principal do aplicativo, o usuário é
capaz de alterar as propriedades do ambiente, como forças
externas que atuam diretamente sobre cada elemento,
como gravidade e aceleração.
Uma vez criado o esboço, pode-se alternar entre as
páginas de visualização e simular a interação física em
Realidade Virtual ou Realidade Aumentada. Enquanto este
apresenta o sistema sobre um marcador, utilizando a
câmera do dispositivo, aquele tem como alvo da simulação
o display do aparelho móvel.
C. Realidades Virtual e Aumentada
O esboço feito pelo aluno, ou apresentado pelo
professor, pode ser visto através dos métodos de RV e RA
e a interação é feita através da movimentação do
dispositivo e/ou através de gestos de movimentação.
A Realidade Aumentada permite uma interação maior
do usuário na navegação, permitindo a visualização do
sistema sob diferentes ângulos com o simples movimento
do marcador impresso. Este marcador pode ser
incorporado aos materiais didáticos.
A Figura 10 apresenta um ambiente simples criado e
apresentado em RV.
D. Navegação por aceleração
Foi determinado como padrão para o sistema o uso de
gestos para desenho e transformações 3D. Para a
navegação optou-se pelo uso das propriedades de
giroscópio e acelerômetro. Ao girar o dispositivo, é
(a) (b) (c)
Figura 9 Interface do Aplicativo (a) Menu Principal;
(b) Página aberta; (c) Página aberta com menu.
(a) (b)
Figura 10 (a) Esboço feito pelo usuário; (b) Visualização em RV

8. possível selecionar o modo de visualização e o usuário
pode girar o ponto de vista do ambiente 3D utilizando a
alteração da rotação do dispositivo. Assim, uma rotação
em torno do eixo Y pode ser feita girando levemente o
dispositivo em seu eixo vertical.
A opção de usar ou não as propriedades de aceleração
do dispositivo pode ser determinada pelo usuário,
garantindo adequação do sistema a cada tipo de
dispositivo. Caso opte por não utilizar a aceleração do
dispositivo, o usuário poderá usar os gestos padrões do
sistema operacional, como swipe e pan.
E. Comunicação
Uma das opções de utilização, denominada de modo
online, permite aos usuários interagir entre si em um
ambiente de criação colaborativo. O modo de utilização
em rede é composto de um computador servidor,
gerenciado pelo professor, e inúmeros aplicativos clientes,
para cada aluno provido de dispositivo móvel. A conexão
com a internet é opcional e acessa os dados pessoais do
utilizador do sistema.
Ao criar um novo sistema, o usuário pode enviar uma
mensagem ao professor ou ao grupo, propondo o
compartilhamento dos seus dados, para que todos
visualizem a simulação. Também é possível que o
professor solicite a um aluno específico que complete o
sistema apresentado em uma lousa digital, ou em um
projetor.
O modo de conexão local permite a intercomunicação
entre os dispositivos móveis. É importante ressaltar que o
sistema não é limitado a smartphones. Outros dispositivos
móveis, como tablets e notebooks, por exemplo,
compatíveis com o sistema, podem comunicar-se através
da rede local.
A comunicação pode ser limitada de acordo com as
necessidades do ambiente escolar. O professor, atuando
como servidor, possui privilégios de administrador do
sistema, controlando o envio de mensagens e de esboços
entre os alunos.
Um banco de dados está disponível em rede, para
armazenar as configurações dos usuários, como históricos
e sistemas favoritos. Também é retida a disposição do
menu principal. Ao escolher o modo online, o sistema
atualiza os dados do usuário ao entrar e ao sair do sistema.
V. CONCLUSÕES
Os métodos desenvolvidos neste trabalho para criação,
edição e navegação em ambientes de RV e RA
mostraram-se adequados aos sistemas móveis.
O uso de gestos - personificados - tornou o processo de
criação de ambientes 3D mais natural ao usuário,
facilitando a transição da tecnologia de computadores
pessoais para a computação móvel.
Envolvendo um raciocínio simples, o sistema gestual
desenvolvido apresenta uma rápida curva de
aprendizagem, pois sua utilização é feita por associação
dos padrões naturais de movimentos.
Este método não somente facilita a navegação em
ambientes de RV e RA, mas apresenta uma forma de
interação com dispositivos móveis simples e intuitiva.
Desse modo, contribui-se para a expansão da utilização
de dispositivos móveis para ensino, pois o usuário pode
beneficiar-se das facilidades do uso do aplicativo para
alcançar o aproveitamento máximo do conteúdo
apresentado.
O sistema proposto engloba características relevantes
de cada trabalho apresentado como correlato, unificando-
os em um aplicativo compatível com a tecnologia de
dispositivos móveis.
A colaboração entre alunos para a criação de um
sistema estudado no meio acadêmico mostrou-se eficiente
ao ser realizada através de dispositivos móveis conectados
a uma rede local ou global.
VI. TRABALHOS FUTUROS
Como trabalhos futuros, propõe-se o desenvolvimento
de outros métodos de reconhecimento gestual, buscando
aperfeiçoar o processo de identificação de um número
maior de gestos.
Podem ser explorados diferentes métodos de
navegação envolvendo a interação entre dois ou mais
dispositivos. Sugere-se também a geração de um ambiente
de RV e RA com base no sistema físico característico da
posição geográfica do usuário, buscando sua localização e
verificando aspectos de relevo em bancos de dados online,
por exemplo.
São inúmeras as aplicações do sistema para práticas de
mobile-learning, como aplicativos que envolvam a
utilização dos métodos de criação de sistemas para ensino
de outras modalidades da Física ou para ensino de
trigonometria, por exemplo.
Podem ser criados aplicativos para a alfabetização ou
outros métodos de ensino da educação básica. A
transformação de antigos métodos de ensino como o
Tangram ou o Material Dourado de Montessori, por
exemplo, podem ser adaptados para que os alunos
transformem suas figuras e vejam a interação entre elas
como peças de um quebra-cabeças virtual.
Aulas de desenho também podem fazer uso do sistema
para ampliar os conceitos de perspectiva e sobreposição de
imagens.
Outro possível trabalho envolve diferentes métodos de
criação dos esboços 2D, como interpretação de imagens
desenhadas, de forma que o aluno possa fotografar um
esboço de sistema físico e o aplicativo transformá-lo em
um ambiente 3D.

9. VII. REFERÊNCIAS
[1] ANATEL, Agência Nacional de Telecomunicações. “Relatório
Anual 2010”, disponível em <http://www.anatel.gov.br> Acessado
em 16 de agosto de 2011.
[2] A. Z. Saccol, N. Reinhard, “Tecnologias de Informaçăo Móveis,
Sem Fio e Ubíquas: Definições, Estado-da-Arte e Oportunidades
de Pesquisa”, RAC, v.11, n.4, pp175-198, 2007.
[3] D. Wigdor, D. Wixon, “Brave NUI World: Designing Natural User
Interfaces for Touch and Gesture”, Ed. 1, Morgan Kaufmann,
2011.
[4] C. Kray, D. Nesbitt, J.Dawson, M. Rohs, “User-Defined Gestures
for Connecting Mobile Phones, Public Displays, and Tabletops”,
MobileHCI’10, Lisboa, Portugal, September 7-10, 2010.
[5] J. Rico, S. Brewster, “Usable Gestures for Mobile Interfaces:
Evaluating Social Acceptability”, CHI 2010, Atlanta, USA, April
10-15, 2010.
[6] Y. Zhang, S. Zhang, S. Vuong, K. Malik, “Mobile Learning with
bluetooh-based E-learning System”, Mobile Technology,
Applications and Systems, vol. 15, 2005, p. 5.
[7] D. S. K. Seong, “Usability Guidelines for Designing Mobile
Learning Portals”, The 3rd
International Conference on Mobile
Technology, Applications and Systems – Mobility 2006
[8] R. Davis, “Magic Paper:Sketch-Understanding Research”, IEEE
Computer Society, 2007.
[9] O. Bergig, J. Hagbi, J. El-Sana, M. Billinghurst, “In-Place 3D
Sketching for Authoring and Augmenting Mechanical Systems”, 8
th IEEE International Symposium on Mixed and Augmented
Reality (ISMAR 2009), 2009, p.87-94.
[10] S. Bae, R. Balakrishnan, K. Singh, “ILoveSketch: As-natural-as-
possible system for creating 3D curve models”, ACM Symposium
on User Interface Software and Technology, Monterey, CA, USA,
2008.
[11] J. O. Wobbrock, A. D. Wilson, Y. Li, “Gestures without Libraries,
Toolkits or Training: A $1 Recognizer for User Interface
Prototypes”, UIST’07, Newport, USA, October 7-10, 2007.
[12] Android Developers, “Android Design”, disponível em <
http://developer.android.com/design/patterns/navigation.html>
Acessado em 07 de Janeiro de 2012