1. Ambientes Aumentados e
Novas Formas Narrativas
Nuno Correia
DI/FCT/UNL e
CITI (Centro de Informática
e Tecnologias de Informação)
nmc@di.fct.unl.pt
http://img.di.fct.unl.pt
2. Resumo
Introdução e contexto
Convergência dos media, interfaces tangíveis,
wearables, realidade aumentada, realidade
aumentada
Hipermédia no mundo real
Novas formas narrativas
Projecto InStory
Perspectivas
3. CITI (Centro de Informática e
Tecnologias de Informação)
Dep. Informática, FCT-UNL
Investigação fundamental
Investigação aplicada
Pós-graduação (PhD, MSc)
No âmbito do departamentp de Informática:
• Mestrado em Engenharia Informática
Em programas europeus
4. CITI (Centro de Informática e
Tecnologias de Informação)
Cerca de 40 doutorados
Estudantes de doutoramento e mestrado
Financiado pelo Ministério da Ciência e
Ensino Superior:
Cerca de 100K Euro cada ano
Adicionalmente 133K Euro Programático
Avaliação externa: Muito Bom (2004)
Projectos financiados:
Projectos nacionais (FCT)
Projectos internacionais (UE)
5. CITI (Centro de Informática e
Tecnologias de Informação)
Linhas de investigação:
Programming Languages and Models
Software Engineering
Parallel and Distributed Processing
Large-Scale Distributed Computing
Computer Graphics
Interactive Multimedia (IMG)
Geographic Information Systems
Natural Language Processing
6. IMG
Direcções de Investigação
Ambientes aumentados e mistos
Hipermédia
Personalização
Geração semi-automática de informação
Novos modelos narrativos e novos media
Anotação e Metadata (MPEG-7)
Processamento de imagem e vídeo
8. Convergência dos Media
A televisão e o computador vão coexistir
com muitos outros dispositivos
Mil canais?
Mobilidade assume um papel essencial
Múltiplas formas de acesso, múltiplos
estímulos sensoriais
Multimodal -> Intermodal
Desafios tecnológicos e novos modelos
narrativos
9. Telecomunicações
Mudança de paradigma: evolução das
comunicações/evolução do computador pessoal
Flexibilidade na gestão e configuração das redes
(móveis)
Redefinição da função do terminal (Java?)
Redes ad-hoc, estabelecidas de acordo com
necessidades temporárias
Partilha de recursos incluindo processamento e
comunicação
Comunicação viral, peer to peer (modelo Napster)
10. Inteligência nos Objectos
Redes de comunicação e processamento
distribuídas pelos objectos
Rede de sensores (RF tags, IR, ...)
Modelos de computação massivamente
distribuídos
Computadores como tinta
Interfaces tangíveis: o mundo como
interface
13. Wearable Computer
Cada pessoa veste o seu computador (e
comunicador) pessoal
Rede pessoal comunica com sensores,
objectos, computadores (exemplo, Jini)
Realidade aumentada, fornece informação
adicional sobre o mundo que nos rodeia
18. Realidade Aumentada
Composição, em tempo real, de imagens
sintéticas com imagens reais
Acesso a informação adicional
Permite que o utilizador tenha uma melhor
percepção sobre o mundo real
22. Hipermédia e Realidade Mista
Mecanismos hipermédia para realidade
mista
Em desenvolvimento DI/FCT/UNL,
colaboração de FBA/UL
O mundo através do Internet Explorer?
Como se guardam os sítios visitados num
sistema deste tipo?
Como se fazem bookmarks?
...
Protótipo de Museu (Edward Hopper)
23. Cenário
Espaço físico
Utilizador caminha pelo espaço
Vídeo real e detecção de locais/objectos
Informação aumentada sobre vídeo
História da experiência
Narrativas contextuais
24. Aplicações
Assistente de informação num museu/galeria
Jogo (mistério/aventura/exploração)
Objectos físicos são quadros em diferentes
partes de uma sala
Modelos 3D destes quadros permitem a
navegação em busca de novas experiências e
informação
Ambiente de teste: PC Portátil com rede
wireless, câmara, óculos see through, usa AR
Toolkit
25. Cenário
Quadros de Edward Hopper
Nighthawks
Drugstore
Localização do utilizador e dos quadros
História de mistério: quem roubou o
diário?
28. Componentes do Sistema
Sistema Local
Dispositivo portátil
Captura de vídeo
Reconhecimento óptico de marcas (AR Toolkit)
Game engine
Serviços Remotos
Servidor 3D da cena (ANTS)
Grafo Hipermédia
34. Novas Formas Narrativas
Modelo narrativo tradicional é passivo
Televisão interactiva, filmes interactivos,
potenciam novas formas narrativas e de
interacção
Existem limitações tecnológias a ultrapassar
Múltiplas histórias e múltiplos canais de
interacção
O espectador passa também a ser autor
Narrativas no espaço
35. Hipervídeo
Hipermédia em que o tipo de informação
dominante é vídeo
Natureza dinâmica e processo narrativo do
vídeo
Aspectos estéticos e retóricos da integração
com outros media
Modelação do tempo (hiperligações)
Sistemas relevantes:
AHM (Amsterdam Hypermedia Model)
Kontiki Museum
HyperCafe
38. Aspectos estéticos e retóricos
Integração nas dimensões estéticas e
retóricas [Liestøl, ECHT94]
Evitar descontinuidades ao passar de um
meio a outro
Exemplo: Forma passiva/experiencial de ver
vídeo para a leitura activa/reflexiva de um
livro
Resulta num conjunto de regras:
Dimensão topográfica para o vídeo
Atribuição de propriedades temporais ao texto
Narração para efeito de continuidade
39. HyperCafe
Café virtual, que integra um
conjunto de situações/cenas
nas quais é possível navegar
[Sawhney96] ACM Hypertext
40. Conceitos (HyperCafe)
Cena: Menor unidade do hipervídeo,
sequência de imagens.
Sequência narrativa: Um caminho
(path) dinâmico através do conjunto de
cenas.
Ligações
Temporais: Referência baseada no tempo
entre diferentes cenas (um instante na cena
de origem provoca apresentação do destino).
Espacio-temporais: Zona espacial na cena
de origem provoca apresentação de outra
cena, a partir de um determinado instante.
41. Conceitos Cont.(HyperCafe)
Oportunidades de ligação
Temporais: Pequenas sequências de vídeo
referentes a cenas destino, numa cena de
origem, que são apresentadas durante um
determinado período, em pontos específicos
no tempo.
Espaciais: Uma zona espacial dinâmica na
fonte de vídeo que pode provocar a
apresentação de diferentes nós de destino.
49. Metacinema
Narrativas baseadas na localização do
utilizador
Caça ao tesouro
Dispositivos e redes móveis
Participação dos utilizadores
Fotografias, filmes, anotações
Personalização e contextualização
Exemplos: M-Views (MIT Media Lab),
InStory (DI/FCT/UNL e IST/INESC)
53. InStory
Projecto financiado pela FCT/MCES
centrado na Quinta da Regaleira
(DI/FCT/UNL, IST, Univ. de Évora)
Histórias personalizadas
Localização do utilizador
Interesses
Histórias para grupos de utilizadores
Dispositivos móveis para acesso (PDA iPaq)
Arquitectura cliente-servidor, redes ad-hoc
Vários cenários: personagens virtuais,
jogos, caça ao tesouro, percursos
Colaboração MIT Media Lab
57. Arquitectura
Arquitectura cliente-servidor sobre uma
rede wireless 802.11
Sistema de
posicionamento Cliente Servidor
Actualização Actualização da posição
da posição
Tabela de conteúdos
Selecção de
conteúdos
Pedido de documento
Documento
59. Cliente InStory v2.0
Aplicação com características de browser de
documentos hypermedia
Interface definida pelas páginas apresentadas
Capacidade de determinar a sua posição
geográfica recorrendo a dois sistemas distintos
Visualização da posição actual através de uma
interface de mapa
Posicionamento explícito através da interface de
mapa, caso os sistemas automáticos falhem
Upload de imagens anotadas para o servidor
60. Cliente InStory v2.0 -
Arquitectura
User Graphical Audio
Arquitectura de input output output
módulos
Módulo de
posicionamento
Control Presentation
Module Module
utiliza um parser
de frases NMEA
0183 escrito por
Monte Variakojis
Biblioteca de Positioning Upload File XML Content
parsing XML Module Library Module Library
utiliza a biblioteca
TinyXML da
autoria de Lee
TCP/IP HTTP
Thomason
Server Local
Files
61. Projecto InStory - Narrativas
Em desenvolvimento para a Quinta da Regaleira,
Sintra, em parceria com a Fundação
CulturSintra
62. Projecto InStory - Narrativas
Narrativa actual:
Temática alusiva à caça,
utilizando elementos
presentes no espaço da
Quinta
Narrativa gira em torno
de quatro personagens
principais,
representando quatro
pontos de vista sobre o
tema
As personagens propõem
actividades relacionadas
com a narrativa; e
durante as quais o
desempenho do
jogador decide o
desenrolar da história
63. InStory Project - Narrativas
# 0 Reception
# 1 Palace
# 2 Chapel # 3 Garden
(Goes to Garden?) YES (Goes to Chapel?)
YES
NO NO
# 4 Gate
# 5 Banquet
64. Cliente InStory - Interface
Interface definida pelas páginas apresentadas
As páginas são descritas por documentos XML, à
semelhança das páginas web
Elementos possíveis:
Imagens, texto
Áudio (futuramente vídeo e/ou animações)
Links, acções genéricas (adjudicadas pelo cliente)
Balões de ajuda (tooltips)
Barra de ferramentas (retráctil)
Lista de valores (página de upload)
Mapa
65. Cliente InStory – Modos
Divisão das páginas em cinco tipos distintos, consoante o
seu propósito:
Opções da aplicação
Estatísticas do jogador
Desenrolar do jogo/narrativa
Mapa do espaço físico
Informação disponível acerca da área
O modo do cliente ajuda a organizar a informação para o
utilizador, reflecte o tipo de página apresentada e
determina o comportamento do cliente na selecção e
apresentação de novas páginas.
O modos pode ser seleccionado explicitamente por
intermédio de vinhetas presentes na maioria das páginas
66. Cliente – Modos – Opções
O modo de opções
providencia um menu de
opções, comum em
aplicações de diversos
tipos. As páginas são
maioritariamente locais ao
cliente para possibilitar a
sua configuração sem
necessidade de protocolo Página de opções do cliente
com o servidor.
67. Cliente – Modos – Jogador
O modo de jogador
apresenta informação
acerca das estatísticas do
utilizador no sistema tais
como o seu nickname, o
grupo a que pertence, o
tempo decorrido no sistema,
os seus objectivos actuais e
objectos virtuais em sua
posse. Este modo permite
ainda o acesso à interface Página de estatísticas do
de upload de contribuições. jogador
68. Cliente – Modos – Jogo
O modo de jogo destina-se
exclusivamente à
apresentação de conteúdo
relativo à narrativa ou jogo
– que só fará sentido para
uma dada posição
geográfica e um dado
estado do sistema. No geral
pode ser uma interacção
com uma personagem
virtual, um quiz ou até Uma personagem virtual
desafia o jogador com um quiz
informação intimamente
relacionada com a narrativa.
69. Cliente – Modos – Mapa
O modo de mapa
apresenta páginas que
possuem um mapa do
espaço físico. As páginas
deste tipo destinam-se a
auxiliar o utilizador na
compreensão da sua
localização geográfica
Caso o posicionamento
automático não esteja
disponível o utilizador
pode indicar a sua posição Página de mapa, mostrando uma tooltip
no mapa e a posição actual do utilizador
70. Cliente – Informação
O modo de informação
permite o acesso e navegação
em páginas hypermedia
pertencentes a uma colecção
de informação geo-
referenciada, não
necessariamente ligada à
narrativa.
Faceta típica de hypermedia
browser.
Página de informação
acerca de um local
71. Cliente InStory – Contribuição
Captura e upload de imagens
com anotação de voz e
subjacentes a um tema
Os dados são geo-
referenciados e armazenados
no servidor permitindo:
Cumprimento de objectivos
nas actividades propostas
Afixação virtual de
mensagens para utilizadores
ou grupos
Criação de memórias digitais
que podem ser reproduzidas
mais tarde para diversos fins
72. Cliente InStory – Posicionamento
Dois sistemas de posicionamento distintos
Global Positioning System (GPS)
• Baseia-se numa malha formada por 24 satélites à volta
do globo
• Informação da posição geográfica, direcção e velocidade,
relógio global, percurso...
• Comunicação com o dispositivo receptor através do
protocolo NMEA 0183
Ekahau Positioning Engine™
• Triangulação de dispositivos em redes 802.11
• Comunicação com o motor através do protocolo YAX,
baseado em sockets TCP
• Necessita de calibração do motor de posicionamento
Posicionamento explícito por parte do utilizador
