2. Sumário
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Introdução
• Língua Natural Falada e Escrita
• Interfaces Homem–Máquina
• Manipulação Directa de Objectos
• Detecção de Gestos
• Multimodalidade
• A ideia inicial: “Put that there!”
• Estado da Arte (alguns trabalhos)
• Avaliação e o “Place it here!”
29/06/2001 Joana Lúcio Paulo 2
3. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Introdução
Joana Lúcio Paulo
3
4. Introdução
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Quando os humanos conversam uns com
o outros utilizam vários canais de
comunicação:
– Linguagem falada
– Linguagem escrita
– Gestos
– Olhar
– Expressão Facial
– Entoação
• Cada um desses canais fornece diferentes
percepções e a sua combinação não é
igual à sua soma.
29/06/2001 Joana Lúcio Paulo 4
5. Ideia subjacente
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Porque não enriquecer e facilitar a
comunicação entre as pessoas e os
computadores recorrendo a um método
semelhante?
• Isso tornaria o processo de comunicação
mais transparente, flexível, eficiente,
poderoso e expressivo.
• Poderia alargar o espectro dos utilizadores
de sistemas informáticos que,
actualmente, é um pouco limitado,
29/06/2001 Joana Lúcio Paulo 5
6. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
queríamos...
Joana Lúcio Paulo
O Futuro... aquilo que
6
7. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
7
Língua Natural Falada e Escrita
8. Língua Natural Falada
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Reconhecimento:
• Síntese:
29/06/2001 Joana Lúcio Paulo 8
9. Problemas na Modulação
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Homem / Mulher
• Treino
• Adulto / Criança
– Um Utilizador
• Dialéctica
– Vários Utilizadores
• Pronúncia
• Barulho
– Ruído ambiente – Regiões
– Línguas
– Pigarrear
– Suspiros • Velocidade
– Interjeições • Sintaxe
• Entoação • Contexto
29/06/2001 Joana Lúcio Paulo 9
10. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Arquitectura “Típica”
10
11. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Interfaces Homem–Máquina
11
12. Interfaces Homem–Máquina
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Compreender como é que os seres humanos
pensam, aprendem e comunicam
• Modelar os utilizadores à semelhança de um
computador e tirar conclusões a partir daí
• Conceber um ser humano em termos de
estrutura de memória, unidades de entrada e
saída e de processamento
29/06/2001 Joana Lúcio Paulo 12
13. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Objectos
Joana Lúcio Paulo
Manipulação Directa de
13
14. Sistemas de Manipulação
Directa
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Técnica onde os
objectos visíveis no
ecrã são directa-
mente manipulados
com um dispositivo
que permite apontar
• Exemplos:
– Rato
– Caneta de luz
– Sistemas de detecção
de posição da mão
29/06/2001 Joana Lúcio Paulo 14
15. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Detecção de Gestos
15
16. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Detecção de Gestos
16
17. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Multimodalidade
17
18. Multimodalidade
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• “modalidades” utiliza-
das pelas pessoas:
– Visão
– Audição
– Tacto
– Olfacto
– Paladar
• Vários canais de co-
municação (sentidos)
• Liberdade para combi-
nar as modalidades
• Possibilidade de alter-
nar entre as várias
modalidades disponí-
veis
29/06/2001 Joana Lúcio Paulo 18
19. Vantagens
Aplicação de Técnicas de Língua Natural
• Acomodam mais
a Interfaces Multimodais Inteligentes
• Tarefas visuais espa-
facilmente utilizadores ciais que usam multi-
com deficiências, modalidade de caneta
variações de ambiente e voz
e a mobilidade do
– São 10% mais rápidas
utilizador
– Têm menos 36% de
• Previne o uso exces- erros e menos 50% de
sivo de uma deter- enganos de dislexia
minada modalidade – São mais precisas e
minimizando os mais ricas (gestos)
malefícios provocados
– permitem construções
pelo seu uso contínuo linguísticas
e prolongado durante • mais simples e curtas
uma determinada • que exigem menos
tarefa descrições posicionais
29/06/2001 Joana Lúcio Paulo 19
20. Vantagens
Aplicação de Técnicas de Língua Natural
• os utilizadores esco- • os utilizadores tendem
a Interfaces Multimodais Inteligentes
lhem a modalidade a mudar de modali-
que lhes parece dade de cada vez que
cometer menos erros tentam fazer uma
para cada tarefa e tarefa e cometem um
para cada ambiente erro o que facilita a
recuperação de erros
• linguagem de coman-
• a frustração subjectiva
dos é mais simples e
mais expressiva é menor quando há
erros e a interface é
– reduz a complexidade
multimodal
do processamento de
língua natural: maior
• Suporta desambigua-
de eficiência
ção mútua devido à
– reduz os erros feitos no
redundância
reconhecimento de fala
– Robustez e estabilidade
29/06/2001 Joana Lúcio Paulo 20
21. Vantagens
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• 90 a 100% dos utilizadores preferem
este tipo de interface
• Há mais utilizadores a querer e a
poder usá-los em mais situações e
em mais ambientes de formas mais
variadas
29/06/2001 Joana Lúcio Paulo 21
22. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
A Ideia Inicial: “Put that there!”
22
23. O “Put that there!”
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
“faz uma mesa!”
(E aparece uma mesa de
madeira no meio do chão)
“em cima da mesa põe
um vaso!” (e faz um gesto
usando os pulsos para explicar
que quer o vaso em cima da
mesa que acabou de criar - o
vaso aparece no sítio certo)
“perto da mesa põe “vê a cena a partir
uma cadeira!” (e a desta
cadeira aparece ao lado da
direcção” (enquanto que
mesa)
aponta como uma mão
“Roda-a desta
através da outra, a cena
maneira” (enquanto que
roda até acertar com a
com as mãos faz a mesa rodar
direcção das mãos)
à volta da mesa)
29/06/2001 Joana Lúcio Paulo 23
24. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Arquitectura Inicial
24
25. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Facilitator
Joana Lúcio Paulo
25
26. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
(Members-Teams Committee)
Arquitectura MTC
26
27. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
trabalhos)
Joana Lúcio Paulo
Estado da Arte (alguns
27
28. OGI’s QuickSet Multimodal
System
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• baseado em agentes e na
arquitectura MTC
• permite criar entidades de
posição num mapa
recorrendo a comandos de
fala, de gestos e
manipulação directa.
• simulação.
• criar identidades
– dizendo o seu nome
– as suas características
– enquanto indica a sua
localização e forma
– “medical company facing
this way” (seta)
29/06/2001 Joana Lúcio Paulo 28
29. Human-Centric Word Processor
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
Combina o reconhecimento
de fala com a compreensão
de língua natural com um
sistema de reconhecimento
de gestos baseado em cane-
tas que seleccionam e apon-
tam para objectos, criando
um sistema de processa-
mento de texto multimodal.
Foi desenhado para resolver “Apaga esta palavra
um dos maiores problemas aqui!” <apontando para
de usabilidade dos sistemas a palavra>
normais de ditado: a
“Sublinha daqui até
necessidade de corrigir,
aqui!” <apontando para
manipular e formatar o texto
de uma forma simples e fácil o início e o fim do texto a
depois de ter sido ditado. sublinhar>
29/06/2001 Joana Lúcio Paulo 29
30. Boeing’s VR Aircraft Maintenance
Training
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• É usado na manutenção:
– novos modelos de aviões
– treino dos mecânicos
29/06/2001 Joana Lúcio Paulo 30
31. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Training
Joana Lúcio Paulo
Boeing’s VR Aircraft Maintenance
31
32. Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
29/06/2001
Joana Lúcio Paulo
Avaliação e o “Place it here!”
32
33. Avaliação
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Vantagens:
– O reconhecimento de gestos não é tão
eficiente como o reconhecimento de fala
– O vocabulário falado tem mais interpretações
que um gesto
– Gestos e comandos de fala complementam-se
– Os ambientes gráficos de manipulação de
objectos são os que se adequam melhor a este
tipo de interface
29/06/2001 Joana Lúcio Paulo 33
34. Avaliação
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Desvantagens:
– Os gestos têm pouca relação com as
operações
– Os comandos têm que ser introduzidos
sequencialmente
– Operações anteriores não podem ser referidas
– Os utilizadores seguem uma ordem arbitrária
na introdução dos comandos
– Há poucos sistemas “livres” disponíveis para o
público em geral
– Falta explorar melhor outras combinações de
modalidades (não apenas gestos e fala)
29/06/2001 Joana Lúcio Paulo 34
35. “Place it here!”
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Projecto conjunto das cadeiras de Interfaces
Multimodais Inteligentes e de Complementos de
Visualização
• Sistema com multimodalidade
– Reconhece comandos de fala
– Complementados com manipulação directa (através de
rato)
• Sistema de desenho e manipulação de objectos
gráficos
• Enriquecido com um agente de interface que
comunica com o utilizador para lhe pedir
– Dados adicionais
– Confirmação de comandos
– Enriquecimento da descrição dos objectos
29/06/2001 Joana Lúcio Paulo 35
36. Dúvidas?!
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
Perguntas
Objecções
Clarificações
Interrogações
Interpolações
Contra-Propostas
Observações
29/06/2001 Joana Lúcio Paulo 36