Este documento descreve a contribuição da história oral e dos testes de campo na pesquisa de arquitetura de informação. A história oral foi utilizada para registrar depoimentos de 16 funcionários do IBGE sobre a evolução do portal. Testes de campo foram realizados com pesquisadores em seus locais de trabalho e universidades para identificar problemas de usabilidade no portal. Os resultados levaram ao estabelecimento de critérios heurísticos para avaliação da interface.

1. A contribuição da
história oral e dos
testes de campo
na pesquisa de arquitetura de informação
Luiz AGNER
Laboratório de Ergonomia e Usabilidade
Pesquisa de doutorado, PUC-Rio

2. Apresentação
Designer e ilustrador
Tecnologista em informações do IBGE
Professor (UniverCidade-Rio)
Doutorando em Design (PUC-Rio)

3. Objeto

4. Introdução
“O IBGE é o órgão oficial
de estatísticas do país, que
transforma dados em
informação e –
principalmente -
informação em
conhecimento.”

5. Introdução

6. Problema

7. Problema
Comunidade do Orkut - “para todos os
pesquisadores, universitários ou não, que:
– sentem calafrios quando precisam procurar algum
dado no site;
– sabem que o lema do site é quot;quem procura NUNCA
acha!quot;;
– sabem que é mais fácil descobrir qualquer
informação lendo borra de café do que acessando o
site;
– na hipótese de encontrar a planilha desejada, ela
provavelmente fará seu computador trancar;
– reconhecem o mérito dos pesquisadores do instituto
mas quase nunca acham os dados pesquisados por
eles.”

8. Pesquisa de AI
(ROSENFELD e
MORVILLE)

9. Pesquisa de AI
(ROSENFELD e
Objetivos da organização,
políticas, cultura,
MORVILLE)
Contexto
tecnologia e recursos
humanos

10. Pesquisa de AI
(ROSENFELD e
Objetivos da organização,
políticas, cultura,
MORVILLE)
Contexto
tecnologia e recursos
humanos
Documentos,
formatos/tipos, objetos,
metadados, estrutura
existente
Conteúdo

11. Pesquisa de AI
(ROSENFELD e
Objetivos da organização,
políticas, cultura,
MORVILLE)
Contexto
tecnologia e recursos
humanos
Perfil dos usuários,
Documentos, identificação das audiências,
formatos/tipos, objetos, tarefas, necessidades,
metadados, estrutura comportamento de busca de
existente informação, experiência,
Conteúdo Usuários
vocabulário

12. Arquitetura de
informação
Definições de AI
– AI é a atividade que combina a aplicação de
esquemas de navegação, de organização e
de rotulagem dentro de um sistema
informacional.
– AI é o Design estrutural de um espaço de
informação com o objetivo de facilitar as
tarefas e o acesso intuitivo aos conteúdos.

13. Arquitetura de
informação
– AI é a arte e a ciência de estruturar e
classificar websites e intranets para auxiliar
as pessoas a encontrar e a gerenciar
informação.
– AI é uma disciplina emergente e uma
comunidade de prática profissional.
(Morville)

14. Arquitetura de
informação
Papéis do arquiteto:
– Clarificar a missão e a visão do site fazendo
o balanceamento entre necessidades da
organização e as necessidades de seus
usuários.
– Determinar qual o conteúdo e a
funcionalidade que o site conterá.
– Especificar como usuários encontrarão
informação no site, por meio da definição da
sua organização, navegação, rotulagem e
sistemas de busca.

15. Arquitetura de
informação
Componentes da AI:
– Sistemas de Organização – como é apresentada a
organização e a categorização do conteúdo.
– Sistemas de Rotulação – signos verbais
(terminologia) e visuais (icônicos).
– Sistemas de Navegação – formas de o usuário se
mover através do espaço.
– Sistemas de Busca – define as perguntas que o
usuário pode fazer e o conjunto de respostas do
banco de dados.

16. Ciência da informação

17. O método
Concepções filosóficas e epistemológicas
diferentes sustentam paradigmas
metodológicos diferentes (GRESLER, 2003).
Existem duas grandes abordagens: a
quantitativa e a qualitativa.

18. O método
Abordagem quantitativa - caracteriza-se pela
formulação de hipóteses, definições operacionais de
variáveis, quantificação na coleta de dados e utilização
de tratamentos estatísticos.
O modelo quantitativo estabelece hipóteses que
exigem uma relação entre causa e efeito e apóia
conclusões em dados estatísticos, comprovações e
testes.
Os critérios são a verificação, a demonstração, os
testes e a lógica matemática.

19. O método
Abordagem qualitativa - não emprega instrumentos
estatísticos como base para a análise.
É utilizada quando se busca descrever a complexidade
de determinado problema - não envolvendo
manipulação de variáveis ou estudos experimentais.
Ela contrapõe-se à abordagem quantitativa, uma vez
que busca levar em consideração todos os
componentes de uma situação e suas interações e
influências recíprocas, numa visão holística.

20. O método
Há domínios quantificáveis e outros qualificáveis.
Segundo RICHARDSON (1999), as investigações que se
voltam para uma análise qualitativa têm como
objeto de estudo situações complexas ou bastante
particulares (como é o caso do objeto de estudo deste
trabalho).
Estudos que empregam a metodologia qualitativa
podem descrever a complexidade dos problemas,
analisar a interação de variáveis, compreender e
classificar processos dinâmicos vividos por grupos
sociais, e contribuir no processo de mudança.

21. O método
História oral
Testes de usabilidade no campo

22. História oral
A história oral - como método de pesquisa - se
revela importante instrumento para
compreensão das construções das estratégias
de ação e das representações, de grupos ou de
indivíduos, em uma dada sociedade.
FERREIRA, Marieta (coord.)
“Entrevistas: abordagens e usos da história oral”.
Ed.FGV, 1994.

23. História oral
É utilizada no registro da história de grandes
empresas e de organizações governamentais.
O registro oral mostra-se a única possibilidade
de recuperar um passado que - apesar de
recente - deixou poucos traços.
DIAS, José L. Mattos.
“Entrevistas: abordagens e usos da história oral”.
Ed.FGV, 1994.

24. História oral
Permite abordar o mundo fechado da
burocracia “de dentro”, rachando a fachada de
neutralidade e de racionalidade, que busca
isolá-lo do público “externo”.
Motta, Marly Silva.
“Entrevistas: abordagens e usos da história oral”.
Ed.FGV, 1994.

25. História oral
Privilegia a recuperação do vivido conforme
concebido por quem o viveu.
É um diálogo entre entrevistado e
entrevistadores, uma construção e uma
interpretação do passado, atualizada através
da linguagem falada.
Não é fator negativo o fato de o depoente
poder “distorcer” a realidade, ter “falhas” de
memória ou “errar” em seu relato.
(ALBERTI).

26. História oral
A escolha de entrevistados não é orientada por
critérios quantitativos (amostragens), mas pela
posição do entrevistado no grupo ou por sua
experiência.
Entrevistados estão entre os que participaram,
viveram, presenciaram ou se inteiraram de
ocorrências e que possam fornecer
depoimentos significativos.
O processo de seleção de entrevistados se
aproxima da antropologia, tomados não como
unidades estatísticas mas como unidades
qualitativas.

27. História oral
16 entrevistas (2004 – 2007).
– Técnicos
– Conteudistas
– Designers
– Gerentes
– Profissionais de atendimento ao usuário

28. História oral
“(...) A busca no portal é [realizada pela]
pessoa que está fazendo uma pesquisa, que
vai ali ter uma resposta no [site] Cidades@.
Ou uma criança que vai lá no site Teen e
consegue fazer o levantamento dele. Agora, na
Loja Virtual, você já tem um perfil de
empresas, de consultorias, de pesquisadores
(...)”
Alcides Braga – Administrador da Loja Virtual

29. História oral
“(...) O que a Internet permitiu (...) é
justamente colocar, democraticamente, este
maior banco de dados sobre o Brasil à
disposição de todo o público. (...) Então, acho,
é mais um papel de cumprimento da missão do
IBGE - em levar a informação à sociedade.”
Francisco Alchorne - Jornalista

30. Conteúdo

31. Conteúdo

32. Conteúdo

33. Conteúdo

34. Conteúdo

35. Conteúdo

36. Conteúdo

37. Conteúdo

38. Conteúdo

39. Conteúdo

40. Conteúdo

41. Conteúdo

42. Conteúdo

43. Testes de usabilidade
O feedback vivo de usuários operando
tarefas reais
Processo empírico de aprender a partir
dos usuários, sobre a usabilidade de
um produto, observando-os durante a
sua utilização.
(RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM,
2002).

44. Testes de usabilidade
Registrados em vídeo
ou em áudio, usuários
interagem com o
sistema, em condições
controladas, para
checar o sucesso das
interfaces, observando
dados
comportamentais.

45. Testes de usabilidade
NIELSEN propôs testes com melhor relação custo-
benefício, utilizando entre quatro e cinco usuários
dispensa das gravações em laboratórios, para se
encaixar dentro dos orçamentos das empresas.

46. Testes de usabilidade
Participantes:
– Os objetivos específicos de cada teste
definem os participantes e as tarefas
executadas.
– Os participantes devem representar
usuários reais: membros do grupo que
utiliza ou que vai utilizar o produto.
– Os participantes devem executar tarefas
reais.

47. Testes de campo
Laboratório portátil:
– Notebook
– Internet Explorer 6.
– Webcam.
– Mouse.
– Headphone com microfone
– Software de captura de telas
– Câmera digital
– Gravador analógico
– Acesso wireless à Internet
– Questionários e documentação

48. Testes de campo
Vantagens:
– ir ao usuário em vez de convidá-lo a vir até
ele;
– observar o ambiente real onde o usuário
trabalha ou vive;
– observar o usuário com todas as
interrupções e distrações do ambiente;
– verificar os artefatos criados pelos usuários
para as tarefas;
– pode acessar documentações específicas.

49. Testes de campo
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.
Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
Locais – Campi universitários do Rio, residências e locais de trabalho
dos pesquisadores.

50. Testes de campo
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.
Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
Locais – Campi universitários do Rio, residências e locais de trabalho
dos pesquisadores.

51. Testes de campo
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.
Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
Locais – Campi universitários do Rio, residências e locais de trabalho
dos pesquisadores.

52. Tarefa 1
“A partir da home page do portal IBGE,
identifique em que estado do Brasil
reside a maior concentração de pessoas
idosas (com mais de 60 anos)”.

53. Tarefa 2
“A partir da home page do portal IBGE,
descubra em que bairro da cidade de
Recife reside a maior concentração de
cidadãos da terceira idade”.

54. Testes de campo
Exemplo de
registro
Protocolos
de verba-
lização
- concorrente
- retrospectivo

55. Análise dos dados
Após o registro e a categorização das
descobertas, procurou-se determinar a
causa dos problemas de usabilidade,
avaliou-se seu impacto individual e
recomendaram-se soluções.
O resultado do processo levou ao
estabelecimento de um conjunto de
critérios heurísticos específicos para a
avaliação do portal IBGE.

56. Análise dos dados
Estes critérios heurísticos foram
consubstanciados em uma lista de
verificação (checklist).
Checklist foi submetida a validação
junto à uma equipe com grande
experiência no desenvolvimento do
portal IBGE.

57. Participantes
Nível de instrução
29%
Mestrado
Doutorado
71%

58. Participantes
Participantes
0
1
2
3
4
5
6
administração
ciência da
informação
ciências
sociais
comunicação
Mestrado
design
economia/
finanças
engenharia
geografia
relações
internacionais

59. Participantes
Doutorado
3
2
1
0
ciência da ciências comunicação design geografia
informação sociais

60. Participantes
Instituição acadêmica
USP
4%
UFRJ
17% PUC-Rio
34%
PUC-SP
4%
UFF/ IBICT
33% UERJ
8%

61. Participantes
Experiência com computadores
12
10
8
6
4
2
0
ta
a
a
a
ta
ad
um
m
al
al
gu
er
te
nh
od
en
al
ne
m
am
ad
er
od
m

62. Participantes
Horas diárias na web
12
10
8
6
4
2
0
1-3h 3-8h mais de 8h

63. Participantes
Conhecimento ou utilização de estatística
sim
não
50%
50%

64. Resultados
Resultados - tarefa 1
sucesso
13%
sucesso
insucesso
insucesso
87%

65. Resultados
Resultados - tarefa 2
sucesso
0%
sucesso
insucesso
insucesso
100%

66. Resultados
Causas de insucesso - tarefa 1
desistência
5%
dado errado
47%
expiração do
tempo
48%

67. Resultados
Causas de insucesso - tarefa 2
desistência
17%
expiração do
tempo
83%

68. Resultados
Encontrar informações estatísticas é
muito difícil 7
difícil 13
nem fácil nem difícil 3
fácil 1
muito fácil 0
0 2 4 6 8 10 12 14

69. Resultados
O que menos gostou
3
descrições dos arquivos
3
excesso de informações/links
3
comunicação visual
4
outros
5
classificação de informações
5
dificuldade
5
falta de clareza
6
busca
0 1 2 3 4 5 6

70. Avaliação da técnica
Participante 10 – Achou “ótimo”. Considerou o procedimento de “pensar
alto” para gravação válido pois às vezes “fazemos coisas sem
perceber”.
Participante 20 – Considerou o método utilizado “perfeitamente válido” e
um “modelo aplicável” em outras pesquisas.
Participante 22 – Avaliou como “bastante completo”. Considera que há
diferenças no ato de navegar, quando as ações estão sendo gravadas
e que, fora do ambiente de teste, sua navegação seria “mais ágil”.
Participante 26 – Relatou inibição pelo fato de ser observada. Sentiu-se
“pressionada” e isto “interferiu de forma negativa na sua
performance”.

71. Conclusões parciais
Os problemas relacionam-se
largamente à ineficiência dos
mecanismos de busca, à taxonomia
aparentemente ilógica ou incompleta, à
falta de clareza dos rótulos e links, e
aos problemas de redação – todos
problemas típicos de arquitetura de
informação.

72. Obrigado.
Luiz Agner
luizagner@gmail.com
www.agner.com.br

73. Divulgação de livro
ERGODESIGN E
ARQUITETURA DE INFORMAÇÃO:
Trabalhando Com o Usuário
Ed. Quartet, 2006
Luiz Agner
Saraiva, Submarino e 2AB