O relatório analisa testes de usabilidade realizados no Facebook, identificando problemas de usabilidade com base nos erros cometidos por usuários iniciantes e avançados ao executarem tarefas. Os testes também identificaram rupturas na comunicação entre usuários e a interface do Facebook.

1. Relatório de análise dos testes de usabilidade
Por Geovane Rodrigues e Waghner Dieguez
Especialização em Design de Interação IEC/PUC-MG
Trabalho realizado para a disciplina de Métodos e Técnicas de Avaliação III
Professores Karine Drumond & Leandro Alves

2. Produto testado
A maior rede social da
atualidade.
Mais de 500 milhões de
usuários.
Uma rede social com
forte apelo emocional,
“compartilhe”.
Muitos problemas de
usabilidade.
2

3. Perfil de usuário avaliado
Novato Avançado
Este usuário não poderia possuir uma conta no Facebook, porém Este usuário deveria acessar a rede social com frequência, pelo
era preciso que ele já possuíse uma conta em outra rede social como menos 1 vez por dia e deveria realizar tarefas como enviar
o Orkut. O objetivo de testar este usuário era saber se ele, como mensagens, postar fotos e jogar pelo Facebook.
iniciante, saberia fazer as mesmas tarefas que poderiam ser feitas na
rede social que ele já utiliza.
Foram selecionados 8 usuários para o teste, 2 testes foram invalidados restando somente 6. A seleção/recrutamento foi feita atravéz do Facebook e Twitter. Recebemos
apenas 11 contatos de usuários interessados, porém como os horários que os usuários estavam disponíveis para o teste não foi compatível com nosso horário, optamos por
fazer os testes com pessoas mais próximas (amigos, familiares e namoradas).
3

4. Teste de usabilidade
O que foi medido nos testes 5 tarefas de acordo com cada perfil
1. Quais erros são cometidos ao executar as tarefas solicitadas;
Novato
2. Qual o procedimento/percurso adotado pelo usuário para fazer as
1. O que o usuário imagina que seja o Facebook?
tarefas solicitadas;
2. Adicionar um amigo;
3. Qual o entendimento do usuário em relação ao que ocorre na
interface; 3. Enviar uma mensagem privada para um amigo;
4. Principais problemas e dificuldades encontradas pelos usuários 4. Adicionar as fotos em seu perfil;
iniciantes em sua primeira experiência com Facebook.
5. Remover um amigo;
Expert
1. Marcar em uma foto a presença de um amigo;
2. Criar um evento;
3. Adicionar um jogo ao perfil;
4. Associar-se a um grupo de discussão;
5. Permitir que somente seus amigos vejam seu conteúdo;
4

5. Teste de usabilidade - Metodologia
1. Aplicação de teste em sala de aula e teste piloto;
2. Selecionamos usuários através de redes sociais e contatos pessoais;
3. Preparamos o ambiente e criamos um usuário para cada perfil no Facebook para que o
usuário pudesse realizar as tarefas no mesmo ambiente;
4. Criamos cartas com as tarefas para orientar os usuários durante cada tarefa;
5. Explicamos para o usuário como era o teste;
6. Solicitamos os usuários que executassem as tarefas;
7. Ao final de cada tarefa conversavamos informalmente com o usuário sobre a tarefa que ele
havia executado;
8. Fizemos anotações durante cada tarefa e também durante a conversa pós tarefa;
9. Após o teste assistíamos cada vídeo e tabulamos os dados de acordo com os erros que eram
encontrados;
5

9. Teste de usabilidade - Resultados
Todas as tarefas foram executadas com sucesso com a excessão de uma única que foi feita por
um usuário avançado. A maior parte dos erros encontrados foram recorrentes nos testes dos
usuários de cada perfil. Abaixo exibimos um resumo geral com os problemas encontrados.
Novato Expert
O que o usuário imagina que seja o Facebook? Marcar em uma foto a presença de um amigo
Pela relação feita com o Orkut todos imaginavam como funcionava. Arrastar o mouse sobre a foto foi comum em quase todos os usuários
e também a exibição das fotos do seu amigo antes das suas fotos em
Adicionar um amigo seu perfil.
Foi comum acessar a página de amigos e todos estranharam não
encontrar nenhum amigo e sim opção de buscar em outros serviços. Criar evento
Após a adição o feedbak não era claro o suficiente. Nenhum usuário percebeu a obrigatóriedade de informar um
horário de término. E achavam estranho o erro exibido na tela.
Enviar uma mensagem privada para um amigo
Foi feita uma confusão com o postar no mural. Adicionar um jogo ao perfil
Confusão entre termos “Aplicativos” e “Jogos”.
Adicionar as fotos em seu perfil
Acessar a página de fotos e ver as fotos dos amigos criava uma Associar-se a um grupo de discussão
grande confusão para o usuário. Associação de grupos com a opção “Curtir” foi comum, sendo que
a dificuldade em encontrar um grupo pela pesquisa também foi
Remover um amigo comum.
Onde estão meus amigos? Todos se confundiram.
Permitir que somente seus amigos vejam seu conteúdo
Feedback ruim tanto para saber o que está ativo quanto ao que
foi alterado, foi cumum ouvir, “será que salvou, salvou?” ou mesmo
“onde eu salvo agora?”
9

10. Teste de comunicabilidade - Metodologia
O teste de comunicabilidade basea-se na engenharia semiótica no qual se associa um conjunto
de etiquetas, com expressões potencialmente usadas pelos usuários ao se depararem com
falhas na comunicação com o sistema, a trechos de um vídeo da interação do usuário com o
sistema.
Especificamente, este teste de comunicabilidade foi feito a partir da observação de um dos
vídeos dos testes feitos com usuários no site da rede social Facebook. Este vídeo analisado, faz
parte de uma série de vídeos que foram feitos com o intuito de avaliar a interação dos usuários
ao executarem determinadas tarefas do site.
10

11. Teste de comunicabilidade - Resultados
Rupturas de comunicação identificadas 1ª Tarefa: Marcar em uma foto a presença de um amigo.
• 02:46 Epa
Na análise do site do Facebook, foram criadas cinco tarefas para os usuários 2ª Tarefa: Criar um evento.
executarem. As rupturas de comunicação estão descritas de acordo com as • 04:20 E agora?
tarefas realizadas, que foram: • 06:08 O que é isso?
• 06:36 Uê, o que é isso?
3ª Tarefa: Adicionar um jogo ao perfil.
• 07:49 E agora?
4ª Tarefa: Associar-se a um grupo de discução.
• 09:27 Epa!
• 09:48 Onde estou?
• 10:00 E agora?
• 10:18 Pra mim está bom
• 11:13 E agora?
• 12:02 Assim não dá
• 14:56 Desisto
5ª Tarefa: Permitir que somente seus amigos vejam seu conteúdo.
• 16:21 Cadê?
• 16:49 E agora?
11

12. Teste de comunicabilidade - Resultados - Interpretação
Problemas
de
interação
vídeo
Facebook
Expressão
de
Comunicabilidad Atribuição
Incompreens
Recusa
de
Execução
Navegação
de
Percepção
são
de
e
Affordance
Significado
affordance
Cadê
1
E
agora?
4
1
O
que
é
isso?
1
Epa!
1
1
Onde
estou?
1
Assim
não
dá
1
Por
que
não
funciona?
Ué,
o
que
1
houve?
Para
mim
esta
1
bom
Não
dá
1
Vai
de
outro
jeito
Não,
obrigado
Socorro!
Total
1
8
1
4
0
0
12

13. O que aprendemos? Erros e acertos durante o teste
As duas técnicas foram essenciais para comprovar os problemas existentes na interface,
alguns já esperados, e ajudou a descobrir outros problemas que não foram pensados a partir
da utilização de cada usuário. Por fim o maior ensinamento foi em relação a observação que
permitiu a nós designers uma vasta fonte de referência comprovada dos itens (muitos) que
precisam ser melhorados.
Erros Acertos
Não utilizar um check-list para introdução de conteúdo e elucidação A conversa após a finalização de cada tarefa foi essencial para ouvir
das questões para cada usuário e também para verificar o material o que o usuário estava pensando, como havia sido a sua experiência
utilizado após cada teste; durante a realização da tarefa.
A aplicação dos testes por apenas um avaliador devido a localização A avaliação do vídeo após o teste tornou a busca por erros
e disponibilidade de horários; ainda mais confiável evitando que alguns detalhes passasem
desapercebidos.
Intervir no teste do usuário, ex: Usuário acha que terminou a tarefa
fazendo-a de forma errada, avaliador avisa “a tarefa ainda não foi
concluída”;
Forma de recrutamento de usuários.
13

14. Visão crítica sobre as técnicas utilizadas
Teste com usuário Comunicabilidade
Foi muito produtiva em relação a procura de erros cometidos A técnica de comunicabilidade possibilitou encontrar um resultado
durante o uso da interface do Facebook. O custo de aplicação do final muito semelhante (em nossa visão) ao teste com o usuário,
teste de usabilidade pode ser baixo e relativamente rápido em pois permite uma visão ampla do entendimento da interface
alguns casos e os benefícios de ter o feedback do usuário real pelo usuário. O grande diferencial é que o o teste com usuários
podem ser enormes. encontramos erros de uso enquanto o teste de comunicabilidade
identificou rupturas de comunicação, mas que no geral foram
Percebemos que é necessário a atenção a detalhes mínimos e que baseados nos erros encontrados no teste do usuário e classificados
testes experimentais são importantes para explorar a maturidade de de acordo com as expressões de comuncabilidade.
aplicação.
Desta maneira ficamos em dúvida se a utilização das duas técnicas
A partir da observação dos testes em nosso projeto levantamos duas em conjunto trará um valor significativo para a avaliação dos
questões que geraram dúvidas após a aplicação dos testes: resultados.
1. Até que momento é ideal utilizar o perfil do usuário ou um perfil
ilustrativo para realização das tarefas;
2. Tarefas sendo entregues passadas lado-a-lado com o usuário ou
tarefas entregues em um folha? Qual se torna mais confiável para
que o enunciado seja idêntico e com menor possibilidade de erro
para todos os participantes.
14