1. O documento discute métodos para analisar dados e observações coletadas durante testes de usabilidade, incluindo resumir e categorizar dados, identificar problemas e priorizá-los. 2. São descritos dois tipos de análise - preliminar e compreensiva - e etapas como compilar dados, analisá-los, desenvolver recomendações e produzir relatório final. 3. A análise inclui resumir dados de desempenho por precisão na tarefa, tempo de execução, preferência do usuário, e comparar grupos e vers

1. Capítulo 11:
Analisar os dados
e observações
Diego Brito
Felipe Barreto
Paulo Leonardo

2. Objetivo
Identificar os principais
problemas e melhorias
a serem desenvolvidas.

3. Tipos de Análise
2 tipos de análise.
. Preliminar
Rápida e focada nos piores problemas encontrados.
. Compreensiva
Relatório completo com todos os dados levantados;

4. Etapas
As 4 diretrizes:
1. Compilar e resumir os dados
2. Analisar os dados
3. Desenvolver recomendações
4. Produzir o relatório final

5. Compilação de dados
Realizar compilação
durante os testes.
. Acelera o processo de análise
. Evita que detalhes sejam perdidos
. Fornece ideia geral do que foi descoberto
. Uso de transcrições, tabelas, listas, etc.

6. Resumo de dados de desempenho
Retratar o que ocorreu
nos testes.
. Nessa etapa, o pesquisador começa a obter os dados organizados de forma a auxiliá-lo
na identificação do grau de sucesso do teste (se ele alcançou os objetivos esperados
e se ele respondeu as perguntas do plano de teste).
. Para tal, são utilizadas duas técnica de categorização de dados:
1. Por precisão na tarefa
2. Por tempo de execução

7. Resumo de dados de desempenho
1. Por precisão na tarefa
Contabilizar e categorizar
erros por tipo.
. Erros por tarefa
. Erros por omissão (executar tarefas incompletas)
. Erros por comissão (executar tarefas fazendo coisas desnecessárias)
. Participantes que realizaram tarefas com sucesso (dentro do tempo esperado)
. Participantes que precisaram de auxílio para concluir tarefas

8. Resumo de dados de desempenho
2. Por tempo de execução
Detectar o tempo necessário
por tarefa.
. Média: A soma de todos os tempos dividido pelo número geral de participantes.
. Mediana: O tempo do meio na tabela.
. Faixa: Leva em consideração os valores extremos da tabela.
. Desvio padrão: É a indicação de variação em relação à média - obtida por fórmula matemática.

9. Resumo de dados de preferência
Resumir diferentes tipos
de resposta dos usuários.
Formas de coleta de dados de preferência:
. Questionários fechados: Contabilizar respostas.
. Questionários abertos: Listar e agrupar respostas.:
. Entrevistas e debriefing: Destacar comentários de transcrições.

10. Outras medidas de resumo de dados
Diagnosticar problemas
e direcionar objetivos.
Contabilizar:
. Retorno à navegação principal sem necessidade.
. Quantidade e tipos de dicas e solicitações.
. Acesso ao mapa do site.
. Pontos de hesitação e por quanto tempo.

11. Resumo por grupo e versões de produto
Resumir dados por grupos
e versões específicas.
. Comparar erros e problemas, percebendo as diferenças de desempenho entre diferentes
grupos e versões de um mesmo produto.
. Cuidado com o uso de porcentagem em pequenos grupos (de 8 a 10 pessoas),
pois o resultado se mostrar exagerado.

12. Análise de dados
Entender o todo.
. Calcular a taxa de sucesso (regra dos 70%)
. Identificação de tarefas “difíceis” ou “problemáticas”
. Mapear a causa de todos os problemas encontrados
. Definir o grau de prioridade para resolução de um problema (gravidade + frequência)

13. Análise de dados
Priorizar problemas.
. Níveis de gravidade:
1. Irritante
2. Moderado
3. Severo
4. Inutilizável
. Níveis de frequência:
1. ocorre < 10% das vezes
2. ocorre 11% a 50% das vezes
3. ocorre 51% a 89% das vezes
4. ocorre > 90% das vezes
Dica para ajudar na identificação:
Pode-se utilizar de perguntas para os usuários no intuito
de identificar problemas mais graves - debriefing
Qual foi o problema mais grave que você
encontrou durante o teste?

14. Análise de grupos ou versões de um produto
Comparar por grupos e
por versões de um produto.
. Perceber quais tarefas não foram concluídas com "sucesso", para saber se as causas
dos problemas ainda persistem.
. É importante comparar as "vantagens" e "desvantagens" encontradas em cada versão também.

15. Estatística Inferencial
Ir além da amostra.
. Inferir em uma parcela maior da população (além do grupo testado).
. Os resultados obtidas são estatisticamente relevantes, ou seja, a estatística deve ser gerada
utilizando a técnica mais apropriada e os testes dever ser feitos com um número expressivo de
participantes (no mínimo 10/12).
. As condições de realização dos testes devem ser as mesmas para ambos os testes também,
evitando resultados induzidos/ adulterados.

16. Obrigado :)
Diego Brito
Felipe Barreto
Paulo Leonardo