Este documento apresenta uma aula sobre métodos e técnicas de avaliação. Ele discute pesquisa e planejamento, incluindo questionários e entrevistas. Também fornece detalhes sobre o plano de curso, com discussões sobre vários métodos como story mapping, card sorting e análise heurística.
1. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
aula 02/10
Pesquisa e planejamento
Questionário e entrevistas
Pós-Graduação em Design de Interação
IEC - INSTITUTO DE
EDUCAÇÃO CONTINUADA Métodos e Técnicas de Avaliação II
Marcello de Campos Cardoso | www.mcardoso.com.br | mcardoso@gmail.com
Tuesday, August 9, 2011
2. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Plano de curso
1ª Apresentação do curso, aquecimento e posicionamento teórico -
2ª Questionários e entrevistas 15pts
3ª Separando releases: User Story Mapping 10pts
4ª Definindo a arquitetura da informação - Card Sorting 10pts
5ª Projetando a interface: Task Flow + Prototipação em papel (workshop) 10pts
6ª Análise Heurística: Perguntando a especialistas -
7ª Análise Heurística: Workshop 15pts
8ª Percurso cognitivo: Avaliando tarefas 10pts
9ª Engenharia semiótica - Método de Inspeção Semiótica 10pts
10ª Apresentação final 20pts
Tuesday, August 9, 2011
3. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
recapitulando..
Tuesday, August 9, 2011
4. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Usabilidade é objetivo
Design de interação é metodologia
Design Centrado no Usuário é abordagem
Tuesday, August 9, 2011
5. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Usabilidade é objetivo
...é atributo que define a facilidade de uso
Design de interação é metodologia
...métodos e técnicas para criar produtos mais usáveis
Design Centrado no Usuário é abordagem
...é aplicar técnicas envolvendo o usuário
Tuesday, August 9, 2011
6. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Ciclo de vida do produto
to
jam isa
to
en
o
ne qu
çã
en
lvim
lida
pla pes
vo
sen
va
de
Tuesday, August 9, 2011
7. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Ciclo de vida do produto
isa nto
qu me
s a
pe nej
pla
Validar e descobrir novas
DEMANDAS
Tuesday, August 9, 2011
8. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Pesquisa é minerar dados
e colher informações.
Tuesday, August 9, 2011
9. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( Dados vs. Informações
)
Tuesday, August 9, 2011
10. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( “Possuímos 6 mil cadastros femininos.”
Isso é um dado. )
Tuesday, August 9, 2011
11. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( 6 mil fem / 3 mil masc = 2/3 fem
Isso é um informação.
)
Tuesday, August 9, 2011
12. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( Informação são
dados tratados. )
Tuesday, August 9, 2011
13. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Informações
Ajudam a evitar problemas
clássicos de escopo de projeto
Tuesday, August 9, 2011
14. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O usuário elástico
“Quem vai usar isso? - Todo Mundo!”
usuário avançado / usuário iniciante ≠ usuário real
Tuesday, August 9, 2011
15. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Design auto-referenciado
FUBU / FYBM
Tuesday, August 9, 2011
16. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( FUBU
=
for us by us )
Tuesday, August 9, 2011
17. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( FUBU
=
for us by us )
Tuesday, August 9, 2011
18. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
( FUBU
=
for us by us )
Tuesday, August 9, 2011
19. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Casos extremos
Feature creep, feature bloat ou featuritis.
É o excesso de ferramenta.
Pajé demais pra pouco índio.
Remédio: Story Mapping!
Tuesday, August 9, 2011
20. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Não há receita de bolo, mas princípios.
1. Desenvolvedor ≠ usuário
2. Dados ≠ informações
3. Mais informação = menor chance de insucesso
4. Arquétipo ≠ clichê
Tuesday, August 9, 2011
21. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Para evitar
dor de cabeça..
Tuesday, August 9, 2011
22. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Para evitar
dor de cabeça..
isa nto
qu me
s a
pe nej
pla
Tuesday, August 9, 2011
23. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Algumas técnicas de pesquisa:
‣ Avaliação do SAC, feedback,
‣ Análise métrica,
‣ Benchmarking,
‣ Etnografia online,
‣ Entrevistas,
‣ Questionários,
‣ etc...
Tuesday, August 9, 2011
24. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Tuesday, August 9, 2011
25. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Tuesday, August 9, 2011
26. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Tuesday, August 9, 2011
27. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Tuesday, August 9, 2011
28. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Etnografia online + personas
Persona: Otávio Luiz
• 23 anos;
• Cursa Engenharia;
• Eco turista;
• Envia vídeos para o YT.
Otávio Luiz, de 23 anos, graduando em Engenharia.
Mora com os pais e possui um computador em seu quarto. Aproveita seus feriados realizando
pequenas viagens ao interior para andar de bicicleta com amigos, quase sempre registrando o
passeio em sua máquina digital.
Gosta de compartilhar seus vídeos em um fórum de interessados em eco-turismo, portanto é
usuário colaborador do YouTube.
Tuesday, August 9, 2011
29. Entrevistas
Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
explorando a campo
Tuesday, August 9, 2011
30. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Podem ser pensadas como
uma conversação com um propósito.
(Kahn e Cannel, “The dynamics of interviewing”, 1957)
Tuesday, August 9, 2011
31. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Dividem em 4 tipos
1. Não estruturadas (open ended. escopo aberto)
2. Estruturadas (escopo fechado)
3. Semi-estruturadas (adaptáveis)
4. Focus group - (Conduzida por tópicos)
quanto
+ exploratórias,
+ aberto o escopo
Tuesday, August 9, 2011
32. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Regrinhas de ouro - antes
1. Elabore um roteiro
2. Prepare um termo de confidencialidade e consentimento
3. Certifique se tudo está impresso antes de começar
4. Verifique e teste equipamento de gravação
(Robson, “Real World Research”, 1993)
Tuesday, August 9, 2011
33. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Teste piloto - antes
Realize a entrevista para validar perguntas, estrutura, tempo.
Adapte e refaça o teste piloto se necessário.
Tuesday, August 9, 2011
34. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Regrinhas de ouro - durante
1. SIGA o roteiro!
2. Vista e comporte +/- como o entrevistado
3. Apresente-se cordialmente
4. Explique o objetivo da pesquisa
5. Peça que assine os termos (confidencialidade e consentimento)
continua... >
Tuesday, August 9, 2011
35. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Regrinhas de ouro - durante
6. Avise então que começará a gravar
7. Informe que o participante pode desistir a qualquer
momento
8. Inicie a gravação.
Tuesday, August 9, 2011
36. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Regrinhas de ouro - depois
Agradeça ao participante e pergunte se há algo que ele
gostaria de acrescentar.
Tuesday, August 9, 2011
37. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Chame o entrevistado pelo nome.
E comece por perguntas fáceis, mesmo que
você saiba a resposta.
#1
Tuesday, August 9, 2011
38. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Vamos começar? Qual o maior
constrangimento profissional que você já
passou na sua vida?
#1
Tuesday, August 9, 2011
39. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Então Camila, você fez
alguma viagem recentemente?
#1
Tuesday, August 9, 2011
40. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Evite perguntas longas!
Treine seu poder de síntese e clareza.
#2
Tuesday, August 9, 2011
41. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Na atual conjuntura sócio-
econômica e política do Brasil
contemporâneo, qual sua perspectiva acerca da
realidade singular musical do proto-gueto
das comunidades cariocas?
#2
Tuesday, August 9, 2011
42. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O que você acha do samba-
de-roda tradicional carioca?
#2
Tuesday, August 9, 2011
43. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Evite sentenças compostas
difíceis de entender e de anotar as respostas
#3
Tuesday, August 9, 2011
44. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O que você acha deste tipo de
portal de notícias, e comparado a outros
tipos de portais?
#3
Tuesday, August 9, 2011
45. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O que você acha deste
portal de notícias?
#3
Tuesday, August 9, 2011
46. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
E comparado a outros
tipos de portais?
#3
Tuesday, August 9, 2011
47. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Evite jargões e termos técnicos
que o entrevistado pode desconhecer e não admitir por
constrangimento
#4
Tuesday, August 9, 2011
48. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O que você pensa sobre uma
StartUp realizar Pivot tecnológico antes
do lançamento de seu MVP?
#4
Tuesday, August 9, 2011
49. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O que você acha sobre uma
empresa mudar o foco do seu produto
antes de lançá-lo?
#4
Tuesday, August 9, 2011
50. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Evite tendenciamento e suposições.
Tenha bom-senso. Busque sempre a neutralidade
em seu tom e suas palavras.
#5
Tuesday, August 9, 2011
51. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Quais as coisas que
você mais gosta nessa área do
portal?
#5
Tuesday, August 9, 2011
52. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
O que você acha desta
área do portal?
#5
Tuesday, August 9, 2011
53. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Busque uma consistência narrativa
A ordem das perguntas influencia as respostas
#6
Tuesday, August 9, 2011
54. #6
Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Qual sua pretenção
salarial para daqui a 2 anos?
8 mil.
Você
fuma!?
Tuesday, August 9, 2011
55. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Entrevistas não ou semi-estruturadas
1. Tenha um objetivo claro, uma agenda
2. Estruture os temas que precisa abordar em tópicos
continua... >
Tuesday, August 9, 2011
56. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Entrevistas não ou semi-estruturadas
vantagens desvantagens
geram dados ricos exigem mais experiência
levam a descobertas disruptivas levam tempo pra serem
analisadas (dados desestruturados)
Tuesday, August 9, 2011
57. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Focus Group (entrevistas em grupo)
1. De 3 a 10 participantes, representativos dos grupos em
estudo
2. Um orientador dirige os tópicos de discussão
Tuesday, August 9, 2011
58. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Entrevistas
explorando a campo
Focus Group (entrevistas em grupo)
vantagens desvantagens
Explora o contexto social e a O Lead user pode ser um
interação entre os envolvidos problema
(ambiente, contexto)
É prático para validar uma ideia O recrutamento é complicado, já
com um grupo de mercado. que a agenda de muitos é
considerada
Tuesday, August 9, 2011
59. Questionários
Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
validando hipóteses
Tuesday, August 9, 2011
60. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
oferecem quase sempre
opções fechadas de respostas
quanto
+ objetivo,
+ fechado o escopo
Tuesday, August 9, 2011
61. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Vantagens
1. São mais fáceis de serem analisados
2. Podem abranger um maior número de questões, por serem
mais objetivos
3. São replicados com maior facilidade
continua... >
Tuesday, August 9, 2011
62. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Vantagens
5. Ajudam a definir subgrupos (Ex: grupo internautas. Qual
subgrupo? Experiente, intermediário ou iniciante?)
6. Podem ser projetados com variações para cada grupo
específico
7. Questionários longos podem ser subdivididos em partes para
facilitar preenchimento
Tuesday, August 9, 2011
63. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Cuidado com as faixas de respostas!
Podem se sobrepor Podem faltar
a) 10-20 a) 500 e 1 mil
b) 20-30 b) 2 e 3 mil
c) 30-40 c) 4 e 5 mil
d) 40-50 d) Acima de 6 mil
Tuesday, August 9, 2011
64. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Cuidado com as faixas de respostas!
Tuesday, August 9, 2011
65. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Respostas também podem ser binárias...
1. sim/não
2.curti/não curti
continua... >
Tuesday, August 9, 2011
66. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
...ou analógicas.
continua... >
Tuesday, August 9, 2011
67. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Cuidados com questionários
Evite respostas com escalas negativas
Qual sua nota para o sorvete de Pistache?
a) -2
b) -1
c) 0
d) 1
e) 2
Tuesday, August 9, 2011
68. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Escala Likert
Afirmativas curtas seguidas de uma escala bipolar de
respostas graduais.
1. Gosto do meu cereal ao leite bem crocante pela manhã.
a) Concordo plenamente
b) Concordo
c) Não concordo nem discordo
d) Discordo
e) Discordo plenamente
Tuesday, August 9, 2011
69. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Escala Likert
Use número par se quiser forçar um posicionamento
1. Gosto do meu cereal ao leite bem crocante pela manhã.
a) Concordo plenamente
b) Concordo
c) Discordo
d) Discordo plenamente
Tuesday, August 9, 2011
70. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Escala Likert
Use o mesmo número de afirmações positivas e negativas. Se
vai misturá-las ou agrupá-las, é seu critério, e as opiniões
são divididas entre os autores sobre isto.
Tuesday, August 9, 2011
71. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Questionários
Validando hipóteses
Escala de diferencial semântico
Menos utilizada que as escalas likert, utilizam adjetivos
opostos, normalmente em uma grade. O usuário deve marcar
a posição que melhor representa sua opinião para cada item.
Tuesday, August 9, 2011
72. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
Interpretando dados
1. Procure padrões e tendências
2. Para menos de 60 participantes, respostas com número
reais. Para mais, porcentagens.
3. Para interpretar entrevistas, é ideal manter alguma
métrica ou código
Tuesday, August 9, 2011
73. Métodos e Técnicas de Avaliação 2 / Marcello Cardoso
igad o!
o br
Este arquivo contém a apresentação realizada por Marcello de
Campos Cardoso, em Agosto de 2011, para a disciplina Métodos e
Técnicas de Avaliação 2, ministrada no curso de especialização em
Design de Interação, no Iinstituto de Educação Continuada (IEC)
na Pontifícia Universidade Católica de Minas Gerais (PUC-MG).
Tuesday, August 9, 2011