1) Dois policiais participaram de um programa de treinamento para reduzir preconceito por 3 meses; 2) Eles responderam questionários antes e depois do programa; 3) O escore médio de preconceito diminuiu após o programa, indicando sua possível eficácia.

1. Ψ
Psicologia Experimental
Aula 4
Delineamento experimental básico
Prof. Dr. Caio Maximino

2. Ψ
Objetivos da aula
● Conceituar delineamento experimental
● Analisar criticamente a relação entre as variáveis confundidas e
a validade interna, e enumerar as “ameaças” à validade interna
● Descrever algumas características do delineamento
experimental adequado e inadequado
● Analisar as vantagens e desvantagens dos métodos de
alocação de sujeitos/participantes
● Analisar as vantagens e desvantagens da utilização de
medidas repetidas

3. Ψ
Conceitos importantes
● Tratamento é uma denominação genérica para designar qualquer
método, elemento, ou material cujo efeito desejamos medir e
comparar – Equivale à variável independente
● Experimento ou ensaio é um trabalho previamente planejado, que
segue determinados princípios básicos (controle, randomização, &c),
no qual se faz a comparação dos efeitos dos tratamentos
● Unidade experimental é a unidade na qual o tratamento é aplicado
(um indivíduo, um grupo, &c)
● Delineamento experimental é o plano utilizado para realizar o
experimento; implica na maneira como os diferentes tratamentos
deverão ser distribuídos nas unidades experimentais e como serão
analisados os dados a serem obtidos
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

4. Ψ
Breve história dos delineamentos
experimentais
● O primeiro “ensaio clínico sistematizado” foi feito em 1747,
quando James Lind, trabalhando como médico no barco
HMS Salisbury, comparou diferentes remédios para
escorbuto
● Charles Sanders Peirce, em Illustrations of the Logic of
Science (1877-1878) e A Theory of Probable Inference
(1883), delineou uma teoria sobre a inferência estatística
que introduziu o conceito de alocação aleatória
– Forte impacto na Psicologia e na Educação
●
Wald, Chernoff, Zacks – uso de sequências de experimentos
cujo delineamento depende do resultado do experimento
prévio
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

5. Ψ
Princípios do delineamento
definidos por Ronald Fisher
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● The Arrangement of Field Experiments (1926) e The
Design of Experiments (1935) – aplicações dos
métodos estatísticos à agricultura
● Comparação: Nos campos em que não há um
padrão metrológico, a comparação entre
tratamentos (incluindo controle) é favorecida
● Randomização: Alocação aleatória de unidades
experimentais a grupos
● Replicação estatística: Como as mensurações
são sujeitas à variação e à incerteza, são repetidas;
experimentos inteiros podem ser repetidos
● Blocagem: Arranjo das unidades experimentais em
unidades que são similares entre si
● Ortogonalidade: Ausência de correlação entre VIs
● Utilização de experimentos fatoriais:
Combinação de Vis em um único experimento

6. Ψ
Variáveis confundidas e validade
interna
● Boa parte da pesquisa experimental em Psicologia busca
examinar a efetividade de um programa ou tratamento, ou saber
se uma manipulação causa um resultado/efeito
● Para que possamos estabelecer inferências causais, necessitamos
de (Cook & Campbell, 1979):
– Covariação – Mudanças na causa presumida devem estar relacionadas
a mudanças no efeito presumido
– Precedência temporal – A causa presumida deve ocorrer antes do
efeito presumido
– Ausência de explicações alternativas plausíveis – A causa presumida
deve ser a única explanação razoável para as mudanças observadas.
● Em Psicologia, entretanto, a terceira condição é a mais difícil de ser
alcançada
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

7. Ψ
Variáveis confundidas e
validade interna
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● Se os efeitos de duas variáveis
independentes estão entrelaçados, não
podemos determinar qual delas é
responsável pelo efeito observado
● Variáveis confundidas introduzem uma
explicação alternativa para o efeito
observado que impede a análise causal –
ou seja, reduzem a validade interna

8. Ψ
Minimizando as ameaças à
validade interna
● A melhor forma de eliminar explicações alternativas
plausíveis é um bom delineamento experimental
●
Outras maneiras auxiliares de minimizar (Trochim e Land,
1982)
1) Por argumento: Argumentar que uma ameaça em potencial não se
aplica à situação (inútil por si só)
2) Por mensuração ou observação: Medir ou observar outras
variáveis, na ausência do tratamento, para descartá-las
3) Por análise: Realizar análises estatísticas mais complexas (p. ex.,
com pseudo-tratamentos, ANCOVA) para eliminar o efeito de
variáveis
4) Por ação preventiva: Intervenções usadas para diminuir o efeito
de atitudes que possam interferir (efeito de grupo); usar controle
de qualidade; usar métodos de auditoria
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

9. Ψ
Experimentos mal-planejados
ilustram ameaças à validade interna
● Estudo de caso instantâneo (Campbell &
Stanley, 1966): Ausência de grupos de
controle ou de comparação
● Delineamento pré-teste/Pós-teste sem
grupo de comparação: Participantes
submetidos a uma medida antes e depois
do tratamento
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

10. Ψ
Ameaças à validade interna
(Campbell & Stanley, 1963)
● História: Eventos diferentes do tratamento influenciam o
resultado
– Morte de celebridade por câncer de pulmão entre a primeira e a
segunda medida; efeito da interação, mas não do programa de
intervenção; preço do cigarro sobe; proibição de uso; &c
● Maturação: Mudanças psicológicas que ocorrem nos
participantes durante o estudo mas não estão relacionadas ao
tratamento
– Pessoas ficam mais preocupadas com a saúde conforme envelhecem
● Teste: A exposição a um pré-teste ou avaliações da intervenção
influenciam o desempenho no pós-teste
– Registrar diariamente o número de cigarros pode ser suficiente para
reduzir o hábito
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

11. Ψ
Ameaças à validade interna
(Campbell & Stanley, 1963)
● Desgaste do instrumento: Os instrumentos ou
condições de testagem são inconsistentes; os
observadores mudam; ou o pré-teste e o pós-teste não
são equivalentes, criando a ilusão de mudança
– No início da tarefa, os participantes podem estar muito
motivados para registar todos os cigarros que fumam, mas na
época do pós-teste podem estar cansados da tarefa
● Regressão em direção à média: Escores muito altos
ou muito baixos tendem a regredir à média durante o
pós-teste
– Erros de mensuração durante a seleção podem selecionar
artificialmente participantes que estavam fumando muito na
época, mas que normalmente não o fazem
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

12. Ψ
Experimentos mal-planejados
ilustram ameaças à validade interna
● Delineamento com grupo de controle não-equivalente:
Utiliza grupo de controle separado, mas os
participantes/sujeitos não são equivalentes
● A diferença entre os sujeitos torna-se uma variável
confundida
● Diferenças de Seleção: Existência de diferenças
sistemáticas nas características dos sujeitos em
diferentes tratamentos
– Ex: no estudo sobre o fumo, os participantes no grupo que
passa pela intervenção podem ter sido voluntários, e o grupo
controle seria composto de fumantes que não se voluntariaram
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

13. Ψ
Outras ameaças à validade interna
(Campbell & Stanley, 1963)
● Mesmo com o uso de grupos de controle, algumas
dificuldades podem surgir
● Atrito: Mortalidade ou desistência dos participantes
– Fumantes mais pesados poderiam abandonar o
experimento, e no final somente fumantes mais leves
permaneceriam, confundindo a causa
● Difusão dos tratamentos: A implementação de um
tratamento influencia os sujeitos em outro tratamento
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

14. Ψ
Experimentos bem planejados
● 3 passos importantes para o bom planejamento
dos experimentos:
1) Definir claramente os objetivos: Registrar precisamente
o que você quer testar com o experimento
2) Definir uma estratégia: Registrar precisamente como
você pode alcançar o objetivo. Magnitude e estrutura do
experimento (quantos tratamentos? Quantas replicações?
Qual a unidade experimental? Como os resultado serão
analisados?
3) Definir os detalhes operacionais: Como o experimento
será realizado na prática? Em que ordem os passos
serão realizados? Os tratamentos serão randomizados? O
experimento poderá ser realizado em um dia? Haverá
intervalo? &c
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

15. Ψ
Características essenciais do bom
delineamento experimental
(Trochim e Land, 1982)
1) Baseado em teoria: Boas estratégias de pesquisa refletem as teorias que
estão investigando;
●
Ex.: se a teoria prevê que um tratamento deve alterar uma medida e não outra, incluir ambas no delineamento é
importante
2) Situacional: Reflete o contexto da investigação
●
Ex.: o estudo da rivalidade entre grupos pode ser melhorado pelo uso de grupos de comparação que não estão em
contato direto com o grupo original
3) Factível: Pode ser implementado facilmente, com planejamento adequado da
sequência e intervalo entre eventos, antecipação de problemas, e adição de
grupos ou medidas adicionais que corrigem explicitamente esses problemas
●
Ex.: uso de medidas pré-teste para verificar efeitos sobre o atrito
4) Redundante: Flexibilidade resultante da duplicação de características
essenciais
● Ex.:Replicações múltiplas de um tratamento em contextos diferentes
5) Eficiente: Equilíbrio entre redundância e a simplicidade, através da utilização
de outras estratégias para eliminar ameaças à validade
●
Ex: Usar testes estatísticos com pseudo-variáveis ou covariáveis
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

16. Ψ
Experimentos bem planejados
● O delineamento experimental mais simples
possível tem duas variáveis, VI (tratamento) e
VD
● O tratamento apresenta dois níveis: um grupo
experimental e um grupo de controle
– Participantes/sujeitos devem ser alocados
aleatoriamente, para reduzir o efeito de variáveis
estranhas
– Grupos devem ser equivalentes
– Controle experimental sobre variáveis estranhas
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

17. Ψ
Características do controle
● A forma mais simples de estabelecer grupos de controle é não
expor um grupo ao tratamento
● Controle negativo: Uso de grupos onde espera-se que o fenômeno
não apareça (sem exposição ao tratamento, exposição a engodo,
placebo, &c) → efeito nulo/negativo
– Se o efeito do controle negativo for positivo, uma variável confundida está
em ação
● Controle positivo: Uso de grupos onde espera-se que o fenômeno
apareça (“padrão-ouro”, intervenções de efeito conhecido, &c)
– Se o efeito do controle positivo for negativo, há algo errado com o o
procedimento, que deve ser replicado
● Outros usos do controle: controle de qualidade, controle interno, &c
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

18. Ψ
Delineamento com
pós-teste apenas
● Dois grupos equivalentes; introdução do
tratamento; mensuração do efeito do
tratamento sobre a VD
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

19. Ψ
Delineamento com
pré-teste e pós-teste
●
Aplicação de um pré-teste (mensuração de VD) antes de introduzir a
manipulação experimental
●
Aumenta a certeza da equivalência entre os grupos
– Desnecessária com alocação aleatória quando a amostra tem tamanho adequado
● Pode ser usado para identificar valores extremos em uma amostra
– Para evitar viés de seleção, somente sujeitos com valores extremos devem ser
usados, e devem ser alocados aleatoriamente entre os tratamentos
●
Se há possibilidade de desgaste/atrito (abandono do experimento), usar um
pré-teste permite investigar se os níveis pré-intervenção afetam o atrito
● O pré-teste pode sensibilizar os participantes em relação à medida,
alterando o resultado do tratamento
– Soluções: Mascaramento, delineamento de quatro grupos de Solomon
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

20. Ψ
Exercício 1 (Cozby, 2004)
● Chefes da polícia militar, responsáveis por diferentes bairros
de Marabá, selecionaram dois policiais para participar de um
programa destinado a reduzir preconceito, aumentando a
sensibilidade em relação a diferenças raciais e étnicas entre
grupos e questões da comunidade. O programa de
treinamento foi realizado toda sexta-feira pela manhã durante
três meses. Na primeira reunião e na última, os policiais
responderam a um questionário para medir preconceito. Para
avaliar a eficácia do programa, comparou-se o escore médio
de preconceito na primeira reunião com o escore na última
reunião, e esse escore de fato diminuiu após o programa.
(a) Que tipo de delineamento é esse?
(b) Que problemas específicos surgem se concluirmos que o
programa de treinamento foi responsável pela redução do
preconceito?
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

21. Ψ
Delineamento de quatro
grupos de Solomon
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
●
As comparações A e A1 avaliam a mudança
dentro dos grupos; se houve mudança em A1, o
efeito não se deve ao tratamento
●
A comparação B avalia a qualidade da alocação
aleatória e o efeito do atrito
●
A comparação C avalia o efeito geral do
tratamento
●
As comparações D e F permitem determinar se o
pré-teste influencia os resultados
– Se a ≠ entre os grupos C e D difere da ≠ entre os
grupos A e B
– Se há ≠ entre os grupos A e C
● A comparação E permite determinar efeitos de
história, maturação ou desgaste
● A comparação G permite determinar se o pré-
teste afeta o efeito de forma independente (i.e.,
sem tratamento)

22. Ψ
Desvantagens do delineamento de
quatro grupos
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● Demanda muitos recursos de tempo,
espaço e equipamentos
● Multiplicação de unidades experimentais
aumenta enormemente o tamanho da
amostra
● A análise estatística é extremamente
complexa

23. Ψ
Expandindo o delineamento básico
● Expansão no tempo: Inclusão de observações antes (pré-teste)
ou depois do tratamento (análise da estabilidade do efeito);
inclusão de tratamentos (delineamentos ABAB)
● Expansão no tratamento: Delineamentos ABAB;
particionamento do tratamento em níveis
● Expansão nas observações: Incluir medidas similares (validade
convergente); incluir medidas de controle negativo (validade
discriminante); incluir medidas de memória do estado pré-teste
● Expansão nos grupos: Adição de grupos extras para diminuir
ameaças à validade (dados normatizados, grupos de coorte,
controle positivo)
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

24. Ψ
Unidades experimentais e pseudo-
replicação
● A unidade experimental é a unidade na qual o
tratamento é aplicado
● Cada vez que o tratamento é aplicado, obtemos uma
replicação
● Nem sempre a unidade experimental é o participante;
p. ex., se aplicamos uma intervenção a uma classe
de alunos, esta é a unidade experimental, e não cada
aluno individual
– Se tratamos cada unidade da amostra como se fosse uma
unidade experimental, fazemos uma pseudo-replicação
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

25. Ψ
Tipos de pseudo-replicação
(Hurlbert, 1984)
● Simples: Só existe uma unidade experimental por tratamento
– Impossibilidade de separar a variabilidade causada pelo tratamento
e a variabilidade intrínseca da unidade experimental
● Temporal: As unidades experimentais diferem
significativamente no momento da aplicação do tratamento
● Sacrificial: Os tratamentos foram replicados, mas ou os
dados são agregados antes da análise, ou a análise trata
sub-amostras como replicações
● Implícita: Caracterização de sub-amostras sem análise
estatística (comparação entre distribuições)
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

26. Ψ
Alocação
● Uma vez definida a unidade experimental,
ela deverá ser alocada aos diferentes
tratamentos
● Existem duas formas básicas: distribuição
aleatória de participantes a somente um
grupo (delineamento com grupos
independentes), e distribuição a mais de
um grupo (delineamento com medidas
repetidas).
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

27. Ψ
Delineamentos com grupos
independentes
● Unidades experimentais diferentes são
designadas para cada uma das
condições/tratamentos
● A alocação casualizada pode ser
completa ou emparelhada
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

28. Ψ
Alocação aleatória simples
● Distribuição / alocação randômica
/ aleatória / casual simples, ou
delineamento inteiramente
casualizado
● Unidades experimentais
destinadas a cada tratamento de
forma inteiramente aleatória
● Leva em conta apenas os
princípios de replicação e
randomização
● Impede vieses sistemáticos,
garante equivalência se a
amostra tiver tamanho adequado
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
●
Exige que o material experimental seja
semelhante e que as condições de
estudo sejam completamente uniformes
●
Os aspectos que devem ser
considerados na semelhança entre as
U.E. são aqueles que interferem nas
respostas das mesmas aos tratamentos
●
Geralmente é mais utilizado em
experimentos nos quais as condições
experimentais podem ser bastante
controladas (por exemplo em
laboratórios)
●
Recomendado em situações onde se
corre risco de perder repetições durante
o experimento.

29. Ψ
Delineamento em blocos
casualizados
●
O procedimento de emparelhamento ou blocagem garante a uniformidade
dos grupos e o controle experimental
● Levam em consideração os princípios de replicação, randomização e
blocagem
● Quando não há certeza na homogeneidade das condições experimentais,
deve-se estabelecer sub-ambientes homogêneos (blocos)
● Cada bloco inclui todos os tratamentos; dentro de cada bloco, os
tratamentos são distribuídos aleatoriamente
● P. ex., um psicólogo quer comparar o efeito de uma intervenção clínica
em adultos e crianças. Definiu que a intervenção seria o tratamento e a
faixa de idade (adultos e crianças) os blocos
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

30. Ψ
Alocação aleatória emparelhada
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas
● Distribuição / alocação randômica / aleatória / casual emparelhada
● Variação do delineamento em blocos casualizados
● A variável de emparelhamento costuma ser uma característica
fortemente relacionada à VD
●
Primeiro mensura-se a variável de emparelhamento para cada
unidade experimental; o pesquisador então emparelha valores
semelhantes, e as unidades experimentais de cada par então são
alocadas aleatoriamente para cada tratamento
●
Aumenta a capacidade para detectar efeitos do tratamento, dado
que é possível explicar as diferenças individuais nas respostas

31. Ψ
Exercício 2 (Cozby, 2004)
● Planeje um experimento para testar a hipótese de que salas
de aula separadas por gênero favorecem a aprendizagem
de matemática por adolescentes do sexo feminino.
● Defina operacionalmente as variáveis independente e
dependente
● Seu experimento deve ter dois grupos e usar alocação de
distribuição randômica emparelhada; justifique sua seleção
da variável de emparelhamento
● Defenda sua opção por um delineamento com pós-teste
apenas ou por um delineamento com pré-teste/pós-teste
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

32. Ψ
Delineamentos com
medidas repetidas
● Participantes passam por repetidas
mensurações da VD
● Pode ou não incluir a apresentação de
mais de uma VI antes de cada VD;
– Quando existe mais de um tratamento, os
delineamentos mais comuns são ABA e ABC
– Outros delineamentos: multi-elementos;
linhas de base múltiplas
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

33. Ψ
Exemplo 1
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

34. Ψ
Vantagens e desvantagens
●
Necessita de menos participantes, dado que cada um passa por todas as
condições
●
Útil quando
– Se quer determinar a efetividade relativa de mais de um tratamento sobre uma
mesma VD
– Dados de linha de base (pré-teste) estão ausentes ou são instáveis
– Os tratamentos diferem suficientemente entre si
– Os participantes conseguem discriminar entre os níveis ou tratamentos
● Desvantagens:
– Ausência de controle de variáveis estranhas; efeitos são julgados um em relação ao
outro, e não em termos absolutos
– Não é apropriado para analisar comportamento que é aprendido em estágios
– Não é apropriado para testar efeitos de tratamentos contínuos ou com efeitos de
longo prazo (p. ex., intervenções terapêuticas)
– Efeito de sequência – a ordem de apresentação dos tratamentos afeta a VD
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

35. Ψ
Tipos de efeitos de sequência
● Associados à passagem do tempo:
– Efeito de prática: Melhora do desempenho
resultante da prática repetida numa tarefa,
independente do efeito do tratamento
– Efeito de fadiga: Piora do desempenho resultante
de cansaço, tédio ou distração
● Associados ao efeito dos tratamentos
(“carryover”)
– Efeito de contraste: A resposta ao segundo
tratamento é alterada por comparação com a
primeira
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

36. Ψ
Contrabalanceamento:
Contrabalanceamento completo
● Todas as ordens possíveis de
apresentação das condições são incluídas
no experimento
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

37. Ψ
Contrabalanceamento:
Quadrados latinos
● Conjunto limitado de ordens de apresentação que garante que (1) cada tratamento
apareça em cada posição possível e (2) cada tratamento preceda e siga cada
tratamento uma vez
● Constrói-se uma matriz n x n, com n diferentes tratamentos de tal maneira que
ocorram no máximo uma vez em cada linha ou coluna
●
A ordem para a primeira linha é determinada da seguinte forma, onde U é o último
tratamento:
– A, B, U, U-1 , D, U-2, E...
– A, B, F, C, E, D
●
A ordem para a segunda linha é determinada aumentando a letra em cada posição
da primeira linha
– B, C, A, D, E, F
● Após terminar todas as linhas, atribuir aleatoriamente cada um dos tratamentos a
cada letra
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

38. Ψ
Contrabalanceamento:
Blocos randomizados
● Quando variações do tratamento são
repetidas, podem ser blocadas
– Ex.: Se quero testar a memória de durações
em função da modalidade sensorial, cada
modalidade pode ser um bloco
● O efeito da ordem de apresentação dos
blocos deve ser controlado por
randomização
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas

39. Ψ
Manipulando o intervalo de tempo
entre tratamentos
● Além de contrabalançar a ordem dos
tratamentos, também é preciso escolher
cuidadosamente o intervalo de tempo entre
apresentações e as atividades possíveis
entre tratamentos
– Período de descanso pode se contrapor à
fadiga; realizar uma tarefa não-relacionada pode
diminuir efeito de contraste
● A introdução de intervalos prolongados de
tempo pode criar efeitos de atrito/mortalidade
Delineamento
e validade
Qualidade do
planejamento
Alocação
Medidas
repetidas