- O documento discute os tipos de medidas de impacto de programas de treinamento e desenvolvimento, como impacto em profundidade e amplitude. Também aborda os critérios e métodos para construção de instrumentos de avaliação válidos e confiáveis.

1. Sinopse Crítica
Walner Mamede Jr
Autor(es) do texto original
ZERBINI, Thais et al
Ano
2012
Titulo
Transferência de treinamento e impacto do
treinamento em profundidade (Cap. 8)
Fonte (Livro, revista, jornal)
Medidas de avaliação em TD&E
(ABBAD, Gardênia et al)
Editor(a)
Artmed
Local
POA
Páginas
127-144
Idéias Principais
- Os programas de TD&E visam resultados expressos sob a forma de competências que
permitam ao egresso provocar impactos na organização, assim, avaliar, meramente, a reação
ou a aprendizagem não basta, pois a aprendizagem, apesar de necessária, não é suficiente
para a produção dos efeitos. Avaliar efetividade exige mensuração do efeito.
- A formalidade e estabilidade do emprego em tempos passados demandava características
formativas diferentes de hoje.
- Existem dois tipos de medidas de impacto: em profundidade, mais específica, relacionada
com a eficácia do egresso em relação aos objetivos de desempenho, com sua mudança do
comportamento e com a transferência do treinamento, e em amplitude, mais global,
relacionada com a efetividade do egresso em relação aos objetivos de desempenho e com o
efeito da transferência1
.
- No Brasil, instrumentos de avaliação do impacto em amplitude são mais comuns que de
impacto em profundidade, por seu menor custo, pela freqüente ausência de planejamento e
objetivos claros nos programas de TD&E, pela dificuldade de conversão dos objetivos
instrucionais em objetivos de desempenho, pelo número de participantes em cada curso
(impacto em profundidade exige de cinco a dez indivíduos por item para a validação do
instrumento) e pela quantidade de cursos em um mesmo programa de TD&E, o que exige uma
diversificação onerosa de instrumentos, já que devem ser customizados conforme os
objetivos de cada curso.
- Antes de iniciar a avaliação é preciso decidir sobre o método de medida (análise
documental, observação, entrevista ou questionário) e o nível de medida (comportamento ou
resultado), o que irá implicar no tipo de medida (profundidade ou amplitude). Essa decisão
dependerá das características do objeto de investigação: são esperados desempenhos
complexos dos egressos ou os objetivos instrucionais relacionam-se a pequenas modificações
em normas e rotinas, demandando mera memorização de conteúdo?; o curso objetiva o
desenvolvimento de habilidades mensuráveis a serem aplicadas no trabalho?;
- Nem todos os cursos são avaliáveis no nível do comportamento ou resultado, para tanto,
seus objetivos devem estar relacionados a competências complexas requeridas pela
organização, sendo potencialmente mesuráveis e discrimináveis em objetivos de desempenho
e aprendizagem, ou, no mínimo, conversíveis a objetivos de desempenho, e a transferência de
treinamento deve ser uma meta do curso.
- Para levantar os objetivos instrucionais, tendo por referência Bloom e col (1972), o
avaliador deve analisar todo o material didático, extraindo os objetivos de aprendizagem e de

2. desempenho, com foco nos comportamentos por eles descritos. É comum encontrarmos
objetivos focados no desempenho do instrutor ou como lista de conteúdos ou pouco claros
quanto ao comportamento esperado. Muitas vezes, o avaliador conclui que as situações de
aprendizagem não condizem com os objetivos traçados. Assim, é necessário reescrever os
objetivos conforme as prescrições teóricas, focando-os no participante ou resgatando as
competências (de aprendizagem e de desempenho) esperadas dispersas no material didático
ou por meio de entrevistas, adequando situações de aprendizagem e objetivos. Alguns
objetivos instrucionais não são discrimináveis em objetivos de desempenho e de
aprendizagem, sendo meros pré-requisitos para o alcance de aprendizagens mais complexas
expressas em outros objetivos.2
- Um objetivo padrão é composto por um verbo que indica o desempenho esperado em
determinada condição, frente a certos critérios: “expressar-se loquazmente diante de um
público, com o uso de datashow”:
=Desempenho: “expressar-se loquazmente”
=Condição: “diante de um público”
=Critério: “com o uso de um datashow”
- Para a elaboração de instrumentos de medida devemos seguir 10 critérios que caracterizam
o item, conforme Pasquali (1998): objetividade de medida; unidade de ideia; inteligibilidade
de significado; consistência lógica; discriminabilidade de conteúdo; originalidade de termos;
parcimônia do enunciado; adequabilidade à escala; credibilidade do conteúdo; e
representabilidade da categoria.
- Para respondentes com grau de instrução inferior ao médio completo, sugere-se escalas
mais simples, como a de dois pontos.
- Construído o questionário, é necessário submetê-lo a uma análise semântica, para se avaliar
sua adequação aos critérios, por meio de oficinas piloto e entrevistas com 5 a 6 pessoas
representativas da população de respondentes, que darão sugestões de modificação. Após
essa etapa, os itens são agrupados em categorias por uma análise de conteúdo e o
instrumento submetido a juízes, que verificarão a representabilidade da categoria e
representatividade dos itens. Caso haja 80% de concordância entre os juízes quanto à
alocação dos itens em cada categoria. Adicionalmente, os juízes devem julgar, também, a
adequação dos itens aos critérios de construção.
- Os dados podem ser coletado por autoavaliação, heteroavaliação ou ambos, apesar de, neste
último caso, exigir-se mais recursos e poder surgir certo celeuma.
- O impacto em profundidade costuma ser medido entre duas semanas e quatro meses após o
término do curso.
- É imprescindível garantir-se o sigilo e a privacidade da informação ao respondente,
cumprindo-as, posteriormente.
- Estratégias de sensibilização são fundamentais para que questionários à distância sejam
respondidos, inclusive, com pedidos de apoio a colegas, superiores ou professores dos
respondentes, a quem são explicitados os objetivos, os procedimentos e a importância da
avaliação. Questionários muito longos comprometem a adesão de respondentes.
- A validação empírica do instrumento é realizada pela aplicação do instrumento ao público-
alvo, seguida de análises descritiva exploratória, estatística (normalidade,
multicolinearidade, singularidade e linearidade) e fatorial (componentes principais,
exploratória – cargas fatoriais, índice de confiabilidade, Alfa de Cronbach, média dos
escores, rotação ortogonal ou oblíqua – e análise fatorial propriamente dita).
- Os itens no instrumento podem ser apresentados aleatoriamente ao respondente, o que é

3. facilitado por formulários eletrônicos, que customizam o instrumento por respondente, mas
deve ficar demonstrado que a ordem não altera a estabilidade do questionário.
- Deve-se elaborar um relatório descritivo prescritivo analítico para a organização. Para
tanto, é necessário que se extraia a média dos escores (somatório do escore de cada item,
dividido pelo número de itens), o desvio padrão (se for alto, torna a média pouco
representativa), a mediana, a moda e as freqüências, a fim de permitir uma melhor
compreensão dos dados, que serão acrescidos de interpretações e sugestões.
- No caso de existirem itens com valores invertidos, deve-se inverter, também, as respostas
obtidas para se conseguir equivalência de sentido entre os itens e coerência nos dados.
- Deve-se, sempre, realizar uma avaliação do apoio e do suporte organizacionais na avaliação
do impacto.
Notas
1
Sinto que urge a necessidade de se realizar uma padronização de termos dentro da teoria de
TD&E. Muitas vezes, em textos diferentes ou até no mesmo texto, expressões/categorias
como “objetivos de aprendizagem”, “objetivos instrucionais”, “objetivos de desempenho” e
“objetivos de transferência” são utilizadas sem o devido rigor científico, assim como “Modelo
Lógico”, “Marco Lógico” e “Modelo de Marco Lógico”, “resultado”, “produto”, “efeito” e
“impacto”, “desempenho” e “comportamento”, entre outras.
2
Nem sempre o alcance de objetivos depende do conteúdo didático ou pode ser medido em
curto e médio prazo na forma de competências explícitas. Nesse caudal, objetivos focados no
ensino e veiculados por verbos como “conscientizar”, “possibilitar”, “induzir”, “sensibilizar” e
outros expressariam a busca de competências sutis derivadas dos aportes paralelos que esse
conteúdo veicula, do próprio método didático adotado, do posicionamento do professor
frente ao conteúdo e dos aspectos éticos e filosóficos implícitos ao conteúdo e à conduta do
professor. Assim, não bastaria a avaliação do material didático ou as entrevistas, sendo
necessária uma avaliação dos princípios didáticos, éticos e filosóficos expressos nos
documentos do curso e do comprometimento da equipe pedagógica com o conteúdo e com tais
princípios.