- O documento discute os tipos de medidas de impacto de programas de treinamento e
desenvolvimento, como impacto em profundidade e amplitude. Também aborda os critérios e
métodos para construção de instrumentos de avaliação válidos e confiáveis.
Novena de Pentecostes com textos de São João Eudes
Transferência de treinamento
1. Sinopse Crítica
Walner Mamede Jr
Autor(es) do texto original
ZERBINI, Thais et al
Ano
2012
Titulo
Transferência de treinamento e impacto do
treinamento em profundidade (Cap. 8)
Fonte (Livro, revista, jornal)
Medidas de avaliação em TD&E
(ABBAD, Gardênia et al)
Editor(a)
Artmed
Local
POA
Páginas
127-144
Idéias Principais
- Os programas de TD&E visam resultados expressos sob a forma de competências que
permitam ao egresso provocar impactos na organização, assim, avaliar, meramente, a reação
ou a aprendizagem não basta, pois a aprendizagem, apesar de necessária, não é suficiente
para a produção dos efeitos. Avaliar efetividade exige mensuração do efeito.
- A formalidade e estabilidade do emprego em tempos passados demandava características
formativas diferentes de hoje.
- Existem dois tipos de medidas de impacto: em profundidade, mais específica, relacionada
com a eficácia do egresso em relação aos objetivos de desempenho, com sua mudança do
comportamento e com a transferência do treinamento, e em amplitude, mais global,
relacionada com a efetividade do egresso em relação aos objetivos de desempenho e com o
efeito da transferência1
.
- No Brasil, instrumentos de avaliação do impacto em amplitude são mais comuns que de
impacto em profundidade, por seu menor custo, pela freqüente ausência de planejamento e
objetivos claros nos programas de TD&E, pela dificuldade de conversão dos objetivos
instrucionais em objetivos de desempenho, pelo número de participantes em cada curso
(impacto em profundidade exige de cinco a dez indivíduos por item para a validação do
instrumento) e pela quantidade de cursos em um mesmo programa de TD&E, o que exige uma
diversificação onerosa de instrumentos, já que devem ser customizados conforme os
objetivos de cada curso.
- Antes de iniciar a avaliação é preciso decidir sobre o método de medida (análise
documental, observação, entrevista ou questionário) e o nível de medida (comportamento ou
resultado), o que irá implicar no tipo de medida (profundidade ou amplitude). Essa decisão
dependerá das características do objeto de investigação: são esperados desempenhos
complexos dos egressos ou os objetivos instrucionais relacionam-se a pequenas modificações
em normas e rotinas, demandando mera memorização de conteúdo?; o curso objetiva o
desenvolvimento de habilidades mensuráveis a serem aplicadas no trabalho?;
- Nem todos os cursos são avaliáveis no nível do comportamento ou resultado, para tanto,
seus objetivos devem estar relacionados a competências complexas requeridas pela
organização, sendo potencialmente mesuráveis e discrimináveis em objetivos de desempenho
e aprendizagem, ou, no mínimo, conversíveis a objetivos de desempenho, e a transferência de
treinamento deve ser uma meta do curso.
- Para levantar os objetivos instrucionais, tendo por referência Bloom e col (1972), o
avaliador deve analisar todo o material didático, extraindo os objetivos de aprendizagem e de
2. desempenho, com foco nos comportamentos por eles descritos. É comum encontrarmos
objetivos focados no desempenho do instrutor ou como lista de conteúdos ou pouco claros
quanto ao comportamento esperado. Muitas vezes, o avaliador conclui que as situações de
aprendizagem não condizem com os objetivos traçados. Assim, é necessário reescrever os
objetivos conforme as prescrições teóricas, focando-os no participante ou resgatando as
competências (de aprendizagem e de desempenho) esperadas dispersas no material didático
ou por meio de entrevistas, adequando situações de aprendizagem e objetivos. Alguns
objetivos instrucionais não são discrimináveis em objetivos de desempenho e de
aprendizagem, sendo meros pré-requisitos para o alcance de aprendizagens mais complexas
expressas em outros objetivos.2
- Um objetivo padrão é composto por um verbo que indica o desempenho esperado em
determinada condição, frente a certos critérios: “expressar-se loquazmente diante de um
público, com o uso de datashow”:
=Desempenho: “expressar-se loquazmente”
=Condição: “diante de um público”
=Critério: “com o uso de um datashow”
- Para a elaboração de instrumentos de medida devemos seguir 10 critérios que caracterizam
o item, conforme Pasquali (1998): objetividade de medida; unidade de ideia; inteligibilidade
de significado; consistência lógica; discriminabilidade de conteúdo; originalidade de termos;
parcimônia do enunciado; adequabilidade à escala; credibilidade do conteúdo; e
representabilidade da categoria.
- Para respondentes com grau de instrução inferior ao médio completo, sugere-se escalas
mais simples, como a de dois pontos.
- Construído o questionário, é necessário submetê-lo a uma análise semântica, para se avaliar
sua adequação aos critérios, por meio de oficinas piloto e entrevistas com 5 a 6 pessoas
representativas da população de respondentes, que darão sugestões de modificação. Após
essa etapa, os itens são agrupados em categorias por uma análise de conteúdo e o
instrumento submetido a juízes, que verificarão a representabilidade da categoria e
representatividade dos itens. Caso haja 80% de concordância entre os juízes quanto à
alocação dos itens em cada categoria. Adicionalmente, os juízes devem julgar, também, a
adequação dos itens aos critérios de construção.
- Os dados podem ser coletado por autoavaliação, heteroavaliação ou ambos, apesar de, neste
último caso, exigir-se mais recursos e poder surgir certo celeuma.
- O impacto em profundidade costuma ser medido entre duas semanas e quatro meses após o
término do curso.
- É imprescindível garantir-se o sigilo e a privacidade da informação ao respondente,
cumprindo-as, posteriormente.
- Estratégias de sensibilização são fundamentais para que questionários à distância sejam
respondidos, inclusive, com pedidos de apoio a colegas, superiores ou professores dos
respondentes, a quem são explicitados os objetivos, os procedimentos e a importância da
avaliação. Questionários muito longos comprometem a adesão de respondentes.
- A validação empírica do instrumento é realizada pela aplicação do instrumento ao público-
alvo, seguida de análises descritiva exploratória, estatística (normalidade,
multicolinearidade, singularidade e linearidade) e fatorial (componentes principais,
exploratória – cargas fatoriais, índice de confiabilidade, Alfa de Cronbach, média dos
escores, rotação ortogonal ou oblíqua – e análise fatorial propriamente dita).
- Os itens no instrumento podem ser apresentados aleatoriamente ao respondente, o que é
3. facilitado por formulários eletrônicos, que customizam o instrumento por respondente, mas
deve ficar demonstrado que a ordem não altera a estabilidade do questionário.
- Deve-se elaborar um relatório descritivo prescritivo analítico para a organização. Para
tanto, é necessário que se extraia a média dos escores (somatório do escore de cada item,
dividido pelo número de itens), o desvio padrão (se for alto, torna a média pouco
representativa), a mediana, a moda e as freqüências, a fim de permitir uma melhor
compreensão dos dados, que serão acrescidos de interpretações e sugestões.
- No caso de existirem itens com valores invertidos, deve-se inverter, também, as respostas
obtidas para se conseguir equivalência de sentido entre os itens e coerência nos dados.
- Deve-se, sempre, realizar uma avaliação do apoio e do suporte organizacionais na avaliação
do impacto.
Notas
1
Sinto que urge a necessidade de se realizar uma padronização de termos dentro da teoria de
TD&E. Muitas vezes, em textos diferentes ou até no mesmo texto, expressões/categorias
como “objetivos de aprendizagem”, “objetivos instrucionais”, “objetivos de desempenho” e
“objetivos de transferência” são utilizadas sem o devido rigor científico, assim como “Modelo
Lógico”, “Marco Lógico” e “Modelo de Marco Lógico”, “resultado”, “produto”, “efeito” e
“impacto”, “desempenho” e “comportamento”, entre outras.
2
Nem sempre o alcance de objetivos depende do conteúdo didático ou pode ser medido em
curto e médio prazo na forma de competências explícitas. Nesse caudal, objetivos focados no
ensino e veiculados por verbos como “conscientizar”, “possibilitar”, “induzir”, “sensibilizar” e
outros expressariam a busca de competências sutis derivadas dos aportes paralelos que esse
conteúdo veicula, do próprio método didático adotado, do posicionamento do professor
frente ao conteúdo e dos aspectos éticos e filosóficos implícitos ao conteúdo e à conduta do
professor. Assim, não bastaria a avaliação do material didático ou as entrevistas, sendo
necessária uma avaliação dos princípios didáticos, éticos e filosóficos expressos nos
documentos do curso e do comprometimento da equipe pedagógica com o conteúdo e com tais
princípios.