O documento discute conceitos sobre avaliação educacional, incluindo o que, para que e como avaliar. Ele também fornece detalhes sobre elaboração de itens para avaliações de larga escala, incluindo tipos de itens, formatos comuns e dicas para criação de itens.
3. Conceitos básicos relacionados à elaboração
de itens para Avaliações de Larga Escala
Prova e Item
Prova é uma situação na qual se solicita a alguém que
demonstre certos aspectos de seus conhecimentos, com o
objetivo de avaliar determinadas características e capacidades
previamente estabelecidas.
Item de Prova é uma situação criada para que o indivíduo dê
uma resposta a um estímulo apresentado. A resposta constitui
uma amostra do desempenho em relação a um objetivo
específico previsto em uma Matriz de Referência.
4. Oficina de Elaboração de Itens para
Avaliações de Larga Escala
Como elaborar questões/itens que permitam investigar
até que ponto um aluno sabe mobilizar conhecimentos
que adquiriu na escola, para demonstrar que
desenvolveu as habilidades necessárias para a
construção de uma dada competência?
5. O que é que se quer investigar?
Competências Cognitivas
Conjunto de ações e operações mentais que o sujeito
utiliza para estabelecer relações com e entre os
objetos, situações, fenômenos e pessoas que deseja
conhecer.
6. Competências Cognitivas
São modalidades da inteligência. Expressam o
que é necessário para compreender ou resolver
um problema: saber inferir, atribuir sentido,
articular partes e o todo, excluir, comparar,
observar, identificar, tomar decisões,
reconhecer, fazer correspondências.
7. Como é que são investigadas as competências
em avaliação de larga escala?
Habilidades
Indicadores ou Descritores das aprendizagens que se
espera os alunos tenham consolidado no período
avaliado.
Possibilitam inferir, a partir de uma escala (Escala de
Proficiência), o nível em que os alunos dominam as
competências cognitivas associadas aos respectivos
conteúdos em cada ano ou série avaliados.
8. MEDIR E AVALIAR
Medir implica determinar a extensão de uma característica
pertencente a um individuo ou a um objeto.
Exemplo:
Um jovem conseguiu correr 1.000m em 12 minutos. (estamos fazendo
uma “medida”).
Avaliar é o ato de comparar uma “medida” com um padrão e de
emitir um julgamento sobre essa comparação.
Exemplo:
O resultado do jovem – o tempo que levou para correr 1.000 m é
comparado com um padrão previamente estabelecido. Dessa
comparação pode-se concluir que o resultado foi satisfatório ou
insatisfatório.
9. MEDIR E AVALIAR
Cada turma avaliada no SisPAE possui uma escala com
intervalos próprios para cada disciplina, que permite a
representação das habilidades que integram a Matriz
de Referência do SisPAE.
Exemplo: Língua e Matemática 5º Ano EF
10. O significado........
Níveis de Proficiência Descrição
Abaixo do Básico
Os alunos, neste nível, demonstram domínio insuficiente dos
conteúdos, habilidades e competências desejáveis para a
série escolar em que se encontram.
Básico
Os alunos, neste nível, demonstram domínio mínimo dos
conteúdos, habilidades e competências desejáveis para a
série escolar em que se encontram.
Adequado
Os alunos, neste nível, demonstram domínio pleno dos
conteúdos, habilidades e competências desejáveis para a
série escolar em que se encontram.
Avançado
Os alunos, neste nível, demonstram conhecimentos e
domínio dos conteúdos, competências e habilidades acima
do requerido na série escolar em que se encontram.
SisPAE – Por Níveis
11. SisPAE – Desempenho em LP e MAT
Escala organizada por níveis
que situam os resultados de
desempenho dos estudantes
de todas as séries, em cada
disciplina.
.
Além da régua ........
Dar sentido e significado aos números
19. Onde estão indicadas as habilidades que devem ser
aferidas para uma dada disciplina em um certo ponto
do percurso escolar?
O referencial da avaliação de larga escala é
uma Matriz de Referência da Avaliação.
20. A MRA – SisPAE é um recorte dos conteúdos propostos
nos PCNs e privilegia algumas habilidades e competências
a eles associadas.
As habilidades descrevem aprendizagens que se espera
tenham sido construídas pelos alunos no período
avaliado.
É fundamental que as habilidades que estruturam uma
matriz sejam caracterizadas de modo objetivo,
mensurável e observável.
As provas são compostas por itens que investigam até
que ponto os alunos demonstram ter desenvolvido as
habilidades descritas na MRA correspondente ao ano
escolar e à disciplina que está sendo avaliada.
21. MRA - SisPAE: em síntese
• A MRA – SisPAE retrata as estruturas conceituais mais
gerais das disciplinas e também as competências mais
gerais dos alunos, que se traduzem em habilidades
específicas.
• Os conteúdos, habilidades e competências apontados na
MRA – SisPAE para cada série e disciplina do currículo,
indicam o que os alunos devem aprender em cada área do
conhecimento, em cada etapa da escolarização.
• Quando investigados na avaliação por meio dos itens que
compõe a prova temos como indicativo os ACERTOS e os
ERROS.
22. O NOVO STATUS DO ERRO
• Ilumina o processo de aprendizagem
• Errar faz, sim, parte do processo de aprender, mas achar que a
aprendizagem ocorrerá naturalmente após o fracasso é uma
falha gravíssima e até mesmo ingênua.
• Valorizar o erro está além do aceitá-lo, requer fazer uma nova
investida. Valorizar o erro consiste em nele enxergar uma
oportunidade de estudo, de buscar o ponto falho e procurar
fazer diferente. Por tudo isso, se o erro não promover
mudanças, ele não será valorizado, apenas consentido.
23. AVALIAÇÃO E A MELHORIA DA QUALIDADE
DA SALA DE AULA
• “Não é possível praticar sem avaliar a prática” (Paulo
Freire)
– Existem várias formas de avaliar (citar ex???)
– Avaliação Externa (nosso caso)
• Não possui finalidade em si! (Imprescindível)
• De nada adianta apenas constatar dificuldades se
isso não gerar um movimento de transformação.
(Válido para professores, diretores, gestores, ...)
25. Contextualização dos itens e interdisciplinaridade:
o desafio da larga escala
Tipos básicos de itens:
Convencional - reflete uma cobrança estritamente
voltada à capacidade de se utilizar o conhecimento
aprendido.
*****Textualizado - textos usados como pretexto ou
com a suposição, errônea, de que são necessários para
avaliar o que se pretende avaliar. ??????
Contextualizado - descreve uma situação-problema e
convida ou desafia o estudante a resolver a atividade
proposta.
26. Formatos Comuns de Itens
• Múltipla escolha;
• Certo ou errado;
• Resposta fechada;
• Resposta curta ou de resposta construída;
• Dissertativo (ou redação).
A maioria das provas de avaliações de larga escala
são compostas por itens de múltipla escolha
27. Sobre Itens de Múltipla Escolha
Um item de múltipla escolha compõe-se com 3 partes:
• Texto, gráfico, figura, tabela,
situação-estímulo, simulacro,
situação-problema, estudo de caso.
Texto - base
• Explicita a tarefa que está sendo
proposta ou solicitada ao aluno.
• Focaliza a habilidade que se quer aferir.
Comando
(Enunciado)
• Quatro ou cinco opções de resposta.
• Uma e apenas uma é a correta, ou seja,
o gabarito do item.
Alternativas
28. Sobre o Texto-Base
• Deve-se dar preferência a textos de fonte primária, de autoria
explícita, que sejam curtos e integrais, de fácil compreensão,
com linguagem adequada ao nível dos estudantes, que seja
adequado aos objetivos da questão e possibilitem opções de
respostas: uma correta e as demais incorretas, mas plausíveis.
• São permitidos recortes no texto, desde que sejam mantidas
as ideias principais e se indique que houve adaptação.
• É obrigatória a apresentação da fonte de referência.
E mais
29. Sobre o Texto-Base
Os textos devem se limitar a 10 linhas e as alternativas de
resposta a 2 linhas.
Esses cuidados são fundamentais para evitar itens extensos e
complexos. Em geral, um estudante tem de 3 a 4 min para
responder 1 item!
Itens com cálculos complicados devem sofrer adaptações que
favoreçam a realização das operações envolvidas sem o uso
de calculadora.
30. Sobre o Comando (Enunciado)
• O estudante deve encontrar, entre as opções oferecidas,
aquela que se ajusta exatamente ao comando.
• Pode ser uma afirmação incompleta, a ser continuada por
uma das opções.
• Pode ser formulado por uma pergunta direta.
• Pode ser frase incompleta ou pergunta.
31. Sobre as Alternativas (Distratores)
• Devem estar vinculadas a um nível de desenvolvimento
adequado da aprendizagem.
• Deve-se evitar que a alternativa que corresponde à solução
correta, possa ser obtida por associações diretas, para
inclusive, não favorecer o acerto casual.
• O distrator corresponde a uma possibilidade de resposta
considerada plausível por um estudante que não domina o
conteúdo ou não desenvolveu a habilidade específica (erro
comum).
• Uma “pegadinha” é uma alternativa inconveniente em
qualquer tipo de prova. Em especial em avaliação de
desempenho e rendimento escolar, onde não está sendo
feita seleção. Pode até atrair bons estudantes.
32. Exemplo de “PEGADINHA”
Um livro tem 65 páginas ilustrativas, 100 páginas escritas com
tinta cinza, 35 com tinta vermelha. O total de folhas desse livro é
(A) 210.
(B) 200.
(C) 160.
(D) 125.
(E) 100.
OBS: Um número muito grande de educandos assinala a alterna
alternativa (B) como resposta certa e acabam errando, pois no
enunciado fala-se em páginas e a raiz da pergunta se fala em folhas.
Basta lembrar que cada folha tem duas páginas, ou seja o número de
folhas é de 100 alternativa (E).
33. Sugestões e Lembretes Importantes
• Enunciados negativos devem ser evitados;
• Clareza, objetividade, originalidade, precisão e
impessoalidade;
• Usar frases curtas, termos exatos, sem demonstração de
erudição;
• Não copiar itens de livros ou apostilas;
• Evitar impressões e expressões pessoais, chavões e gírias;
• Construir as alternativas em ordem lógica, em sequência
crescente ou decrescente.
E mais: Na redação das alternativas, não utilizar as palavras:
somente, apenas, nunca, exclusivamente, unicamente,
sempre, totalmente, todo, jamais, raramente,
exclusivamente, pode ser, tudo, ninguém, nenhum, nada,
algum, pode acontecer, pode haver, pouco, às vezes,
qualquer, entre outros.
34. Resultado da Experiência em Avaliação:
Itens de média complexidade apresentam, em
geral, bons índices de discriminação, enquanto
itens extremamente fáceis ou extremamente
difíceis geralmente não discriminam entre os
grupos de melhor e pior desempenho na prova.
36. Sobre Tipos de itens de Múltipla Escolha
1. Itens de complementação simples: O enunciado deve ser
redigido em forma de frase incompleta e as alternativas
devem completar a frase proposta.
O número 0,25 pode ser representado pela fração
(A)
1
4
(B)
1
2
(C)
2
5
(D)
5
2
37. Sobre Tipos de itens de Múltipla Escolha
1. Itens de complementação simples: O enunciado deve ser
redigido em forma de frase incompleta e as alternativas
devem completar a frase proposta.
A forma verbal que está flexionada no particípio é
(A) construído.
(B) adestrando.
(C) subdesenvolver.
(D) obstruindo.
38. 2. Itens de resposta única: O enunciado deve ser redigido em
forma de pergunta e as alternativas devem respondê-la.
Qual das frações abaixo representa o número 0,25?
(A)
1
4
(B)
1
2
(C)
2
5
(D)
5
2
39. 2. Itens de resposta única: O enunciado deve ser redigido em
forma de pergunta e as alternativas devem respondê-la.
Qual é a forma verbal que está flexionada no particípio?
(A) Construído.
(B) Adestrando.
(C) Subdesenvolver.
(D) Obstruindo.
40. 3. Itens de interpretação: É formulado a partir de uma situação-
estímulo que compõe o enunciado. O comando pode terminar
com uma frase incompleta ou com uma pergunta, mas em
ambos os caso apresenta uma situação que precisa ser resolvida
para se chegar à reposta certa.
São exemplos desses itens: texto, estudo de caso, simulacro,
tabela, quadro, diagramas, gráficos, figuras, mapas, esquema ou
ilustrações (extraídos de fonte fidedigna, inserindo-se as devidas
referências).
Este é o modelo adotado pelo ENEM.
42. 3. Itens de interpretação
Leia o texto e responda à questão.
Um mundo de coisas para ler
Na próxima década, a massa de informação que circula no mundo dobrará de volume a cada oitenta dias. Pelo menos é
o que dizem os especialistas. Reduzir o tempo gasto nessa leitura toda não é má ideia. Mas seria possível? “Não
conheço estudos que indiquem isso”, afirma o neuroftalmologista Paulo Imamura da Universidade Federal de São
Paulo. Jorge Roberto Pagura, neurocirurgião do hospital paulista Albert Einsten, discorda. “Atividades cerebrais podem
ser adestradas”, afirma. O fato é que pouco se sabe sobre a fisiologia da leitura. Para a diretora da Faculdade de
Educação da Universidade Federal do Rio de Janeiro, Marlene Carvalho, a técnica funciona para jornais, relatórios e
processos. Mas não para textos literários. O cineasta americano Woody Allen pensa do mesmo modo. Criou até uma
piada sobre o assunto: “Fiz um curso de leitura dinâmica e consegui ler o romance Guerra e Paz, de Leon Tolstoi em
apenas 15 minutos! É sobre a Rússia.”
(UM MUNDO de coisas para ler. Revista Superinteressante, v.112, p.64, 1997. CD-ROM. Fragmento)
No artigo, o autor reproduz a fala dos especialistas consultados com a intenção de
(A) elogiar os entrevistados.
(B) evidenciar a polêmica referente ao tema tratado.
(C) mostrar erudição.
(D) enfatizar a velocidade da leitura.
43. 4. Itens de resposta múltipla ou múltipla escolha complexa:
Possui de três a cinco afirmações, relacionadas com o tema
explicitado no enunciado, e de uma chave de resposta.
(texto-base)
Com base na situação descrita acima, avalie as afirmações a
seguir.
I. Blablablablablabla
II. Blablablablablabla
III. Blablablablablabla
IV. blablablablablabla Atenção: Este tipo está descrito
aqui apenas para explicar do que
se trata. Não deverá ser utilizado
na elaboração de itens para provas
do SisPAE.
44. É correto apenas o que se afirma em
(A) I e II
(B) I e III
(C) II e III
(D) II e IV
(E) III e IV
Atenção: Este tipo está descrito
aqui apenas para explicar do que
se trata. Não deverá ser utilizado
na elaboração de itens para provas
do SisPAE.
45. 4. Itens de resposta múltipla ou múltipla escolha complexa
46. 4. Itens de resposta múltipla ou múltipla escolha complexa
47. Apresentação do Item
Para a apresentação do
item e das justificativas de
gabarito e distratores,
utilize o modelo de
formulário:
48.
49. Referências
• Manual para elaboração e revisão de provas. Fundação
VUNESP, versão 000, 2014.
• RABELO, M., Avaliação Educacional: Fundamentos,
metodologia e aplicações no contexto brasileiro. Coleção
PROFMAT. 2014.
