1) O documento discute os resultados gerais da avaliação em larga escala SAEPE, incluindo a análise da proficiência média, participação dos estudantes e evolução dos padrões de desempenho. 2) Apresenta exemplos para ilustrar como analisar a proficiência média e a participação, e como esses indicadores podem mascarar diferenças entre escolas. 3) Explica a metodologia da avaliação, incluindo os padrões de desempenho e como os resultados são usados para identificar desafios

2. Conteúdo Programático 1º Momento: Avaliação em Larga Escala Resultados Gerais do SAEPE Análise dos Resultados por Regional e Município 2º Momento: Matrizes de Referência para Avaliação Detalhamento de Descritores e Itens dos Testes 3º Momento: Resultados da escola Interpretação pedagógica dos resultados Utilização dos resultados como subsídio para o planejamento pedagógico

6. Universalidade Fluxo Adequado Qualidade Educação

7. AVALIAR

8. Diagnóstica Formativa Somativa Pequena escala Larga escala Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Avaliação

9. PISA SAEB, PROVA BRASIL PROEB, SAERJ, SAEPE AVALIA BH, SIADE Internacional Nacional Estadual Municipal Avaliação em Larga Escala Avaliação em Larga Escala

10. Diagnóstico/Certificação/ Credenciamento Censitária/Amostral Prestação de contas Objetivos Abrangência Uso Avaliação em Larga Escala

11. TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM Avaliação em Larga Escala Provas abertas Provas objetivas Observação/Registro Portfólio Avaliação Interna/Escola Processo da aprendizagem AVALIAÇÃO EDUCACIONAL Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Desempenho dos alunos

12. Avaliação Externa em Larga Escala Avaliação em Larga Escala - Objetivos Monitoramento do desempenho dos alunos Acompanhamento, ao longo do tempo, da qualidade da educação ofertada Melhor eficiência do trabalho desenvolvido em cada unidade escolar Identificação de fatores intra e extra-escolares que interferem no desempenho dos alunos

13. OS RESULTADOS GERAIS

15. 1. Proficiência Média A proficiência consiste em demonstrar competência através de habilidades para responder de forma satisfatória(desejável) a uma determinada tarefa ou função. A proficiência é uma medida do conhecimento do estudante não observável de maneira direta. No SAEPE, essa medida é obtida por meio da análise das respostas aos itens dos testes. A Proficiência média é uma nota que por si só nada revela. Ela limita e reduz. Aspecto 1 – Proficiência Média

16. A Proficiência média pode ser atribuída a um estudante ou a uma Instituição. É importante observar a distribuição dos fatores que interferem na Proficiência Média e o que ela expressa em termos de desempenho, competências e habilidades dos alunos, das escolas, das Gerências e do Estado. A Proficiência Média revela a realidade, o trabalho, o desempenho, os avanços e os desafios de uma Instituição? 1. Proficiência Média Aspecto 1 – Proficiência Média

17. 1. Proficiência média - Estudo de caso 1 10 alunos de uma Escola “A” foram submetidos a um Instrumento de Avaliação.Todos eles obtiveram como nota 5,0 (cinco). Qual a proficiência média dos alunos desta Escola? 10 alunos de uma Escola “B” foram submetidos a um instrumento de avaliação. 5 deles tiraram nota 0,0 (zero) e os outros 5 tiraram nota 10,0 (dez). Qual a proficiência média dos alunos desta Escola? Escola “A” Escola “B” Aspecto 1 – Proficiência Média

18. 1. Proficiência Média Agora vamos responder as seguintes questões: 1.1. O fato das duas escolas terem a mesma Proficiência média significa que têm desempenhos, realidade e desafios iguais? 1.2 Que aspectos podem ser apresentados como semelhanças e/ou diferenças entre as Escolas? 1.3 Qual das Escolas requisita uma intervenção pedagógica mais efetiva? Por quê? Aspecto 1 – Proficiência Média

19. 2.Participação A participação é um dos principais aspectos a ser observado. O Percentual mínimo para validar um resultado é 85%. A falta de participação dos estudantes no processo de avaliação já é um indicador de que intervenções precisam ser feitas para validar os resultados. Aspecto 2 – Participação

20. 2. Participação – Estudo de caso 2 Observe os gráficos abaixo que revelam a proficiência média e a participação de duas escolas. Proficiência Média das Escolas Participação dos Estudantes Aspecto 2 – Participação

21. Vamos juntos responder as seguintes questões: 1. Qual a proficiência média da escola A? 2. Qual o percentual de participação dos estudantes da Escola A? 3. Qual a proficiência média da escola B? 4. Qual o percentual de participação dos estudantes da Escola B? 5. O que pode indicar a falta de participação dos estudantes no processo de avaliação? 6. Para os objetivos da avaliação, qual das duas escolas anteriores exibe mais condições de ser acompanhada e sofrer intervenções mais eficazes? 2. Participação – Estudo de caso 2 Aspecto 2 – Participação

22. Relação Proficiência Média x Participação

23. Língua Portuguesa – 8ª série / 9º ano: Jaboatão dos Guararapes Relação Proficiência Média x Participação

24. Matemática – 8ª série / 9º ano: Camaragibe Relação Proficiência Média x Participação

25. Língua Portuguesa – 3º ano Ensino Médio: Ipojuca Relação Proficiência Média x Participação

26. Matemática – 3º ano Ensino Médio: São Lourenço da Mata Relação Proficiência Média x Participação

28. O que é avaliado? Como é avaliado?

29. Os resultados da avaliação da proficiência são obtidos empregando-se o conhecimento Estatístico e é utilizada a Teoria de Resposta ao item (TRI) para elaborar os testes. Metodologia de Avaliação

30. Para análise das respostas a estes itens foi criada uma Escala de proficiência composta por 4 padrões de desempenho. Metodologia de Avaliação Padrões de Desempenho Os estudantes revelam ter desenvolvido competências e habilidades muito aquém do que seria esperado para o período de escolarização. Os estudantes demonstram já terem começado um processo de sistematização e domínio das habilidades consideradas básicas e essenciais ao período de escolarização em que se encontram. Os estudantes demonstram ter ampliado o leque de habilidades tanto no que diz respeito à quantidade quanto no que se refere a complexidade destas habilidades, as quais exigem um maior refinamento dos processos cognitivos nela envolvidos. Os estudantes revelam ser capazes de realizar tarefas que exigem um raciocínio mais avançado para a resolução de problemas, além de desenvolverem habilidades que superam aquelas esperadas para o período de escolaridade. ELEMENTAR I ELEMENTAR II BÁSICO DESEJÁVEL

31. Estes 4 padrões de desempenho estão divididos em níveis de proficiência que se encontram separados em intervalos de 25 em 25 pontos. Metodologia de Avaliação Padrões de Desempenho

33. Padrões de Desempenho Estudantil – Língua Portuguesa O Desempenho Escolar Padrões de Desempenho Estudantil – Matemática Etapa de Escolaridade Elementar I Elementar II Básico Desejável 2ª Série / 3º Ano EF até 400 400 a 450 450 a 500 acima de 500 4ª Série / 5º Ano EF até 125 125 a 175 175 a 225 acima de 225 8ª Série / 9º Ano EF até 200 200 a 250 250 a 300 acima de 300 3º Ano EM até 225 225 a 275 275 a 325 acima de 325 Etapa de Escolaridade Elementar I Elementar II Básico Desejável 4ª Série / 5º Ano EF até 150 150 a 200 200 a 250 acima de 250 8ª Série / 9º Ano EF até 225 225 a 275 275 a 325 acima de 325 3º Ano EM até 250 250 a 300 300 a 350 acima de 350

34. Da Matriz ao Teste

36. 3.Evolução do Percentual de Estudantes por Padrão de Desempenho. Aspecto 3 Língua Portuguesa – 8ª série / 9º ano: Jaboatão dos Guararapes

37. 3.Evolução do Percentual de Estudantes por Padrão de Desempenho. Aspecto 3 Matemática – 8ª série / 9º ano: Camaragibe

38. 3.Evolução do Percentual de Estudantes por Padrão de Desempenho. Aspecto 3 Língua Portuguesa – 3º ano Ensino Médio: Ipojuca

39. 3.Evolução do Percentual de Estudantes por Padrão de Desempenho. Aspecto 3 Matemática – 3º ano Ensino Médio: São Lourenço da Mata

41. E Desvio Padrão

42. Em uma determinada Cidade a temperatura máxima durante os últimos três dias foi de 27°, 28° e 29°. Podemos dizer que a média dos últimos três dias foi de __________ Numa outra Cidade, nos últimos três dias a temperatura máxima foi de 14°, 28° e 42°. Podemos afirmar que a média dos últimos três dias foi _____________ Podemos afirmar que a idéia de Desvio Padrão serve para mostrar a diferença entre as realidades vivida nas duas cidades. No exemplo acima em qual das duas Cidades o Desvio Padrão é maior? Desvio Padrão

43. Aspecto 4 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho – Estudo de Caso 4 O gráfico acima indica que os 60000 moradores do Município de “Boneco da Mudança” apresentaram uma renda per capita média de R$ 350,00 no ano de 2006. Renda per capita média (R$)

44. Aspecto 4 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho Sabe-se que em dezembro de 2006, 6.000 sem teto, sem terra e sem nenhuma renda (desempregados formais e informais) passaram a residir neste Município. Ao final do ano de 2007 um novo levantamento de renda per capita foi realizado, representado pelo gráfico acima. Qual a nova renda per capita média do Município? Renda per capita média (R$)

45. Aspecto 4 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho Sabe-se, também, que a partir de janeiro de 2008, os seis homens mais ricos do Brasil resolveram residir no Município de “Bonecos da Mudança”. No gráfico acima temos o registro da renda per capita no ano de 2008. Qual a nova renda per capita média do Município? Esta renda revela a realidade dos moradores do Município? Renda per capita média (R$)

46. 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho Município: Jaboatão dos Guararapes Aspecto 4

47. 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho Município: Camaragibe Aspecto 4

48. 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho Município: Ipojuca Aspecto 4

49. 4. Percentual de Estudantes por Nível de Proficiência e Padrão de Desempenho Município: São Lourenço da Mata Aspecto 4

50. Desafios para todos nós! 3,9 4,6 3,2 5,4

51. Desafios para todos nós!

52. Desafios para todos nós! DESEJÁVEL

53. Desafios para todos nós! ELEMENTAR I

54. Desafios para todos nós!

55. Desafios para todos nós! Matriz de Referência de Língua Portuguesa SAEPE 8ª série/9º ano

56. Observação

57. Observação

58. É IMPORTANTE NÃO ESQUECER !

59. Avaliação da Formação ELEMENTAR I ELEMENTAR II BÁSICO DESEJÁVEL

60. Avaliação da Formação ELEMENTAR I Competência e habilidade do gestor estão muito aquém do que seria esperado com relação a apropriação e domínio do SAEPE em toda a sua estrutura.

61. Avaliação da Formação O gestor já demonstra ter começado um processo de sistematização e domínio das habilidades consideradas básicas e essenciais do sistema SAEPE, mas AINDA não é capaz de aplicar isto na solução de problemas e nos desafios que lhe são propostos em sua Escola. ELEMENTAR II

62. Avaliação da Formação O gestor demonstra ter ampliado o seu leque de conhecimento quanto ao SAEPE, sente-se capaz de promover eficazes intervenções em sua Escola, mas não é capaz de socializar esta experiência com outros colegas em processos de formação. BÁSICO

63. Avaliação da Formação DESEJÁVEL O gestor é capaz de realizar tarefas, resolver problemas e promover intervenções pedagógicas eficazes em relação ao SAEPE, estando preparado para socializar a experiência com outros colegas em processos de formação.