Oficina sobre avaliacao online - UFPB - Julho 2010

1. 7/7/2010 S.C.S Porto 1 A Avaliação da Aprendizagem na Educação Online Stella C.S. Porto sporto@umuc.edu Graduate School of Management & TechnologyUniversity of Maryland University College

2. 7/7/2010 S.C.S Porto 2 Agenda O que é avaliação? A avaliação online A prática da avaliação Conclusõesquestoesemaberto questõescríticas e emabertonaprática da avaliação online

3. 7/7/2010 S.C.S Porto 3 O que é avaliação? Páre, pense e reflita O que é avaliação? Qual é a relação da avaliação com o processo de aprendizado? Como vivencio o processo de avaliação?

4. 7/7/2010 S.C.S Porto 4 O que é avaliação? A avaliação é um aspecto desafiador do processo de aprendizagem é motivo de ansiedade em alunos e instrutores O que você sente como aluno? O que você sente como professor?

5. 7/7/2010 S.C.S Porto 5 O que é avaliação? As estratégias de avaliação são importantes quando permitem que os alunos tenham “insights” sobre seu próprio processo educacional

6. 7/7/2010 S.C.S Porto 6 O que é avaliação? A metodologia de avaliação deve ser capaz de informar a alunos e profs sobre a qualidade da experiência educacional

7. 7/7/2010 S.C.S Porto 7 O que é avaliação? Logo, a visão holística da avaliação a enxerga como parte VITAL do processo de ensino-aprendizado

8. 7/7/2010 S.C.S Porto 8 O que é avaliação? O aluno adulto deve ser avaliado de tal forma a que perceba seus pontos fracos e fortes, e que os primeiros possam ser corrigidos durante e APÓS o curso

9. 7/7/2010 S.C.S Porto 9 O que é avaliação? O aluno precisa de informação sobre a qualidade do seu trabalho O aluno precisa de sugestões construtivas de como melhorar seu desempenho

10. 7/7/2010 S.C.S Porto 10 O que é avaliação? É preciso que a avaliação se dê através de vários recursos, para que a visão do processo de aprendizado seja mais completa

11. 7/7/2010 S.C.S Porto 11 O que é avaliação? O objetivo maior então deve ser: Prover informação necessária para a melhoria de experiências educacionais futuras

12. 7/7/2010 S.C.S Porto 12 O que é avaliação? Grau vs. Avaliação São diferentes? Como? A seguir tabela fornecida pela Southern Illinois University Edwardsville (http://www.siue.edu/~deder/assess/cats/gradesv.html)

13. 7/7/2010 S.C.S Porto 13

14. 7/7/2010 S.C.S Porto 14 O que é avaliação? Até que ponto a avaliação se confunde com o grau? Por que? Se temos que medir (e consequentemente dar grau), como podemos fazê-lo mantendo os principios que devem reger o processo de avaliação?

15. 7/7/2010 S.C.S Porto 15 O que é avaliação? Planejamento e design da avaliação Páre, pense e reflita: Qual a ordem de desenvolvimento (design) que você usaria? Objetivos – instrução – avaliação Objetivos – avaliação – instrução Avaliação – Objetivos – instrução Avaliação – instrução – objetivos Instrução – objetivos – avaliação Instrução – avaliação – objetivos Por que? ISD: Instructional Systems Design

16. 7/7/2010 S.C.S Porto 16 O que é avaliação? Planejamento e design… Análise Implementação O processo de ISD O modelo ADDIE Análise Design Desenvolvimento Implementação Avaliação Avaliação Design Desenvolvimento

17. 7/7/2010 S.C.S Porto 17 O que é avaliação? Planejamento e design… A avaliação do aprendizado é de fato determinada durante a fase de design Nesta fase acontece determinação de objetivos, construção da instrução e definição da avaliação

18. 7/7/2010 S.C.S Porto 18 O que é avaliação? Planejamento e design… Existe assim uma relação fortissima entre avaliação e objetivos Determinar se objetivos foram alcançados e em que grau

19. 7/7/2010 S.C.S Porto 19 O que é avaliação? Planejamento e design… Descrição de objetivos é determinante sobre a avaliação Como construir objetivos? Enfoque behaviorista Enfoque construtivista, etc.

20. 7/7/2010 S.C.S Porto 20 A avaliação online O ambiente à distância cria desafios específicos em relação à avaliação do aluno instrutores não tem os indicadores informais visuais e verbais que podem ser tão úteis muitos dos métodos de avaliação que requerem a presença dos alunos não são possíveis

21. 7/7/2010 S.C.S Porto 21 A avaliação online… O ambiente online (por exemplo) promove outros tipos de aprendizados ao aluno: sobre a própria tecnologia empregada sobre seu próprio processo de aprendizado sobre si mesmo A avaliação deve incluir esses aspectos

22. 7/7/2010 S.C.S Porto 22 A avaliação online… Papel do instrutor online É um papel dinâmico Requer pessoas capazes de criar um ambiente virtual que propicie e encorage o aprendizado individual e colaborativo

23. 7/7/2010 S.C.S Porto 23 A prática da avaliação Páre, pense e reflita Na minha prática educacional (onde eu sou instrutor ou aluno), como se caracteriza o método de avaliação? Quais os pontos positivos? Quais os pontos negativos? Gaste alguns minutos escrevendo alguns comentários como resposta às questões acima.

24. 7/7/2010 S.C.S Porto 24 A prática da avaliação A literatura indica a importância do uso de diversas formas de avaliação formas qualitativas e quantitativas Recomenda-se a individualização da avaliação, mesmo em atividades de grupo

25. 7/7/2010 S.C.S Porto 25 A prática da avaliação Deve… Ser orientado às necessidades de informação dos alunos Ser direcionado aos comportamentos que podem ser modificados…

26. 7/7/2010 S.C.S Porto 26 A prática da avaliação Deve… Fazer com que os alunos sintam que eles são donos desse feedback Ser claro, acurado e dado em espaço de tempo apropriado Fazer parte de um relacionamento continuado entre instrutor e aluno

27. 7/7/2010 S.C.S Porto 27 A prática da avaliação A boa prática de avaliação deve muito provavelmente ser constante através das diferentes modalidades de ensino No entanto, outros métodos com tecnologias alternativas podem em muitos casos gerarem uma maior eficiência do feedback A identificação do aluno é mais individualizada O que significa isso?

28. 7/7/2010 S.C.S Porto 28 A prática da avaliação O enfoque centrado no aluno O aluno precisa ser reconhecido como autônomo Diferentes graus de indepedência em seus hábitos de estudo Relevância na avaliação de seus trabalhos Importante para a população adulta Os alunos devem se tornar auto-direcionados em seus planos e atividades de aprendizado Reconhecer os talentos e as necessidades dos alunos

29. 7/7/2010 S.C.S Porto 29 A prática da avaliação No modelocentrado no aluno O prof deveenxergarosalunoscomoseusparceirosquetrabalhamnaprodução de experiênciaseducacionaisrelevantes O prof agora passa a termúltiplasfunções: Pesquisadores das percepções do aluno Designers de estratégias de avaliaçãomultifacetadas Gerentes de processos de avaliação Consultoresqueauxiliam o alunonainterpretação da informaçãoricaqueadvem do processo de aprendizado

30. 7/7/2010 S.C.S Porto 30 A prática da avaliação Processo de aprendizadocentrado no aluno: Alunosestãoenvolvidos ATIVAMENTE e recebem feedback Alunosaplicamconhecimentos a questões e problemaspermanentes e emergentes Alunos tem potencial de reconhecer a qualidade do trabalho Instrutoresmesclamensino com avaliação O aprendizado é interpessoal, e todososalunos e profs sãorespeitados e valorizados

31. 7/7/2010 S.C.S Porto 31 A prática da avaliação alunosadultosvariamemsuasnecessidades Devidoàsexperiênciasanteriores e educaçãoprévia Importanteparaprogramas com alcanceinternacional Logo, o ensinoprecisasermaisindividualizado, e deveoferecerconexão com suasvidaspessoais e profissionais

32. 7/7/2010 S.C.S Porto 32 A prática da avaliação O queestáacontecendo online?

33. A prática da avaliação Para tanto, o uso da Rúbrica no processo de dargraudeveserusada Expectativasaltassãoimportantes e devemserpublicas Utilizacao de metodosvariados e alternativos 7/7/2010 S.C.S Porto 33 A descricao de umaatividadee’ de extremaimportancia Oscritériosusadosnaavaliaçãoprecisamserapresentados de forma claraparaevitarfalsasexpectativas

34. 7/7/2010 S.C.S Porto 34 A prática da avaliação Questoessobretrabalho de grupo Tamanho do grupo Objetivopreciso, conhecido e relevanteaoaprendizado Acompanhentoaolongo do processo Avaliação inter-participantes Componente individual de tarefas (com grauindividualizado) Estruturaçãoinicial: construindo a confiança

35. 7/7/2010 S.C.S Porto 35 A prática da avaliação Participação no forum assincrono Dar grauounão? Importantedeterminar o se consideracomoparticipação Importantedeterminarcomo a participaçãoseráavaliada Prover feedback aolongo do cursoespecificamentesobreparticipação Feedback construtivo, convidando o aluno

36. 7/7/2010 S.C.S Porto 36 “Peer evaluation” Efetivo no ambiente online Tem que ser feito de forma cuidadosa Pode ser anônimo Em pares É preciso criar um clima de confiança A avaliação deve ser entendida claramente como um processo construtivo que faz parte da aprendizagem, desligada do grau A prática da avaliação

37. 7/7/2010 S.C.S Porto 37 A prática da avaliação Uso de rubricas

38. 7/7/2010 S.C.S Porto 38 A prática da avaliação Examestradicionais Trabalhosindividuais e de grupoparanível de domínio do conteúdo Atividades de nível alto (i.e. estudo de casos, entrevistas, discussões, artigos, propostas de pesquisa…) Atividadescriativas (palavras-cruzadas online, avaliação e desenvolvimento de web-page, …) Uso de midia social métodos usados online (assincrono)

39. 7/7/2010 S.C.S Porto 39 A prática da avaliação Exemplo de atividades online… Grupocolaborandonageracao de um wiki sobre um assunto Uso de blog para um diario de aprendizado Avaliacaooucontribuicaopara a wikipedia Estudo de caso Simulacao e uso de cenarios, ondecadaaluno tem um determinadopapel, etc

40. 7/7/2010 S.C.S Porto 40 A prática da avaliação Nenhumadiferençano geral Avaliação via web permitefeedbackmaiseficiente e detalhado Aprendizado via web permitemaiorindividualizaçãonaavaliação do trabalho do aluno Comparando avaliação online e tradicional Aprendizado via web encorajamaiorparticipação e engajamento do aluno Sala de aula tradicionaldámaisfacilidadeaoinstrutoreminferirsobre o entendimento do material peloaluno(será??)

41. 7/7/2010 S.C.S Porto 41 A prática da avaliação Maioreficiência no feeback de tarefa Feedback individual maisdetalhado Conveniência da comunicação entre instrutor e aluno Área de conferênciaestimulatrocaefetivaentre alunosemgrupo Tempo adicionalparaalunosprocessarem o aprendizado e completaremtrabalho. Maioroportunidadeparaalunosdesenvolveremhabilidadesdiversas O que está funcionando na avaliação online

42. 7/7/2010 S.C.S Porto 42 A prática da avaliação Faltaentendimentopor parte do do alunosobre a carga de trabalho Falta de auto-conhecimento do alunosobreseupropriotipo de aprendizadoe casamentoapropriado com a aula online Problemastecnológicos Deficiênciasnaescrita See-mailé utilizado, pode se tornar um gargalo Falta de apoiofinanceiroparapessoal de suporteno processo de avaliação O que não está funcionado na avaliação online

43. 7/7/2010 S.C.S Porto 43 A prática da avaliação Algumasconclusõessobreavaliação online: A maior parte dos procedimentos de avaliação de aulasao vivo podemseradaptadasaoambiente online O ambiente online tem permitidocadavezmais o uso de múltiplosprocedimentos de avaliaçãocriativos A avaliaçãousando a web é caracterizadapelaeficiência, individualizada e detalhadaemcurtoespaço de tempo

44. 7/7/2010 S.C.S Porto 44 A prática da avaliação a nível institucional Até agora discutimos a avaliação restrita a aprendizagem de forma individualizada, focada em unidades específicas de conhecimento No entanto, como um programa garante que os objetivos do programa estão sendo alcançados? Como uma instituição garante que a sua missão está sendo cumprida?

45. 7/7/2010 S.C.S Porto 45 A prática da avaliação a nível institucional É necessário olhar para avaliação de forma mais abrangente, não esquecendo dos príncipios discutidos anteriormente…

46. 7/7/2010 S.C.S Porto 46 A prática da avaliação a nível institucional É necessário um processo coordenado nos vários níveis para que a avaliação

47. 7/7/2010 S.C.S Porto 47 A prática da avaliaçãoa nívelinstitucional - UMUC http://www.umuc.edu/distance/odell/irahe/index.shtml (Office of evaluation and assessment) http://www.umuc.edu/outcomes/index.shtml (Assessment Learning Outcomes) http://www.umuc.edu/outcomes/pdfs/inst_plan_2007.pdf (Institutional Plan for the Assessment of Student Learning Outcomes)

48. 7/7/2010 S.C.S Porto 48 Outrasperspectivas da avaliação Outros prismas de avaliação Avaliação de professores Avaliação de umadisciplina/curso Avaliação de um programa Avaliação da instituição

49. 7/7/2010 S.C.S Porto 49 Outrasperspectivas da avaliação:uso de feedback dos alunos

51. Peer-visit, com formulario de avaliacaoadequado

52. Monitoramento

54. Analisepor parte do diretorjunto com professor

55. Feedback informal dos alunos

57. 7/7/2010 S.C.S Porto 53 Desafios Grau vs. Avaliação (estrutura de graus determinada pela instituição) Grupos Participação Heterogeneidade / Diversidade As demandas do aluno adulto Desenvolvimento de cursos que atendam à demanda, às restrições de custo, às mudanças de tecnologia, às mudanças de contexto, sejam criativos, sejam flexiveis, etc. Conclusões

58. 7/7/2010 S.C.S Porto 54 Conclusões:questões em aberto Os trabalhos avaliados refletem de forma válida o currículo? Existe um sistema de avaliação e feedback que seja igualitário e claro a todos? Além do grau, a avaliação é genuinamente significativa e útil aos alunos em seu crescimento acadêmico?

59. 7/7/2010 S.C.S Porto 55 Conclusões:questões em aberto Como as instituicoespodemgarantirque as metasgerais de seusprogramas online estaosendoatingidos? Como formalizar o processo de avaliacaoemtodososniveis e usar as informacoesobtidasparamelhorar a qualidade dos cursos?

60. 7/7/2010 S.C.S Porto 56 Conclusões “Why do we insist on measuring it with a micrometer when we mark it with chalk and cut it with an axe?” Peter Ewell

61. 7/7/2010 S.C.S Porto 57 Referências M. Dereshiwsky (2001), ‘A’ is for Assessment: Identifying Online Assessment Practices and Perceptions, Ed at a Distance Magazine and Ed Journal, Vol. 15, No.1 (http://www.usdla.org/html/journal/Jan01_Issue/article02.html) T.A. Angelo & K.P. Cross (1993), “Classroom Assessment Techniques”, 2nd ed. San Francisco: Jossey-Bass Palloff & Pratt (1999), “Building Learning Communities”, Jossey-Bass M. Moore & G. Kearskely (1996), “Distance Education: A Systems View”, Wadsworth. J. Morley, “Methods of Assessing Learning in Distance Education Courses”, ed at a distance, January 2000, Vol. 13 no.1 Classroom Assessment from Southern Illinois University Edwardsville, http://www.siue.edu/~deder/assess/cats UMUC site, http://www.umuc.edu