Comunicação carlos lopes e maria pinto 14 de a bril_2010_no 10º congresso da bad _guimarães_

IL-HUMASS – Instrumento de Avaliação de
Competências em Literacia da Informação:
um Estudo de Adaptação à População Portuguesa (Parte I)

Carlos Lopes Maria Pinto
– Instituto Universitário

[ 8 de Abril de 2010 (5ª Feira) | Auditório do Centro Cultural Vila-Flor | 10h]
Lopes, C., & Pinto, M. (2010). ILL-HUMASS – instrumento de avaliação de competências em liiteracia da informação: um estudo de adaptação à população portuguesa (Pt. I).
10º Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas (Guimarães, 7 a 9 de Abril de 2010).

2

Agenda
 1. Introdução
 2. Problema de partida
 3. Revisão da literatura
 4. Objectivos
 5. Procedimentos: desenho do IL-HUMASS
 6. Métodos (qualitativos)
 6.1 Estudo de casos
 6.2 Focus groups
 6.3 Entrevistas
 6.4 Estudo Piloto
 7. Versão final do IL-HUMASS
 8. Conclusões
 9. Desenvolvimentos futuros
Lopes, C., & Pinto, M. (2010). ILL-HUMASS :Instrumento de Avaliação de Competências em Literacia da Informação: um Estudo de Adaptação à População Portuguesa (Pt. I).
|10º Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas (Guimarães, 7 a 9 de Abril de 2010) |

3

Introdução

1

4

Definição de Literacia da Informação
 Sistema de competências necessárias para pesquisar,
recuperar, analisar, e usar a informação, ou seja,
reconhecer necessidades de informação, saber como
localizar, identificar modos de acesso, recuperar
(investigar), avaliar, organizar e aplicar a informação
(interpretar e criar novas ideias), sendo capaz de
sintetizar informação e de a usar para criar novo
conhecimento e compreensão. Em simultâneo, estar
consciente das envolventes éticas, culturais, económicas e
sociais.
Association of College & Research Libraries (ACRL, 2000)


Uma possível definição…
Conjunto de competências que um
cidadão informado necessita para participar de
forma responsável, activa e crítica na actual
sociedade da informação, do conhecimento e
da aprendizagem. É um atributo vital para o
mundo intensivo e extensivo da informação,
que favorece o desenvolvimento pessoal,
económico, social e cultural.
Pinto (2010)


6

Problema de
partida

2

Utilizadores
 Navegantes em oceanos de informação
?
 Desconhecem o valor da informação
 Não sabem delimitar as suas necessidades de
informação
 Relaxamento face à tradição escrita, a favor
das imagens, som, multimédia
 Carência de um referencial qualitativo para
avaliar a informação
 Desconhecem os aspectos éticos/legais do
uso da informação

8

Operacionalização: Competências
1. A competência manifesta-se em acções. A sua
mobilização, estruturação e desenvolvimento é
indissociável de uma actividade ou finalidade.

2. A competência é apresentada como uma constatação de
desempenho, de cumprimento de resultados ou de
resolução de problemas. Pressupõe uma finalidade, o que
implica uma estratégia para a acção ou uma acção
orientada. Não significa apenas saber fazer, mas
também saber o que fazer e como fazer para um
determinado fim, ou para fins variados.


9

Operacionalização: Competências
3. O seu resultado pode ser demonstrado, reconhecido,
validado e certificado e deve permitir demonstrar os
recursos mobilizados.

4. A competência é contextual, o que significa que se
estrutura e desenvolve em função das situações específicas
ou de um conjunto de situações similares pressupondo a sua
tranferibilidade. Também resulta, não apenas das
características da situação, mas da representação que o
indivíduo constrói da situação.


Competências da Literacia da Informação

 Determinar a necessidade de informação
 Localizar e aceder adequadamente à
informação que necessita
 Seleccionar, armazenar, recuperar e usar
informação apropriada às necessidades, a partir
da autenticidade, correcção, valor da
informação...
O uso e a criação de informação, implicam:
?
pensamento crítico e emocional


Competências da Literacia da Informação

 Organizar a informação e utilizá-la de forma
eficaz
 Ampliar, reestruturar e criar novos
conhecimentos integrando o conhecimento
anterior com o que se adquiriu
 Reconhecer a ética e responsailidade no uso da
informação ?
Uso e a criação de informação, implicam:
pensamento crítico e emocional

12

Objectivos de Aprendizagem (KSA)
Skills Knowledge
Na definição dos objectivos
de aprendizagem estão presentes:

 Conhecimento (K): é constituído por
dados e informação, assim como os modelos e teorias que usamos
para trabalhar com essa mesma informação. Atitudes
 Habilidades (S): são aprendidas e repetidas,
conduzem-nos da teoria à acção e implicam a realização de tarefas
mentais, cognitivas e afectivas
 Atitudes (A): é a imagem de todas as nossas acções e decisões.
É o espírito e a perspectiva com o qual um indivíduo, grupo ou
organização introduz e provoca desenvolvimentos na sociedade.

“Knowledge, Skills e Attitude (KSA)”
Conhecimento Análise
Compreensão Síntese
Aplicação Cognitiva Avaliação
(Knowledge)

Afectiva Psicomotor Percepção
Entusiasmo
Guia de resposta
Motivação (Attitude) (Skills) Mecanismo
Valorização
Organização Adaptação
Internalização de valores

Cada estudante é um aprendiz único com um determinado nível de
KSA e a melhoria da sua literacia da informação é condicionada por
esse corpus KSA pessoal e intransmissível (BLOOM, et al.,1956).
13

14

Perspectiva atitudinal (Triângulo educacional)

Fonte de
Conhecimento Aprendizagem

A
Declarativo

Motivação

Conhecimento S
Procedimental
Auto-eficácia

Importância das atitudes no triângulo educacional (Pinto, 2010)


15

78

Revisão da
literatura
(carácter geral, normativo, específico,
na perspectiva dos utilizadores
e do ponto de vista avaliativo)

3

Revisão da Literatura
 Virkus (2003)  Library Trends (2002, nº especial)
 East (2003, 2004)  References Services Review
 Rader (2002)  Journal of Information Science
 Pinto (2008, 2010)  Webber et al. (2000, 2008)
 Kuhlthau (1991)  Big Six (Eisenberg & Berkovitz, 1998)
 Bruce (1997)  Big Blue Project (SCONUL)
 ACRL  InfoLit Global (Base Dados ALFIN)
 ANZIIL  Barreto Nunes (POR)
 ALA/ACRL  Maria José Amândio (POR)
 SCONUL  Emilia Pacheco (POR)
 LISA (Base Dados)  ...

17

Normas da Literacia da Informação
• Definem quais são as habilidades concretas e
mensuráveis
• Partilham o princípio de que as competências (LI)
constituem um processo contínuo e integrador das
diferentes actividades
• Em sociedades desenvolvidas, estas habilidades adquirem-
se ao mesmo tempo qua as habilidades em TIC
• Dai que as pessoas requeiram uma combinação de
habilidades cognitivas e técnicas para aceder e utilizar
a informação (e.g., SCONUL)


Estados Unidos (ACRL)
 Normas elaboradas pela ACRL no ano de 2000
 Características: Descrevem 5 grupos de
competências, indicadores de desempenho e
resultados para avaliar as habilidades dos
estudantes
 Contributos: Aproximação metacognitiva da aprendizagem por
parte dos estudantes, tomada de consciência das acções necessárias
para seleccionar, analisar, e utilizar a informação. Permite a sua
aplicação de forma recorrente, exigindo que o estudante regresse ao
estádio anterior do processo, efectue a revisão do procedimento de
pesquisa de informação e realize os mesmos passos


Estados Unidos: Antropologia/Sociologia (2008)

 Elaboradas pela ALA/ACRL/ANSS, enfatizam os métodos
de avaliação e ética para investigações de campo com
sujeitos humanos
 Características: Consta de 4 normas que definem as
necessidades dos estudantes para desenvolverem
habilidades de literacia de informação, assim como os
comportamentos chave para serem competentes no
acesso e uso da informação.
 Contributos: Recolhem as necessidades dos estudantes
para se converterem em investigadores eficazes neste
campo (processos de investigação, base de conhecimento,
metodologias, ferramentas de pesquisa usadas em
antropologia).

Reino Unido
 Elaboradas pela SCONUL (2001), com base no modelo de
habilidades em informação no ensino superior (1999) com
sete standards sobre aptidões para o acesso e uso da
informação
 Características: Relaciona as aptidões para a
informação com as “habilidades para o estudo”.
Centra-se na preparação dos estudantes para o seu futuro
profissional
 Contributos: Estimula o pensamento crítico,
aprendizagem baseada em problemas, a tomada de
decisão e a produção de conhecimento


Austrália (CAUL-ANZIIL, 2000-2001)

 Toma como base o modelo de Bruce (i.e., tecnologia da
informação, fontes de informação, processo de informação, controlo de
informação, construção do conhecimento, extensão do conhecimento;
e as normas Americanas
sabedoria)
 Características: Consta das sete concepções de Bruce
e de critérios para o desenvolvimento de habilidades de
informação
 Contributos: A diferença com a Americana, a norma 4
trata da aptidão para o controlo e tratamento da
informação, a norma 7 contempla a Literacia da
Informação, como um marco cognitivo idóneo para a
aprendizagem ao longo da vida


Austrália (ANZIIL, 2003: princípios, normas e práticas)

 Surge como resultado da avaliação prática da versão
anterior
 Características: Situa-se dentro do contexto mais amplo
das competências genéricas, em que a Literacia da
Informação constitui uma componente básica
 Contributos: Identifica a Literacia da Informação como
elemento fundamental para a aprendizagem contínua


23

Modelos de medição & avaliação
O modelo de medição determina-se
em função do contexto em que se
usa a informação e o nível de
literacia da informação requerido.

Instrumentos de Avaliação
SAILS, ILT, iSkills, ISS


SAILS – Standardized Assessment of Information Literacy Skills

 Bibliotecários da Kent State University, 2000
 É uma prova de conhecimento acerca da Literacia
da Informação baseada nas normas ACRL
(2005) [#s: 1,2,3 e 5]
 Teste baseado na Web sobre habilidades relativas
à literacia da informação (40+5 perguntas)
 Questões de escolha múltipla


Information Literacy Test (ILT)
 James Madison University’s Center for Assessment
and Research Studies and the Library
 Está baseado nas normas ACRL (excepto a #4)
 Teste baseado na Web sobre habilidades relativas à
literacia da informação em estudantes do 1º ano
(60 itens +5 itens piloto)
 Fidelidade: 0.88


iSkills Assessment
 Avalia o nível de Literacia da Informação e
Tecnológica (TIC) baseada em
indicadores de desempenho
 Teste baseado na Web (simulação por computador)
 Versão básica e avançada; 75 minutos
 15 Tarefas – 14 curtas (1-3 min) e 1 longa (15 min)
 Tarefas do teste alinhado com as normas ACRL


Information Skills Survey (ISS)
 Avaliação por critérios de referência
 É solicitado a cada entrevistado para que descreva o
que faz com a informação, tendo como referência as
normas do CAUL/ANZIL (Catts, 2005)
 Decorre da abordagem de Christine Bruce, (1997),
na Austrália, compreendendo um conjunto de sete
concepções:
Tecnologia da informação; Fontes de informação;
Processo de informação; Controlo de informação;
Construção do conhecimento; Extensão do
conhecimento; Sabedoria.

27

28

Objectivos

4

Objectivos
 O questionário – IL-HUMASS, visa conhecer a opinião
sobre competências no uso e na gestão da informação no
ensino superior nas áreas de Humanidades e Ciências Sociais
 Desenvolver um instrumento baseado nas normas
internacionais para a recolha de dados sobre a
competência informacional
 Identificar no âmbito académico (docentes/investigadores,
bibliotecários e estudantes) a percepção sobre a literacia
da informação
 Segundo uma perspectiva atitudinal (auto-repostas)
tendo em conta três factores: motivação, auto-eficácia e
fonte de aprendizagem

30

Procedimentos
no desenho
do IL-HUMASS

5

Intrevalo para publicidade | Nativos Digitais


32

Métodos
(qualitativos)
6.1 Estudo de casos
6.2 Focus groups
6.3 Entrevistas
6.4 Estudo Piloto

6

Desenho IL-HUMASS: Estudo de casos

Metodologia centrada nas seguintes fases:
 Definição das perguntas da investigação
(baseada na literatura e grupos de especialistas)
 Concepção do questionário, onde participaram
investigadores espanhóis e portugueses, especialmente
académicos, professores e bibliotecários (relatórios sobre:
terminologia, formato, adequação dos itens, …)
 Monitorização e implementação, Estudo
com a selecção dos casos de
 Análise dos dados Casos


34

Resultados do questionário: versão 0

Habilidades Informáticas
Avaliação da informação
Pesquisa da informação

Comunicação e Ética
Tratamento da
Caracterização: informação
Um texto introdutório de apresentação dos objectivos e dos
procedimentos, as dimensões propostas dos indicadores (motivação,
auto-eficácia e cenários de aprendizagem), uma escala de medição (de 1 a
5) e um conjunto de 32 itens agrupados em cinco categorias.


Desenho IL-HUMASS: Focus group

Metodologia
 Objectivo: conhecer as diferentes perspectivas sobre os itens (foi
previamente enviado o ficheiro e o link do questionário)
 Participantes: estudantes, professores e bibliotecários
 Duração de cada sessão foi de 60 minutos (gravação em suporte
digital)
> Guião de trabalho:
 Dificuldade na compreensão dos itens do questionário IL-HUMASS?
 Dificuldade na compreensão da escala: que alternativas sugere?
 Que importância dá ao comprimento do questionário?
 Que habilidades são importantes para a sua educação científica e académica?
 Que mudanças introduziria para melhorar o desenvolvimento da competência
informativa na sua actual formação académica?
> Análise de conteúdo (ATLAS-it)

Desenho IL-HUMASS: Entrevistas

Metodologia
Entrevistas com Profissionais da Informação
 Bibliotecários da Universidade de Granada, ISPA, Universidade
Católica Portuguesa, Universidade Nova de Lisboa e Universidade do
Porto.
 As opiniões assinalaram que a terminologia está correcta,
actualizada, que é clara e fácil.
 Alguns manifestaram que não tinham consciência do alcance e do
impacto da literacia da informação
 Assinalaram que alguns itens não se compreendiam facilmente e
precisavam de estar melhor formulados como, por exemplo, o 9
(“reconhecer no texto a intenção do autor”); 10 (“propriedades da
informação para cada tipo de fonte”) e 14 (em que a expressão
“estrutura textual” não é totalmente clara).

37

Resultados do questionário: versão 1

Comunicação e Difusão Inf.
Tratamento da Informação
Avaliação da informação
Pesquisa da informação

Caracterização:
Texto introdutório de apresentação dos objectivos e dos procedimentos, as
dimensões propostas dos indicadores (motivação, auto-eficácia e
cenários de aprendizagem), uma escala de medição (de 1 a 9) e um
conjunto de 26 itens agrupados em quatro categorias.

38

IL-HUMASS: Categorias
 Pesquisa da informação (8 itens):
1. Utilização de fontes de informação impressas (ex.
livros, …)
Pesquisa da Informação

2. Aceder e usar catálogos automatizados
3. Consultar e usar fontes electrónicas de informação
primárias (ex. revistas, …)
4. Utilização de fontes electrónicas de informação
secundárias (ex. bases de dados, …)
5. Conhecimento da terminologia da sua área de estudo
6. Saber pesquisar e recuperar informação na Internet
(ex. pesquisas avançadas, directórios, portais)
7. Utilização de fontes electrónicas de informação
informal (ex. blogs, listas de distribuição, …)
8. Conhecimento de estratégias de pesquisa de
informação (ex. descritores, operadores booleanos, …)


39

 Avaliação da informação (5 itens):
9. Saber avaliar a qualidade dos recursos de informação
Avaliação da Informação

10. Reconhecer no texto as ideias do autor
11. Conhecimento da tipologia da informação científica
(ex. teses de Doutoramento, actas de congressos, …)
12. Ser capaz de determinar a actualização da
informação existente num recurso
13. Conhecimento dos autores ou instituições mais
relevantes na sua área de estudo


40

 Tratamento da informação (6 itens):
Tratamento da Informação

14. Saber resumir e esquematizar a informação
15. Ser capaz de reconhecer a estruturação de um texto
16. Utilização de gestores de bases de dados (ex.
Access, Oracle, MySQL, …)
17. Utilização de gestores de referências bibliográficas
(ex. Endnote, Reference Manager, …)
18. Utilização de programas estatísticos e folhas de
cálculo (ex. SPSS, Excel, …)
19. Saber instalar programas informáticos


41

 Comunicação e difusão da informação (7 itens):
20. Saber comunicar em público
Comunicação e Difusão Inf.

21. Saber comunicar noutros idiomas
22. Saber redigir um documento (ex. relatório, trabalho
académico, …)
23. Conhecer o código ético e deontológico da sua área
de estudo
24. Conhecer a legislação sobre o uso da informação e
da propriedade intelectual
25. Saber fazer apresentações académicas (ex.
PowerPoint)
26. Saber difundir a informação na Internet (ex. Webs,
Blogs, …)


42

Desenho IL-HUMASS
Perspectiva atitudinal, tendo em conta 3 factores:
 Motivação relacionada com o item
 Auto-eficácia em relação ao desempenho de cada item
 Cenário de aprendizagem em relação a cada um dos itens
Exemplo de um item:
Fonte de
Em relação a … Motivação Auto-eficácia
Aprendizagem
A Sala de Aula C Formação
Baixa Alta Baixa Alta B Biblioteca I Auto-
PESQUISA DA INFORMAÇÂO
1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 aprendizagem
O Outros

8. Conhecimento de estratégias
de pesquisa de informação
(ex. descritores, operadores
9 2 i
booleanos, …)


Versão final do
IL-HUMASS

7

Desenho IL-HUMASS: Estudo Piloto

Metodologia
 Unificou-se e depurou-se a sintaxe de alguns itens e simplificou-se a
apresentação.
 Objectivo: validar o instrumento [segunda versão] e a escala na
sua versão electrónica
 Em meados de Janeiro de 2007 foi levada a cabo, via Web
 Participaram duas universidades espanholas e uma portuguesa, com
uma amostra de 45 sujeitos (15+15+15) dos cursos de Tradução e
Interpretação (Granada), Jornalismo (Castellon) e Psicologia (ISPA)
 Comprovou-se as propriedades psicométricas através da avaliação da
fiabilidade e validade e foi então concebida a versão final do
questionário IL-HUMASS em Junho de 2007


45

Desenho IL-HUMASS: versão final
Caracterização:

A ferramenta IL-HUMASS é um questionário de auto-
resposta desenhado na Web, constituído por 26 itens,
com resposta tipo Likert com 9 posições (onde 1
corresponde a baixa competência e 9 a alta competência),
que visa avaliar a competência percebida em
estudantes, professores e bibliotecários do ensino superior
relacionadas com a pesquisa, avaliação, gestão, uso e
difusão da informação.


> Pesquisa da informação (Pinto, 2010)
1. Utilização de fontes de informação impressas (ex. livros, …)
2. Aceder e usar catálogos automatizados
3. Consultar e usar fontes electrónicas de informação primárias (ex. revistas, …)
4. Utilização de fontes electrónicas de informação secundárias (ex. bases de dados, …)
5. Conhecimento da terminologia da sua área de estudo
6. Saber pesquisar e recuperar informação na Internet (ex. pesquisas avançadas, directórios, portais)
7. Utilização de fontes electrónicas de informação informal (ex. blogs, listas de distribuição, …)
> Avaliação da informação
9. Saber avaliar a qualidade dos recursos de informação
10. Reconhecer no texto as ideias do autor
11. Conhecimento da tipologia da informação científica (ex. teses de Doutoramento, actas de congressos, …)
12. Ser capaz de determinar a actualização da informação existente num recurso
13. Conhecimento dos autores ou instituições mais relevantes na sua área de estudo
> Tratamento da informação
14. Saber resumir e esquematizar a informação
15. Ser capaz de reconhecer a estruturação de um texto
16. Utilização de gestores de bases de dados (ex. Access, Oracle, MySQL, …)
17. Utilização de gestores de referências bibliográficas (ex. Endnote, Reference Manager, …)
18. Utilização de programas estatísticos e folhas de cálculo (ex. SPSS, Excel, …)
19. Saber instalar programas informáticos
> Comunicação e difusão da informação
20. Saber comunicar em público
21. Saber comunicar noutros idiomas
22. Saber redigir um documento (ex. relatório, trabalho académico, …)
23. Conhecer o código ético e deontológico da sua área de estudo
24. Conhecer a legislação sobre o uso da informação e da propriedade intelectual
25. Saber fazer apresentações académicas (ex. PowerPoint)
26. Saber difundir a informação na Internet (ex. Webs, Blogs, …)

47

Inquérito online


48
Inquérito online


49

34

Conclusões

8

50

Conclusões
O desenho do questionário -IL-HUMASS, nas suas
diferentes fases, com a utilização de várias fontes,
caracteriza-se por ser:

 Fluente, objectivo, compreensível e diversificado
em tópicos sobre a literacia da informação para os vários
interlocutores
 Permite criar perfil pessoal de literacia da informação
 Originalidade na sua tripla dimensão: motivação dos
estudantes, na auto-eficácia e na fonte favorita de
aprendizagem


51

Conclusões
 Alguns dos itens co-relacionados são críticos para avaliar a
literacia da informação básica e podem ser integradas nos
curricula dessas disciplinas
 Permite identificar no âmbito académico
(docentes/investigadores, bibliotecários e estudantes) a
percepção sobre a literacia da informação
 Desenvolvido de acordo com as normas internacionais
 Diagnosticar o estado de literacia da informação no Ensino
Superior na área das Ciências Sociais e Humanidades
 Determinar se existem diferenças na concepção e na
prática de literacia de informação em diferentes disciplinas.


52

Conclusões

Produto do trabalho (Parte I)

Design of the IL-HUMASS survey on information
literacy in higher o education: a self-assessment
approach. Journal of Information Science. 38 : 1
(2010) 86-103.


53

4

Desenvolvimentos
futuros

9

54

Desenvolvimentos futuros
 A segunda parte deste estudo – metodologia
quantitativa (já efectuada), administração do
questionário IL-HUMASS à população envolvida, com o
objectivo da validação das suas propriedades
psicométricas, através da análise da sua validade e
fidelidade.
 Comparação dos resultados aferidos para a população
portuguesa com a espanhola.
 Análises comparativas por pais e por plano de estudos.
 Publicação do Estudo II (submeter a uma revista
internacional).
 Relatório Síntese do Projecto Alfin-Huma.

A avaliação e Currículo
as suas
Avaliação Aferida
(diagnóstica)
lógicas

Actividade(s) Avaliação Formativa
Práticas

Aprendizagem Avaliação Sumativa
(Objectivos)

Fonte: Jorge Pinto (2010)


56


 Dispor de instrumentos e aplicações para
diagnosticar, planear e programar actividades ALFIN.

 Esta investigação representa um pequeno mas necessário
passo na direcção da importância de literacia da
informação no âmbito do ensino superior.

 Sobre o futuro do instrumento?, está na forma como for
utilizado para gerar conhecimento. A resposta está em que o
IL-HUMASS estabelece que as necessidades dos utilizadores
dependerão das opiniões dos utilizadores.

57

Palavra final…

Vemos, ouvimos e lemos
Não podemos ignorar.

Sophia de Mello Breyner


Obrigado pela vossa atenção!
Questões?

Maria Pinto
mpinto@ugr.es

Carlos Lopes
Clopes@ispa.pt


Agradecimentos
 Clara Macedo (UP)  Tatiana Sanches (FPCE-Lisboa)
 João Leite (UP)  Maria da Luz Antunes (EsTesel)
 Fernanda Ribeiro (UP)  João Maroco (ISPA)
 Helena Mesquita (UP)  Teresa Garcia Marques (ISPA)
 Fátima Crespo (UNL)  Francisco Peixoto (ISPA)
 Alfredo Ramalho (UCP)  Dora Sales (UPB, Espanha)
 Joana Santos (UBI)  Pilar Osório (UGR, Espanha)
 Lícia Marques (EBSCO)  Julio Arévalo (USAL, Espanha)
 António Candeias (UNL)  Angels Carles (UAB, Espanha)
 Equipa da Biblioteca (ISPA)  Luis Anglada (CBUC, Espanha)

IL@HUMASS
Literacia da Informação


Comunicação carlos lopes e maria pinto 14 de a bril_2010_no 10º congresso da bad _guimarães_

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Comunicação carlos lopes e maria pinto 14 de a bril_2010_no 10º congresso da bad _guimarães_

Ähnlich wie Comunicação carlos lopes e maria pinto 14 de a bril_2010_no 10º congresso da bad _guimarães_ (6)

Mehr von Carlos Lopes

Mehr von Carlos Lopes (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Comunicação carlos lopes e maria pinto 14 de a bril_2010_no 10º congresso da bad _guimarães_