Conferenza tenuta presso la ex SSAB da Evaristo Jimenez Contreras (Universidad de Granada) il 10-04-2014

1. Valutazione in scienze sociali e
umanistiche, il contributo della
bibliometria
Dr. Evaristo Jiménez-Contreras
Facultad de Comunicación y
Documentación
Universidad de Granada
1

2. • È possibile la valutazione?
• Il sistema spagnolo di valutazione
– Progetti: ANEP
– “cursus honorum”:CNEAI e ANECA
– I problemi delle Scienze sociali e Scienze
umanistiche
• Strumenti
– Giornali: Inrecx e CIRC
– Libri: SPI, Book Citation Index
Indice
2

3. È possibile la valutazione?

4. La percezione delle valutazioni
Atteggiamento dei ricercatori francesi verso i processi di
valutazione :
Gli esercizi valutativi di esperti non piacciono alla comunità
scientifica e tecnologica (in particolare di SC e U), certamente
non piacciono in Spagna ( ne in Italia?)
Alla fine, la resistenza può essere così forte da paralizzare le
valutazioni
Atteggiamento %
Fortemente contro 15
Accetta con "reparo" 85
Totalmente a favore 0
4

5. Cosa è la valutazione?
• La valutazione è inerente alla scienza.
– Peer review è uno dei tratti distintivi della ricerca
scientifica, è ciò che differenzia le riviste scientifiche
dalle altre
– E 'qualitativa e quantitativa
• Tuttavia, la valutazione della scienza, con
l'obiettivo di guidare il suo progresso, ottimizzare
le risorse, monitorare i progressi, ecc. è
qualcosa di completamente diverso e in qualche
modo estranea alla tradizione scientifica
5

6. E 'possibile la programmazione e la valutazione
in Scienze?
• Il processo di creazione e applicazione di nuova
conoscenza è un fenomeno complesso che
implica molti attori:
– governi, istituti di ricerca, imprese, società nel suo
insieme
• I suoi effetti e alcuni dei suoi fattori sono
intangibili in parte
• È incerto e talvolta imprevedibile
• Spesso genera polemiche e ha effetti
controproducenti
6

7. • Inoltre ci sono ragioni che sembrano
consigliare :
– L’ottimizzazione delle risorse
– La pianificazione degli investimenti
– La valutazione dei progetti
– La giustificazione presso la società
– ...
– La carriera scientifica
E 'possibile la programmazione e la valutazione
in Scienze?
7

8. Conseguenze:
Interne
Determina le carriere accademiche e la
gerarchia
Attribuisce il finanziamento
Aumenta l'efficienza del sistema scientifico
Esterne
Fino a un certo punto definisce
l'orientamento nella misura in cui è uno
strumento di PS
Rende conto ai gestori e alla cittadinanza
dello stato delle loro istituzioni scientifiche
8

9. • In termini generali le Scienze Esatte,
sperimentali, Ingegneria, Scienze
Biomediche hanno accettato le procedure
di valutazione note come Bibliometria
• Una parte delle scienze sociali anche:
Economia, Psicologia, Documentazione
• Ma non nel resto delle scienze sociali né
le scienze umane
Situazione generale nel mondo
9

10. Che cosa leggono e dove preferiscono pubblicare i
ricercatori?
Research Information Network and JISC. 2009

11. Come preferiscono essere valutati, Spagna?
11

12. Lo scenario spagnolo

13. Prima degli anni '90, nessuna regolamentazione,
endogamia, gruppi di pressione locali
Costituzione di CNEAI (Comisión Nacional de
Evaluación de la Actividad Investigadora)
all'inizio degli anni '90, il suo obiettivo era la
valutazione dell'università e degli ricarcatori di
CSIC
Criteri: fattore di impatto delle riviste e impatto
degli autori
Scienze umanistiche e diritto avevano loro
regolamento particolare
Negli anni seguenti questo metodo di valutazione
La situazione in Spagna, un po’ di Storia
13

14. • I ricercatori vengono valutati per potere
avanzare nella loro carriera accademica
• Hanno aumenti del loro stipendio (non
molto) e del loro riconoscimento (molto)
attraverso valutazioni
• Le proposte di ricerca sono anche in parte
valutate attraverso questi criteri. Le
istituzioni sono valutate anche in questo
modo
La situazione in Spagna
14

15. CNEAI prima
convocazione
Gli effetti di questa politica nelle scienze
15

16. • C´è un consolidato sistema di valutazione delle attività di
ricerca effettuato da due agenzie nazionali e molte
agenzie regionali
agenzie nazionali
Solo per valutazioni de
progetti
Quadro istituzionale attuale
16

17. ecc…
...e regionali
17

18. • Conseguimento del certificato di
accreditamento, che, insieme con il dottorato, è
un requisito essenziale al fine di richiedere
l'accesso ai posti di professore universitario
• Questo sistema si ispira al tradizionale processo
di peer review: una commissione di area e due
esperti nel settore di competenza
• È l'unica via per la promozione all'interno della
università
ANECA
18

19. Teoria: Una valutazione completa dei risultati
accademici…
19

20. ricerca
insegamento
gestione
trasferimento
...ma, in realtà
20

21. Articoli di giornali prestigiosi accettando come
quelli ogni giornale incluso nel elenco di JCR
Essempio delle scienze sociali
21

22. Criteri CNEAI ANEC
A
ANEP
Quantità di citazioni
Prestigio editoriale , delle collane in cui è stato publicato
il libro
Opinioni in riviste accademiche
Esiste un sistema di selezione e valutazione degli
originali
Testimonianze di qualità per le monografie di scienze
sociali e umanistiche
22

23. I problemi

24. • Le attuali banche dati internazionali (WOS,
Scopus) non sono rappresentative della
produzione nelle scienze sociali e umane
in Spagna
• C'è un importante fattore locale nella
nostra ricerca in molti campi di ricerca al
giorno d'oggi: Sociologia, Educazione,
Geografia .. per non parlare di Diritto
• Alcune forme di pubblicazione come le
monografie non sono valutate
correttamente in questi database
Panorama attuale
24

25. – Indicatori Quantativi ma anche Qualitativi
– Indicatori Qualitativi tipo A, B, C…
– Usare citazioni come parte di questo
processo, ma non allo stesso modo delle
Scienze Applicate
– Databases senza inclinazioni:
• In favore delle scienze sperimentali
• In favore dei paesi anglosassoni
• In favore della lingua inglese
Cosa vorrebero i ricercatori delle Scienze Sociali e
Umane
25

26. Strumenti

27. Scienze Sociale
Diritto
Scienze Umane
La famiglia In-recx
27

28. IN-RECS home page
28

29. • È utile?
– Hits > 600.000
– 500 ogni giorno
• Usato dalleagenzie?
– Usato da tutte ma non in tutte le discipline
Attualmente tutti questi servizi non sono
aggiornati per mancanza di finanzamenti
Uso
29

30. • CIRC classificazione
Questa classificazione comprende e classifica il master-list di:
Classificazioni del tipo A, B, C..

31. Formata da riviste di alto livello.
Per appartenere a questo
gruppo deve essere una rivista
internazionale con alto
prestigio, che ha superato una
valutazione rigorosa per poter
essere indicizzata in WOS o
ERIH INT1.
Riviste spagnole di qualita ma
non internazionali con tassi
elevati di citazione, che
rispettano gli standars. Inoltre
riviste internazionali con minore
prestigio potrebbero anche
essere comprese in questo
gruppo.
Piccole riviste spagnole, riviste
meno citate o che non rispettano
le norme editoriali dovrebbero
appartenere a questo gruppo.
Inoltre, sono incluse anche
riviste straniere marginali.
Questo ultimo gruppo è costituito
dalle riviste non incluse in
nessuna delle altre categorie, e
quindi, con un status scientifico
discutibile.
A B
C D
Classificazioni del tipo A, B, C..

32. -SCI, SSCI O A&HCI
2011 master list
- Elenco ERIH
classificate come INT1
- 1ºQ (2004-2008)
INRECS o INRECJ
- DICE o Latindex con
peer review
-Scopus Sociali e
Umanitate
- ERIH (il resto)
- 2ºQ, 3ºQ, 4ºQ (2004-
2008) INRECS o
INRECJ
- DICE senza peer
review
- Latindex nel Catalogo
Qualsiasi giornale non
incluso nei prodotti
precedenti
Riviste non
scientifiche??
A B
C D
Criteri pere essere compressi nelle categorie

33. Attualmente abbiamo una classificazione basata su indagini inviati
ai ricercatori riconosciuti con almeno un “sexenio” di ricerca
Le monografie
33

34. Essempio
34

35. • The database was finally available in
October of 2010 indexing 29,618 books
and 379,082 book chapters and covering a
time period from 2005 to the present
(currently it goes back to 2003)
• …could lead to some kind of Book
Publishers Citation Reports in which
scientific publishers would be ranked
according to some bibliometric indicator
similarly to what the Journal Citation
Reports does.
Torres-Salinas, D., Robinson-García, N., Campanario, J.M. & Delgado López-Cózar, E. (2013).
Coverage, specialization and impact of scientific publishers in the Book Citation Index. Online
Information Review, 38(1)
I libri in Web of Science
35

36. Origine delle case editrici e lingue
36

37. Non c'è
una sola
casa
editrice di
Francia,
Italia o
Spagna
Elenco generale
¡¡¡

38. • Netta prevalenza di editori in lingua inglese con un
profilo commerciale
• Scarsa presenza di “University Press”
• Non c'è quasi nessuna presenza di quei paesi con un
background scientifico importante nelle scienze
umanistiche e sociali, come l'Italia, la Francia o la
Germania
• C'è una sorprendente assenza o sottorappresentazione
di editori globalmente importanti come Peter Lang,
Pearson, Macmillan o John Benjamins
• Thomson ha spostato la stessa mentalità delle scienze
dure alle scienze sociali e umanistiche per quanto
riguarda la lingua
Bilancio
38

39. • Quadro normativo molto dettagliato sulla base di
indicatori quantitativi (bibliometrici
principalmente ma non solo)
• Ricercatori preoccupati ma non opposti
• L'amministrazione affina la procedura
progessivamente
• La situazione e le regole sono più chiare nelle
Scienze Sociali che nelle Scienze Umane
• Non sembra venire un cambiamento nelle regole
generale ma dobbiamo affinare gli strumenti
• I database internazionali con dati sull'impatto dei
libri non ci servono per il momento
Conclusioni finali e uno sguardo al futuro
39

40. • Grazie !!
• evaristo@ugr.es
• http://ec3.ugr.es/