1. La valutazione della ricerca in un paese
ritardatario: modelli a confronto
Alberto Baccini (DEPS Unisi)
ANVUR e politiche di sistema
Roma, 17 maggio 2012
Alberto Baccini, Valutare la ricerca scientifica

2. Alcune riflessioni introduttive
 A che serve valutare la ricerca?
 Separazione tra obiettivi della valutazione e sua realizzazione
 Chi valuta la ricerca?
 Struttura istituzionale della valutazione
 Come si valuta la ricerca?
 Peer review vs. bibliometria?
 Quanto costa valutare la ricerca?
 RAE £100M; VQR 300M€ (Sirilli); ERA 2012 diretti 35,8 mAU$; 27,90m€)
 Accuratezza vs. costi della valutazione: boiling frog syndrome
 Are we creating a Frankenstein monster? (Ben R. Martin 2012)
 Il vantaggio di arrivare in ritardo …
Alberto Baccini, Valutare la ricerca scientifica

3. Cosa si fa in giro per il mondo
 Diane Hicks (2009) ha contato 20 esercizi nazionali di
valutazione
 19 sono condotti da una agenzia indipendente.
 In Italia l’ANVUR, nata in origine come agenzia indipendente (Mussi/
Modica), è stata trasformata da Gelmini/Giavazzi in executive agency
del MIUR
 C. Pinelli, Rivista AIC http://www.roars.it/online/?p=4351
 10/20 usano bibliometria
 18/20 si valuta università/disciplina/dipartimento
 In Messico e Sud Africa si valutano gli individui
 http://www.nrf.ac.za/projects.php?pid=34
Alberto Baccini, Valutare la ricerca scientifica

4. In Italia
 In Italia si valutano i singoli prodotti (come in UK)
 Il giudizio sarà comunicato riservatamente a ciascun ricercatore
 Si chiamano “soggetti valutati” i ricercatori
 Nel bando pre-Gelmini/ANVUR si chiamavano correttamente “soggetti
interessati”
 Classifiche di Università/Dipartimenti
 Il Ministro (davvero!) ha definito la griglia di valutazione dei
singoli prodotti (50:10:20:20), i punteggi (1:0,8;0,5;0), le
penalizzazioni -0,5 per ogni prodotto mancante
 Confusione di ruoli istituzionali
 Origini di molti problemi tecnici del VQR (valutazione a due stadi; G. De
Nicolao: Nonna Papera e formula Ammazzatenei)
Alberto Baccini, Valutare la ricerca scientifica

5. Cosa avremmo potuto fare e non abbiamo
fatto: il modello REF
 Peer review universale su 4 prodotti di un (sottoinsieme) di
ricercatori di ogni istituzione
 Peer review condotta da 4 main panel e 36 sub-panel
 David Sweeney, direttore dell’HEFCE,
 “With regard to our assessment of research previously through the Research Assessment
Exercise and the Research Excellence Framework, we are very clear that we do not use
our journal Impact Factors as a proxy measure for assessing quality. Our assessment
panels are banned from so doing. That is not a contentious issue at all.
 He added that “the [REF] panels are meeting now to develop their detailed criteria, but it
is an underpinning element in the exercise that journal Impact Factors will not be used”.
 http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
 Schema guidato di valutazione con metrica unica
Alberto Baccini, Valutare la ricerca scientifica

6. Cosa avremmo potuto fare e non abbiamo
fatto: il modello ERA 2010
 Modello bibliometrico puro basato su ranking delle
riviste
 Ranking di tipo peer con consultazione durata 2
anni (!)
 http://www.arc.gov.au/era/journal_list_dev.htm
 20.712 riviste divise in 4 livelli (5:10:30:50)
 Lista universalmente e totalmente nota prima
 http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm#1
 Profili disciplinari
 http://www.arc.gov.au/pdf/ERA_s2.pdf
Alberto Baccini, Valutare la ricerca scientifica

7. Cosa avremmo potuto fare e non abbiamo
fatto: il modello ERA 2012
 Abbandono ranking riviste
 “I think we were very interested to see that in Australia, where they conceived an
exercise that was heavily dependent on journal rankings, after carrying out the first
exercise, they decided that alternative ways of assessing quality, other than journal
rankings, were desirable in what is a very major change for them, which leaves them
far more aligned with the way we do things in this country” (David Sweeney)
 (Vanclay 2011)
 Why are ranks no longer being used? http://www.arc.gov.au/era/faq.htm
 Copertura universale: analisi delle citazioni (Scopus)
 30% dei prodotti soggetti a peer review (su indicazione delle
università) per settori selezionati
 Struttura della rilevazione
 http://www.arc.gov.au/xls/era12/ERA_2012_Discipline_Matrix.xls
Alberto Baccini, Valutare la ricerca scientifica

8. Cosa sta facendo l’ANVUR
 Aree 1-9
 Valutazione singolo prodotto (REF-like)
 Con strumenti bibliometrici (inedito)
 Bibliometria differenziata per GEV (inedito)
 Siccome l’informazione di base è “rozza”
 Si “corregge” con informazione “rozza” (ranking riviste)
 Quadrati magici (inediti)
 Impossibilità di scelta informata
 189 pagine di simulazione
http://www.crui.it/HomePage.aspx?ref=2071#
Alberto Baccini, Valutare la ricerca scientifica

9. Cosa sta facendo l’ANVUR
 Aree 10-12 e 14
 Informed peer review
 Con classificazioni delle riviste messe a punto in modo completamente
opaco:
 Distribuzioni di riviste molto diverse per ambito disciplinare
 Ci sono indizi che i GEV siano stati catturati dai valutandi! (Sociologia,
filosofia?, diritto, economia)
 Peer review a punteggio guidato che rende a priori improbabile l’attribuzione
di un prodotto alla classe A:
 A. Banfi http://www.roars.it/online/?p=5757
 Perché non si sono adottate le guidelines europee per la peer
review?
 http://www.scribd.com/doc/63421310/European-Peer-Review-Guide
Alberto Baccini, Valutare la ricerca scientifica

10. Cosa sta facendo l’ANVUR
 Area 13
 Classifica riviste non nota:
 fatta ex post su criteri non noti (IF o IF5Y)
 Alle riviste non presenti in WoS sarà imputato (come?) l’IF sulla base dei
dati di GoogleScholar
 Saranno riammesse riviste italiane (?)
 Si potrà passare di categoria in presenza di articolo con “numero
significativo di citazioni” (?)
 Prodotti diversi da articoli andranno a peer review
 Il porto delle nebbie
Alberto Baccini, Valutare la ricerca scientifica

11. Alcune proposte
 La VQR è un esercizio sperimentale vincolato da regole mal disegnate (dall’ex
ministro)
 Ridurre l’enfasi punitiva (scorporare dalla formula ammazza-atenei i silenti!)
 Serve per progettare la prossima VQR
 Il ministro sia cauto nell’usare i risultati della VQR per l’FFO
 Trasparenza:
 pubblicità delle procedure adottate per nomina GEV;
 nomina referees: elenchi pubblici ex post, con indicazione del numero dei prodotti
valutati (Lincei)
 Completa disclosure dei dati elementari finali
 Sterilizzare completamente l’uso delle classifiche di riviste per i GEV 10-12 e
14; GEV 13: classifica deve essere pubblicata
Alberto Baccini, Valutare la ricerca scientifica

12. Conclusioni
Banksy, Mayfair
Alberto Baccini, Valutare la ricerca scientifica