1. Financování české vědy,
Metodika hodnocení výsledků
Jiří Málek
RVVI, KHV
18.4.2013

2. FINANCOVÁNÍ
Stručný nástin historie
Struktura státního rozpočtu
Financování projektů
Financování institucí
Aplikovaný vs. základní výzkum
Vývoj proporcí mezi AV a univerzitami
Souvislosti s metodikou hodnocení

3. Stručný vývoj od roku 1992
Vznik GAČR
První RVV (15.říjen 1992 )
První VaV rozpočet 1993 (~ 1,5 mld. Kč)
Po rozdělení ČSR hodnocení AVČR - redukce
Další formy projektového financování
IGA MZd, GAAV, program na podporu mladých týmů na
VŠ, atd.
Výzkumné záměry 1999-2003, 2005 – 2009 ...11
výhody a nevýhody
odlišný přístup v rámci VŠ a AVČR
Zákon 130/2002 Sb.
zakotvení institucionálních výdajů
Nespecifikovaný a specifický výzkum od roku 1997
zajímavý vývoj nejen z hlediska pojmosloví
3

4. Státní rozpočet VaVaI 2013
Rozpočet 2013
Účelové
13,094 13,023 Institucionální

5. Financování projektů 2013
Účelové výdaje 2013
GAČR
TAČR
3% 2%
4% 3% 25% MPO
6% MŠMT
9% MŠMT_VŠ
MZ
MV
13% 19% MK
16% MZe
MO
AVČR

6. Institucionální financování
Institucionální výdaje 2013
19%
10% RVO+VZ
Nákl. činnost
Ostatní
71%
AVCR: 1,130 mld.
GACR: 0,110 mld.
TACR: 0,099 mld.
Govt.: 0,033 mld.

7. Rovoj výzkumných organizací
Výdaje na RVO+VZ 2013
MŠMT
4% 1% AVČR
11%
AVČR_nč
48% MZ
MPO
MZe
32% MO
MK
MV

8. Struktura RVO
Medical & Health Sci.
15% 11% Biological Sci.
12% Chemical Sci.
17% Physics
Mathematics
Earth Sci.
15%
5% Agri. Sci.
5% 5% 15% Technical Sci. & IT
Social Sci. & Humanities

9. Vývoj financování AV a univerzit
2006 - 2013
5 ,5
5 ,0
RVO + VZ (mld. Kč)
4 ,5
4 ,0
3 ,5
3 ,0
U n ive rzity
2 ,5
A V Č R (vče tn ě N Č )
2 00 6 2 00 8 2 01 0 2 01 2 2 01 4
ro k

10. Celostátní vývoj počtu publikací
v impaktovaných časopisech
18000
S lo v e n s k o
16000
ČR
14000 Č e s k o s lo ve n s k o
Publikace
12000
zá k o n
10000 1 3 0 /2 0 0 2
8000
6000
bodování
4000
2000
1980 1984 1988 1992 1996 2000 2004 2008 2012
ro k

11. Vývoj v rámci institucí
1980 - 2010
14000
C R & U n iv
12000 C o u n try
Impaktované publikace
C R & A ca d S ci
10000
8000
6000
4000
2000
1980 1985 1990 1995 2000 2005 2010
ro k

12. Vývoj počtu citací
1980 - 2010
100000
C o u n try
C R & U n iv
C R & A cad S ci
80000
Počet citací
60000
40000
20000
1980 1985 1990 1995 2000 2005 2010
ro k

13. Essential Science Indicators
(THOMSON REUTERS)
Kategorizuje citace na 9 mil. publikací
zveřejněných za posledních 10 let v
rámci časopisů indexovaných na Web
of Science
Tyto práce jsou rozděleny na 22 oborů
(FIELDS) podle časopisů, kde jsou
uveřejněny
Jsou vybrány pouze nejvíce citované
práce, jejichž autoři a instituce jsou
seřazeny podle počtu získaných citací
(ALL FIELDS)

14. Instituce v ČR (2000 – 2010)
# Institution Citation / h-index
paper
214 Acad. Sci.. 9,19 -
402 Charles Univ. 11,29 -
938 Masaryk Univ. 7,15 57
1446 Palacky Univ. 6,98 50
1590 Univ. S. Bohemia 7,68 46
1689 Inst. Chem. Technol. 5,82 44
1838 Czech. Tech. Univ. 4,40 50
2075 Univ. Pardubice 6,56 36
3601 Univ. W. Bohemia 4,60 25

15. HODNOCENÍ
Lze hodnotit vědu ? Jak se hodnotí ve světě ?
Můžeme hodnotit produktivitu institucí ?
Legislativní rámec
Minulost a současnost Metodiky hodnocení
Proč potřebujeme změnu ?
V čem změna spočívá ?

16. Lze hodnotit vědu ?
Opravdovou vědu jen velmi
obtížně
hodnotné výsledky se často ztrácejí v balastu
často nevyhovují zavedeným kategoriím
kvalita lidí se obvykle pozná až začnou chybět
rutina versus originalita
Pokud však chceme alespoň
trochu spravedlivě rozdělit
peníze, tak hodnotit prostě
musíme
16

17. Jak se hodnotí věda ve světě
Lesk a stíny světových žebříčků univerzit
(US News &World Report, THES, Shanghai Jiao Tong)
Lze podle těchto žebříčků financovat ?
Britský „Research Assessment Excercise“
Lombardiho projekt měření univerzitní výkonnosti v
USA (výdaje, ocenění, PhD, PostD, SAT)
Nesrovnatelnost měřítek a zvyklostí …
17

18. Publikační produktivita institucí *
2001 - 2005
25 Harvard
MIT
Oxford
20
Publikace / AP
Princeton Stanford
Cornell
15 Duke
ČR
UCLA
10
Columbia CSIC
Yale
5 TUM
AVCR
UK
0
0 100 200 300 400
Roční dotace VaV / AP (tis. USD) 18

19. České okénko
2001 - 2005
3 ,5
Šířeji zaměřené VŠ
3 ,0 VSCHT
AVCR
2 ,5
publikace / AP
UK
2 ,0 VFU
MU
1 ,5
UJC U
PA
Technické VŠ
1 ,0 ZCU UP
M ZLU CVUT
0 ,5 SU CZU
U JEP U S B -L U
V TB T
TU VUT
UHK
0 ,0
0 200 400 600 800 1000 1200
D o ta c e V a V / A P ( tis . K č )

20. Legislativní rámec
(zákon 130/2002 Sb.)
Zákon jasně říká, že návrh výdajů na
institucionální podporu je členěn podle VO
§5a (odst. 1, písm. a)
Institucionální podporu poskytne následně
poskytovatel výzkumné organizaci na
základě zhodnocení jí dosažených výsledků
Postup tohoto zhodnocení výsledků je pro
výzkumnou organizaci zcela konkrétně
předepsán dle §6 (odst. 2, písm. c)

21. Metodika hodnocení výsledků VO
(prováděcí předpis vyplývající ze Zákona)
Přípravu Metodiky a její předložení vládě
zabezpečuje RVVI (§35, odst 2, písm. c)
RVVI následně provádí též hodnocení výsledků
výzkumných organizací podle platné Metodiky
(§35, odst 2, písm. d)
RVVI následně promítá výsledky hodnocení do
návrhu výdajů státního rozpočtu na výzkum a
vývoj a to konkrétně do výše institucionální
podpory VO dle §5a, §6 (odst. 2, písm. c) a §7
(odst. 6)

22. Jak probíhalo hodnocení výsledků
výzkumných organizací ?
Od roku 2004 jsou ročně publikována bodová
hodnocení VO na základě RIV dle postupu
definovaného v Metodice hodnocení výsledků VO …
V letech 2010 - 2011 probíhal v souladu se zákonem
přechod ze systému výzkumných záměrů na systém
každoročního průběžného hodnocení na základě
Metodiky (vždy za 5 let)
Rok 2012 byl již plně financován podle nového
systému na základě Metodiky
Rozpočet na letošní rok na úrovni poskytovatelů
přihlíží pouze z 20% k Metodice. V příštím roce se
zřejmě bude postupovat obdobně

23. K čemu slouží Metodika ?
Metodika je vhodná pro rozdělení
institucionální podpory mezi
poskytovatele
Už méně se hodí pro rozdělení podpory
mezi VO v rámci poskytovatelů
Je zcela nevhodná pro hodnocení
malých výzkumných skupin a
jednotlivců

24. Proč nová Metodika ?
Je třeba respektovat Zákon a naplnit povinnosti
RVVI dané §35
Současná Metodika (2010-2012) je oprávněně
kritizována pro některé zřejmé nedostatky
Zřejmě nelze čekat na výsledky projektu IPN
Metodika, které budou v implementovatelné
podobě k dispozici nejdříve v roce 2016 (spíše
však později)
Je tedy asi vhodné připravit upravenou podobu
současné Metodiky (M13), která bude platit po
dobu přechodného období

25. Východiska
Národní politika VaVaI (opatření A 3-1)
IPN Audit VaVaI (závěrečná zpráva, bod 7)
Dlouhodobé principy hodnocení VO
(strategický materiál RVVI z roku 2010)
Princip 1: Předpokládá se vznik velkého
hodnocení, které bude výsledkem projektu IPN …
„Do doby, než vznikne bude fungovat malé
hodnocení, probíhající každoročně na základě
sběru dat v IS VVI“

26. Základní principy M13
Peer-review hodnocení výsledků
ve společenských a humanitnich
vědách
Hodnocení kvality výsledků, které
VO vyberou jako své nejlepší
Aplikační výzkum bude hodnocen
podle patentů a podílu VO na
zdrojích získaných v grantových
soutěžích

27. Pilíř I
Kombinace stávajícího systému hodnocení podle numerických
indikátorů s prvky peer-review
Numerickými indikátory se budou hodnotit obory, ve kterých je
tento způsob obecně uznávaný
Peer-review bude hrát významnější roli v oborech (SHV), kde
jako výsledky převažují knihy nebo časopisy, které nejsou
zahrnuty ve světově akceptovaných databázích (subpilíř I)
Bodová hodnota patentů se sníží: 100-50-20
Pro vybrané obory je navrženo zařazení časopisů z databáze
SCOPUS
Metodika bude oddělena od přípravy SR
Hodnocení bude probíhat v rámci oborových skupin, tak jako
doposud

28. Oborové skupiny
1. Společenské a humanitní vědy A, B, C
2. Technické vědy a informatika
3. Matematické vědy
4. Fyzikální vědy
5. Chemické vědy
6. Vědy o zemi
7. Biologické vědy
8. Zemědělské vědy A, B
9. Lékařské vědy

29. Subpilíř I
Verifikace a hodnocení všech uplatněných výsledků v kategoriích
B, C a JREC ve struktuře panelů oborových skupin pro společenské,
humanitní a umělecké vědy
Splnění základních kritérií bude hodnoceno 5 (2), nesplnění -20
(-8) body
Každý výsledek hodnotí 3 hodnotitelé v rámci odborných
hodnotících a verifikačních panelů a rozřadí do 3 kategorií,
číselná vyjádření se sčítají (3 – 9)
Bodová hodnota se pohybuje v intervalu 5 (2) – 180 (40)
Výsledné bodové hodnocení a slovní zdůvodnění se zveřejní v
RIV
Při ustavování (sub)panelů se bude přísně dbát na (i) vyloučení
konfliktu zájmů, (ii) vysokou odbornost hodnotitelů v daném
oboru, (iii) posouzení každého výsledku několika hodnotiteli, (iv)
koordinaci uplatňování kritérií napříč (sub)panely, (v)
transparentnost.
Hodnocení bude rozložedno do 2 let. Logistika a procesy
verifikací a hodnocení budou předem ověřeny (na již uplatněných
výsledcích)

30. Pilíř II
Každá VO (univerzity po fakultách) vybere určitý počet libovolných
výsledků v RIV, které sama považuje za kvalitní (včetně oborové
skupiny kde má být výsledek posuzován)
Oborové skupiny budou stejné jako v pilíři I
Bude určena kvóta pro počet výsledků vybraných danou VO
k expertnímu posouzení, (např. jeden výsledek na každých 10 MKč instit.
podpory)
K danému výsledku VO dodá zdůvodnění, proč jej považuje za kvalitní
(citace, komercionalizace, výrazné ovlivnění oboru, atd.).
Výsledky budou posouzeny expertními panely v rámci oborových skupin
napříč všemi VO a v každé skupině bude vybráno 20% nejlepších
výsledků
Budou stanovena pravidla pro míru příspěvku dané VO k danému
výsledku (pokud půjde o výsledek více institucí)
Tomuto indikátoru bude alokováno 10% z celkového počtu bodů, které
se budou mezi VO přerozdělovat na základě expertního posouzení
výsledků
Určitý počet bodů bude přiznán VO, jejíž pracovníci v uplynulém
pětiletém období uspěli v získání ERC grantu

31. Pilíř III
V rámci tohoto pilíře je navržen postup ve dvou krocích. Nejprve budou
zohledněna bodová ohodnocení patentů v rámci pilíře I, které byly vykázány
jednotlivými VO v daném roce
V dalším kroku se množství bodů přidělené patentům odečte od celkového
počtu bodů alokované na výsledky aplikovaného VaV (15%) a tato zbylá část
bodů se rozpočítá mezi jednotlivé VO v poměru neinvestičních nákladů
vyplacených VO na realizaci aplikovaného výzkumu z projektů TAČR, MPO,
7RP atd.
Pro tento typ hodnocení nebude možné uplatnit finanční náklady vyplývající
z výzkumných záměrů, rozvojových projektů MŠMT, rozvojových projektů
z fondů EU (např. OPVK, VaVpI), nebo z infrastrukturních projektů výzkumu a
vývoje
Zavedení Pilíře III. si vyžádá novelizaci nařízení vlády č. 397/2009 Sb., o
informačním systému VaVaI
Zahrnutí smluvního výzkumu bude odloženo

32. Garanti jednotlivých pilířů (KHV)
prof. Zdeněk Němeček, MFF UK (pilíř I.)
prof. Tomáš Opatrný, PřF UP (pilíř II.)
prof. Josef Psutka, FAV ZČU (pilíř III.)

33. Průběžné informování odborné veřejnosti
Česká konference rektorů
Předsednictvo Rady vysokých škol, komise
Děkani přírodovědeckých fakult
Děkani chemických fakult
Děkani filozofických fakult
Resorty: MŠMT, MPO (ostatní)
Vědecká rada GAČR
Výzkumná rada TAČR
Rektoři uměleckých vysokých škol
Vědecká rada AVČR
Akademické fórum

34. Stanoviska k návrhu
Podpora děkanů přírodovědeckých, technických a
lékařských fakult
Doporučení projektového týmu IPN Metodika nezavádět
jiné změny než peer-review knih
Záporné stanovisko Vědecké rady AVČR
"... ČKR podporuje pokračování prací na přípravě metodiky
hodnocení výsledků výzkumu, vývoje a inovací pro účely
financování výzkumných institucí v přechodném období do
případné aplikace výstupů IPN projektu Metodika„
„Rada VŠ podporuje další práce na metodice hodnocení
výsledků výzkumu 2013 a vyjadřuje přesvědčení, že tyto
práce míří správným směrem„

35. Jak dál v příštích 4 - 5 letech ?
Podaří se přijmout navrženou M13
a odstranit nejvíce kritizované
nedostatky současného systému
hodnocení VO ?
Nebo v přechodném období bude
platit dále současná Metodika,
která je prodlužována od roku
2010 ?