3. 주요 대학평가 현황 (2/2)
• 대학평가 방식
QS World University Academic Ranking of
Rankings World Universities
평가 지표가 총 6개에 불과 평가 지표가 총 6개에 불과
교육의 질을 ‘교수당 학생수’ 지표로만 평가 총량지표로 구성
(비중 20%) 대학 규모를 고려하지 않음
평가 비중이 Reputation에 치우침(비중 50%) (이는 규모가 큰 대학이 유리함을 의미)
- Academy peer review = 40%
노벨상, 필즈상 수상자 수를 평가 지표로
- Employer review = 10%
활용하며, 이의 비중이 매우 높음(비중 30%)
소수 서양권 대학에게 유리하게 평가
조선일보-QS
중앙일보 대학평가
아시아 대학평가
평가 지표가 총 9개에 불과 총 32개 지표로 구성
교육의 질을 ‘교수당 학생수’ 지표로만 평가 웹사이트에 평가의 대학 데이터 및
(비중 20%) 점수 산정방법을 공개
평가 비중이 Reputation에 치우침(비중 40%) 해마다 일부 전공분야를 대상으로
- Asian Academy peer review = 30% 학과평가 실시
- Asian Employer review = 10%
(5년 간격으로 반복평가)
4. THE-Thomson Reuters World University Rankings
• 합리적인 대학평가의 필요성 강조
서로 다른 기준으로 인한 혼돈 및 평가 한계점 존재
합리적이며 통합된 대학평가 제시
THE-Thomson Reuters
World University Rankings
정성적 평가 최소화 객관화된 데이터 중심의 평가
합리적인 평가 방식으로 미국, 유럽, 아시아 등 전세계적으로 좋은 반응을 얻고
있음
총 13개 지표로 구성 다른 세계대학평가에 비해 세분화된 지표 제시
지역별, 연구분야별 Normalize를 통한 상대적인 평가 수행
지역별, 연구분야 순위를 추가적으로 발표
5. Compare
Highly
INST Field Papers Citations Citations Top Hot Paper Cited
Per Paper Paper 2yrs Paper
KOREA Univ ALL FIELDS* 16,569 124,829 7.53 149 3 153
Seoul Natl Univ ALL FIELDS* 39,469 380,562 9.64 401 11 401
Yonsei Univ ALL FIELDS* 21,391 187,572 8.77 172 5 171
POSTECH ALL FIELDS* 8,840 106,848 12.09 133 6 146
KAIST ALL FIELDS* 16,644 139,052 8.35 149 0 149
SKKU ALL FIELDS* 15,548 119,916 7.71 113 3 113
ChonBuk Natl Univ ALL FIELDS* 6,296 42,140 6.69 33 1 32
6. Compare
Field Papers Citations Citations Per Paper Top Paper
K 1,032 9,789 9.49 3
S 2,669 31,686 11.87 9
Y 1,240 13,319 10.74 4
BIOLOGY & BIOCHEMISTRY
P 532 7,402 13.91 4
KA 796 11,905 14.96 7
CB 442 4,318 9.77 3
K 1,943 21,833 11.24 29
S 4,376 56,067 12.81 56
Y 2,265 27,119 11.97 38
CHEMISTRY
P 1,949 37,980 19.49 37
KA 2,867 39,125 13.65 41
CB 959 8,546 8.91 4
K 2,625 16,329 6.22 9
S 8,165 75,853 9.29 48
Y 6,004 44,040 7.34 23
CLINICAL MEDICINE
P 120 1,750 14.58
KA 187 2,418 12.93 2
CB 836 6,451 7.72 4
7. Compare
Field Papers Citations Citations Per Paper Top Paper
K 1,932 8,283 4.29 18
S 4,029 19,784 4.91 35
Y 2,149 9,065 4.22 14
ENGINEERING
P 1,444 8,535 5.91 20
KA 4,288 19,617 4.57 29
CB 596 2,095 3.52 5
K 1,114 6,815 6.12 6
S 2,681 27,855 10.39 56
Y 1,843 14,140 7.67 13
MATERIALS SCIENCE
P 1,379 12,993 9.42 21
KA 2,172 19,408 8.94 20
CB 786 5,017 6.38 6
K 2,682 31,216 11.64 60
S 4,824 60,853 12.61 101
Y 2,689 39,047 14.52 50
PHYSICS
P 1,868 18,368 9.83 19
KA 3,202 24,517 7.66 22
CB 907 6,083 6.71 8
10. FACTOR WEIGHT
Teaching - the learning environment (including reputation) 30%
Research - volume, income and reputation 30%
Citations - research influence 30%
Industry income - innovation 2.5%
International mix - staff and students 7.5%
11. Citations – 30% (2011 년 9월 6일 새 기준)
• 출판 문헌의 총 인용 수
• 연구의 중요도/관련성에 대한 지표
• 대학의 연구 영향력 측정
• 주제별, 국가별 정규화를 통한 치우침 보완
• 정규 분포도 상의 Score로 표시
• 데이터 추출 : Web of Science
11
13. TOP200 내 순위와 세부 지수간 상관관계
TOP200 TOP50 TOP100 TOP101-200
TOTAL TOTAL TOTAL TOTAL
RANK RANK RANK RANK
Teaching .741** .909** .809** .198*
International mix .153* -0.055 0.118 -0.011
Industry income .223** .394* .373** 0.113
Research .716** .910** .860** .376**
Citations .721** .420** .559** .362**
** Correlation is significant at the 0.01 level (2-tailed).
* Correlation is significant at the 0.05 level (2-tailed).
15. TOP 200
• 전체 순위와 Teaching 간의 상관관계가 높다.
• 전체 순위와 Research 간의 상관관계가 높다.
• Teaching과 Research간의 상관관계가 높다 ( r =
.750, p <.01)
– 둘다 reputation이 포함된 요소
– 둘다 Weight가 30% 이상인 요소
17. TOP 50
• 순위와 Teaching 간의 상관관계가 높다.
• 순위와 Research 간의 상관관계가 높다.
• Teaching과 Research간의 상관관계가 높다 ( r =
.892, p <.01)
– 둘다 reputation이 포함된 요소
– 둘다 Weight가 30% 이상인 요소
19. TOP 100
• 순위와 Teaching 간의 상관관계가 높다.
• 순위와 Research 간의 상관관계가 높다.
• Teaching과 Research간의 상관관계가 높다 ( r =
.805, p <.01)
– 둘다 reputation이 포함된 요소
– 둘다 Weight가 30% 이상인 요소
• Industrial Income과 Teaching, Industrial Income과
Research간의 보통의 상관관계 ( r = .408, r = .501,
p <.01, respectively)
21. TOP101-200
• 순위와 Teaching 간의 상관관계가 낮다.
– 이 순위내의 대학들이 비슷한 값을 보이므로,
이를 통한 변별력은 작다.
• 순위와 Research 간의 상관관계가 보통이다.
• 순위와 Citation 간의 상관관계가 보통이다.
– Research와 Citation은 50 미만의 percentile을
보인다.
22. Citation Impact Score
• Subject normalization
- Citation 트랜드가 주제분야별/년도 별로 다른 것을 감안하여 표준화 시키는
것
- 기대성과와 실제 성과를 비교하는 것으로, 같은 주제 분야/연도에 있는 모든
페이버의 글로벌 평균이 기대성과 이다.
- 250개 분야, 5년을 기준으로 하기 때문에 1,250(250*5) 셋트가 나오게 된다.
- 사용하는 기관명 변형의 차이가 있을 수 있고, 사용하는 데이터의 차이는 있을
수 있지만 이러한 연구 평가를 하는 다른 기관들의 절차는 비슷함
- Subject normalization에서 나온 결과물은 대학의 강점 주제분야와 상관없이
대학의 성과를 비교하게 된다
- Subject normalization을 하지 않게 되면 highly cited subject, 생명과학/의학
등에 치우쳐 결과가 나오게 된다.
23. Citation Impact Score
• Subject normalization
각 대학의 실제 성과를 글로벌 기준으로 나누게 되어서, 상대적 영향력이 산출됩니다.
글로벌 기준은 같은 연도/같은 분야에서 출판된 모든 페이퍼의 영향력입니다.
각 주제 분야의 상대적 영향력(relative impact) 의 평균 값을 구합니다.
(1.41 x 4635) + (0.96 x 1847) + (1.07 x 621) + (1.53 x 1290) + (1.29 x 4525)
___________________________________________________________ = 1.30
(4653 + 1847 + 621 + 1290 + 4525)
이 의미는 월드 기준보다. 1.3배 높다는 의미입니다.
24. Citation Impact Score
• Regional Modification
- 기관이 소속된 국가의 인용 영향력(citation impact)에 기준하여 조정하는
것으로, 국가의 정책,환경, 언어적 차이에 따른 인용 현상의 쏠림 현상을
극복하기 위한 조정.
- 이 조정은 중국, 한국, 중동 등 국가가 혜택이 됩니다. 이러한 국가들은
상대적으로 미국, 영국, 스위스 등 인용을 많이 받는 국가들에 비해 인용이
적음.
• Scores
- 전체 대학들의 분포에서 어디에 속하느냐에 기준하여 생성.
- 프로파일 프로젝트는 전 세계적으로 베스트 400 + 여개 대학을 기준으로
하기 때문에 선택된 그룹 내에서의 위치는 글로벌 기준으로 했을 때 보다 낮을
수 있다.
• Score가 50 이라고 해서 Citation Impact가 50이라는 것을 의미 하는 것이
아니라, 다른 대학들과 비교한 누적 확률 점수를 의미. 예를 들어 score 가 50
이라면 이 리스트에 있는 대학들의 50%가 그 대학 밑으로 속한다는 의미 .
• 이 Score는 절대적인 성과(Absolute performance)로 사용하는 것이 아니라,
다른 지료(indicator)의 다른 타입 데이터를 조합해서 랭킹을 만드는데 사용.
25. SCIE와 SCI 구분
1)매체의 변화에 따른 SCI와 SCIE
Print - > CD -> Web
년 간 발행주기 4회 (분기 발행)
Web의 등장과 SCI의 반영 의 변화 ( 지속적인 반영가능)
2)저널에 대한 Monitor에 의한 SCI와 SCIE
신규 등록 저널 그리고 새롭게 Issue가 되는 저널에 대한 심사 과정 수행
3)두 가지 기준의 동시성
26. IF 산정방식
• IF를 산정할 때,
- 분모는 인용할 수 있는 항목으로 Articles, Reviews, Notes
- 총피인용횟수인 분자는 저널 내 모든 형태의 자료 포함
(editorials, letters 등)
• IF를 높이기 위해서는,
- 일반적으로 Reviews가 저널보다 많이 인용되기 때문에 IF
산정할 때 Reviews 형태의 논문을 많이 포함하고 있는 저널이
유리하며, 인용할 때 동일 저널에 게재된 논문을 인용하는
경향이 있기 때문에,발간 주기가 짧거나, 혹은 흥미 있고
논쟁을 제공할 수 있는 사설, 항목들을 포함하고 있는 저널이 IF
산정에 유리하다, 또한, 긴 논문(long articles)이 짧은(short)
논문보다 더 많이 인용될 확률이 있다.
27. WHAT’S IN THE DENOMINATOR?
ITEMS COUNTED: ITEMS NOT COUNTED:
• Original research articles • Editorials
• Review articles
27
• Discussions
• Proceedings papers • Commentaries
(published in the journal)
• Meeting abstracts
• Book reviews
• News items
“Citable Items” • Letters typically not counted
unless they function as
“articles”
“Other Items”
28. Item About An Individual
Database Review
Music Performance Review
Press Digest
Chronology
Biographical
Letter
Abstract of Published Item
Meeting Abstract
News Item
CC Meeting Abstract
Reprint
CC Meeting Heading
Bibliography
Note
Hardware Review
Fiction, Creative Prose
Software Review
Proceedings Paper
Art Exhibit Review
Script
Article
Review
Book Review
Music Score
Correction
Theater Review
Discussion
TV Review, Radio Review
Editorial
Excerpt
Film Review
Poetry
Music Score Review
Dance Performance Review
Record Review
29. JCR 에 관하여…
JCR은 SCIE와 SSCI로 구성 AHCI는 존재 하지 않음
Impact Factor 최근 2-3년의 Trend
JCR은 과학분야의 경우 SCIE만 구성
JCR의 IF 값으로 순서를 나열 함으로 인해 상이한 분야간에 비교 될 수 없음
피 인용 건 수의 경우 시간이 지나면 계속 증가
JCR은 전체 논문 수록자의 피 인용을 반영
31. SCIE 등재를 위한 전제조건
• 저널명이 차별적인가?
• 저널의 발행 Issue가 정기적이며 규칙적인가?
• 편집위원에 대외 인지도가 높은 사람이 얼마나 포함되었는가?
• 전체 Article의 선정기준을 가지고 있는가?
• 등재기준을 가지고 있으며 엄격한 절차를 진행하고 있다는 증빙이
있는가?
• E-저널 출판을 하고 있는가?
• Article의 포맷에 통일성을 가지고 있는가?
• 영문화 작업이 되어있는가?
• 관련분야의 DataBase에 등재 되어있는가?(미약)
• 지나친 자체인용등에 대한 제약기준을 가지고 있는가?
• 학회의 인지도나 관련분야에 영향력은 어떠한가?
• Cover to Cover인가?
35. 타 교의 연구 분석 사례
• POSTECH
• KAIST
• Seoul National University
• Yonsei University
• SKKU
• Korea University
Editor's Notes
각 주제 분야의 상대적 영향력(relative impact)런 다음, 아래와 같이 평균 값을 구해냅니다. 1.41 x 4635) + (0.96 x 1847) + (1.07 x 621) + (1.53 x 1290) + (1.29 x 4525)____________________________________________________________________________________________________________________________________________________________________(4653 + 1847 + 621 + 1290 + 4525) = 1.30이 의미는 월드 기준보다. 1.3배 높다는 의미입니다.
