基于SciVal中外同类型高校评价指标选择与应用

材料科学（10.30%）、计算机科学（10.10%）、数学、化学、化学工程、能源、环境科学、生物化学/遗传学与分子生物学。其中前四个学科的产出超过10%；而社会科学研究成果的产出没有达到1.00%。MIT产出高于1.00%的学科共有12个：物理学与天文学（15.88%）、工程（14.59%）、计算机科学（10.99%）、材料科学、生物化学、遗传学与分子生物学、医学、数学、化学、地球与行星科学、化学工程、社会科学和能源。其中前三个学科的产出超出10%；社会科学研究成果的产出为2.30%。

3.2 引文（citation）指标

SciVal分析工具中提供的引文指标包括引文总数（Citation Count）（可以排除自引）、篇均引文数量（Citations per Publication）和归一化影响因子等（Field-Weighted Citation Impact， FWCI）。引文总数和篇均引文数量是比较常用的两项指标，我们在此不做详细分析。归一化影响因子，是专家在考虑到不同学科发文平均数量不同所导致的影响权重不同的情况下，引入了“（学科）领域归一化影响因子”这个文献计量学指标，这个因子等于1代表该领域的世界平均水平，这样就可以将分析结果与世界平均水平进行比较了。DLUT和MIT归一化影响因子（排除了自引）发展趋势如图3所示。

图3显示，整体上看，MIT的归一化影响因子水平远远高于DLUT。MIT归一化影响因子发展相对比较平稳，波动介于2.25-2.52之间，1996-2014年间的平均值为2.43。DLUT归一化影响因子发展虽然有波动，但整体上的上升趋势比较明显，尤其是2009年之后；2012和2013两个年度略超世界平均水平1；1996-2014年间的平均值为0.72。就引文总数（排除自引）而言，MIT在1996-2014年的引文总数为3，648，231次；DLUT在此期间的引文总数为239，026次。篇均引文数量（排除自引）比较结果，MIT在1996-2014年的篇均引文数量为33.5次；DLUT在此期间的篇均引文数量为5.2次。

3.3 科学合作（collaboration）指标

SciVal分析工具中科学合作指标包括国际合作（international collaboration）、国内合作（national collaboration）、机构内合作（institutional collaboration）和产学（academic-corporate collaboration）合作等方面。其中国内合作是指国内不同机构之间的合作，不包括机构内部的合作；机构内合作，仅指同一机构内部的合作，不包括国内不同机构之间的合作。这些指标可以用来比较相同或类似类型的不同高校之间的不同层次科学合作和产学合作状况。在此我们仅以产学合作为例，比较DLUT和MIT不同的产学合作发展趋势（图4）。

图4显示，从整体上看，MIT的产学合作率明显高于DLUT，MIT在1996-2014年间的平均产学合作率为6.58%；DLUT平均值仅为0.75%。MIT产学合作率在1996-2014年间整体上呈现略微下降的发展趋势，DLUT在此期间的产学合作率有比较大的波动，但一直没有超过2.0%。1996-2014年间，DLUT和MIT产学合作的差距比较大。就国际合作而言，DLUT的合作率平均值为16.07%，MIT的平均值为32.79%；国内合作而言，DLUT的合作率平均值为25.41%，MIT的平均值为27.57%；机构内合作方面，DLUT的合作率平均值为55%，MIT的平均值为29%。

3.4 跨学科优势（competency）指标

近年来，科学家开发了科学圈这种直观的、可视化效果显著的科学知识图谱形式，可以用来反映一个机构每个竞争优势领域的位置分布及规模大小[17-19]，SciVal分析工具能够直接实现这一功能。参照Elsevier技术培训师乔鲲鹏的解答，可以如此解读科学圈图谱：科学圈的圆周弧长代表Elsevier系统的27个大学科分类：左下角红色弧长区域大致为医学、生命科学；左上角为社会科学、管理学、经济学等；右侧主要为工程、化学、材料学科；上段弧主要为物理、数学、计算机学科；下段弧为生物化学/基因/分子生物学和农业/生物科学等。弧的长度代表全球27个大学科分类中每个学科在某一年度的发文量。科学圈内的每一个泡泡代表一组文献聚合（存在文献耦合、共被引关系的文献），通常为一个细分的科研领域。泡泡大小代表此聚合中文献数量的多少，不能说明文献的质量。泡泡向圆心聚拢的趋势说明学科交叉的多样性，即越靠近圆心学科交叉越多。

SciVal的科学圈分析工具中的过滤功能（filter competencies by……），可以用来进行多种过滤和可视化效果展示，比如，通过出版物的学科journal categories过滤，可以观察一个机构每一学科在全球的优势交叉领域有哪些；通过distinctive competencies，能够发现一个机构研究能力的独特专长；通过emerging competencies，可以识别新兴的学科交叉和会聚发展领域。还可以通过innovation leader识别一个机构的创新领先领域；通过publication leader判断一个机构的出版物领先领域等。图5显示了DLUT和MIT在2010年和2014年的交叉学科优势领域。纵向而言，DLUT在2014年的交叉学科优势领域比在2010年明显增多了，靠近圆心的泡泡多了，而且靠近左侧的医学与其他领域交叉形成了新的泡泡。MIT在2014年的科学圈里的泡泡分布比其2010年的也更加广泛了，接近圆心的泡泡增加了很多，并且在自然科学、工程技术和社会科学交叉领域产生了许多新的泡泡。横向而言，无论是2010年还是2014年，MIT的学科交叉与会聚发展，都比DLUT更多一些，形成的交叉学科优势领域也更多一些。

4 结论与讨论

本文基于全球最大的文摘和引文数据库Scopus，选择SciVal分析工具中的部分功能模块和指标，以大连理工大学（DLUT）和麻省理工学院（MIT）为实证分析对象，探索中外相同或类似类型高校评价指标的选择与应用。选择学术产出指标，比较了DLUT和MIT在特定期间出版物的年度发展趋势和年度增长趋势：两所大学的学术产出都呈现出明显的增长态势，但MIT出版物的绝对数量远远高于DLUT的出版物数量；就年度增长率而言，DLUT的平均年度增长率远远高于MIT的增长率。就学科分布而言，DLUT学术产出超过10%的学科为工程、物理学与天文学、材料科学和计算机科学；MIT产出高于10%的学科有物理学与天文学、工程、计算机科学和材料科学。通过引文指标（排除自引），比较了两所大学的归一化影响因子、引文总数和篇均引文数量。这三项指标，MIT的指标值都远远高于DLUT。在科学合作功能分析模块，比较了两所大学的国际合作、国内合作、机构合作和产学合作等指标。MIT的平均国际合作比率是DLUT的2倍多；MIT的平均国内合作比率略高于DLUT；MIT的平均机构内合作比率几乎是DLUT的1/2；MIT的产学合作比率是DLUT的8.8倍。通过跨学科优势可视化分析的科学圈图谱，横向比较了2010年两所大学的优势学科分布状况，和2014年两所大学的优势学科分布状况；纵向比较了DLUT在2010年和2014年的分布，和MIT在2010年和2014年的分布情况。通过这些分析功能模块和指标的选择和应用，得到了DLUT和MIT的比较分析结果，对同种类型或相似类型的大学评价研究提供了新的视角、指标和方法。

本文的创新之处表现为选择国际先进的科研评价分析工具SciVal、全球最大的文摘和引文数据库Scopus、和趋势分析、学科交叉优势分析与归一化影响因子等方法和指标，对中外相同或类似类型大学进行比较和评价。研究成果为中国国内大学建设世界一流高水平研究型大学提供了定量的、客观的参考依据。以往类似的评价研究在进行影响因子分析时，只能选择单一学科进行[20-22]，而归一化影响因子指标，为不同机构之间的多学科出版物的影响和评价，提供了统一的标准和尺度，使国内外拥有不同学科的机构之间能够进行科学的比较，并且可以与世界平均水平进行比较，发现一个机构的科研影响力在国际的地位和水平。科学圈交叉优势学科与新兴领域的分析功能，为科学会聚发展的测度和新兴领域的识别，提供了强有力的分析工具，对前沿学科交叉发展的决策和科学预测分析，具有重要的辅助决策功能。以本文的实证分析结果而论，我们既看到了国内高校DLUT学术产出平均增长率远远高于MIT、DLUT机构内科学合作率几乎是MIT两倍这样的发展优势，同时我们也发现了两所高校之间的较大差距。比如，归一化影响因子、篇均引文数、国际科学合作比率、学术产出的绝对值、社会科学学术产出的比率和跨学科优势领域的分布等，MIT都比DLUT拥有更多优势。就纵向比较而言，DLUT的确在近些年无论就学术产出、影响因子还是优势交叉学科的分布，都取得了很大的进步。

参考文献：

[1] 徐淑妹，崔宇红. 百分位数指标在大学研究绩效评价中的实证研究[J]. 情报理论与实践. 2014（10）： 94-97.

[2] Butler L，McAllister I. evaluating university research performance using metrics[J]. European Political Science. 2011， 10（1）： 44-58.

[3] Leydesdorff L， Shin JC. How to Evaluate Universities in Terms of Their Relative Citation Impacts： Fractional Counting of Citations and the Normalization of Differences Among Disciplines[J]. Journal of the American Society for Information Science and Technology. 2011，62（6）：1146-1155.

[4] 周光礼，马海泉. 教学学术能力：大学教师发展与评价的新框架[J]. 教育研究. 2013（08）：37-47.

[5] Tejedor FJT. Evaluation University Teaching： A Methodological Approach and some Contributions from Investigation[J]. Ese-Estudios Sobre Educacion. 2009（16）：79-102.

[6] 李芒，蔡旻君. 高校教师课堂教学评价指标体系的构建与实施——以北京师范大学第十三届“青年教师教学基本功比赛”为例[J]. 现代教育技术. 2013（05）：36-41.

[7] 方卫东，汤良，杨建梅. 大学评价指标分析[J]. 高等工程教育研究. 2009（05）：109-112.

[8] 邹晓东，胡俊伟，吴伟. 基于D-A-V方法的大学创业能力评价研究[J]. 教育发展研究. 2014（Z1）：31-36+58.

[9] Basaran MA， Kalayci N， Atay MT. A novel hybrid method for better evaluation： Evaluating university instructors teaching performance by combining conventional content analysis with fuzzy rule based systems[J]. Expert Systems with Applications. 2011，38（10）：12565-12568.

[10] 武书连，吕嘉，郭石林. 2010中国大学评价[J]. 科学学与科学技术管理. 2010（04）：5-13.

[11] 武书连，吕嘉，郭石林. 中国大学评价[J]. 科学学与科学技术管理. 2000（07）：8-18.

[12] 赵春晖，安应民. 国外大学评价的现状分析与研究[J]. 科学学与科学技术管理. 2004（02）：114-116.

[13] 李守福. 国外大学评价的几种模式[J]. 比较教育研究. 2002， （06）：44-48.

[14] 李煜. 中国C9高校学科布局及跨学科科研生产力比较研究 [D]. 南京大学， 2013.

[15] 周静. 基于SciVal Spotlight的学科评估规划研究——以南开大学学科研究为例[J]. 图书馆工作与研究. 2014（03）： 105-107.

[16] Torres-Salinas D. Bibliometric assessment of universities with Scival of Elsevier[J]. Profesional De La Informacion. 2009，18（6）：669-674.

[17] Klavans R，Boyack KW. Toward a Consensus Map of Science[J]. Journal of the American Society for Information Science and Technology. 2009，60（3）：455-476.

[18] Wagner CS，Roessner JD，Bobb K et al. Approaches to understanding and measuring interdisciplinary scientific research （IDR）：A review of the literature[J]. Journal of Informetrics. 2011，5（1）：14-26.

[19] Borner K，Klavans R，Patek M et al. Design and Update of a Classification System：The UCSD Map of Science[J]. Plos One. 2012，7（7）.

[20] Ramos-Brieva J， Cordero-Villafafila A. Measuring the impact factor of individual researchers in biomedical disciplines[J]. Actas Espanolas De Psiquiatria. 2013，41（3）：175-184.

[21] Contreras C，Edwards G， Mizala A. The Current Impact Factor and the long-term impact of scientific journals by discipline： A logistic diffusion model estimation[J]. Scientometrics. 2006，69（3）：689-695.

[22] 丁佐奇，郑晓南，吴晓明. 我国3个药学相关学科发文SCI期刊影响因子研究[J]. 科技与出版. 2013（03）： 103-107.

（责任编辑：张 萌）

Indicator Selection & Application in Evaluating Similar Universities on SciVal

LUAN Chunjuan

（School of Public Admininstration and Law， WISE Lab， Dalian University of Technology，Dalian 116023）

Abstract：Indicator selection & application in evaluating similar universities based on SciVal analytical tool， has been explored，with the most comprehensive database of Scopus，and empirical study of DLUT and MIT. Comparison results have been concluded via series of analysis，trend analysis，interdisciplinary competency analysis，and field-weighted citation impact analysis，et al.. This study proposed new perspective，indicator and methods for similar evaluating research，and provides reference frame for Chinese universities to develop into first class universities worldwide.

Keywords：University evaluation；Analytical tool SciVal；Field-weighted citation impact；Dalian University of Technology； Massachusetts Institute of Technology；Evaluative indicator