黄小平 陈洋子
江西师范大学教育研究院
摘要：健全的科研评价体系是发达国家科技创新能力快速发展的重要原因。通过对英国、美国、法国及澳大利亚四国科研评价体系的梳理,发现发达国家科研评价具有以下共性特征:以“目的”为主要评价导向,确立资源配置方式;以国家政策或法律为行动指南,建立科研评价国际标准;以“效益”为中心,追求“量”但更强调“质”;以“学科类别”评价为基础,建立多元评价方法。这可以为我国完善和建设结构合理的“双一流”大学科技创新能力评价体系提供借鉴。
关键词：“双一流”大学; 科技创新能力; 科研评价;
大学科技创新能力主要包括科技创新投入和科技创新产出能力。其中,科技产出能力是大学科技创新能力评价的重要尺度。在西方发达国家,大量知识主要依靠一些大学和研究中心产出。只有当大学和研究中心的知识成果被源源不断地输送到社会,国家和地区经济发展才能从中获取利益。以知识为枢纽,为国家和地区带来经济利益的特殊形式在西方国家通常被理解为研究机构及大学的科技创新能力[1]。
英国、美国、法国及澳大利亚等国是较有代表性的发达国家,且拥有数量众多的世界一流大学。这些国家科研评价体系对大学科技创新评价有着直接的引导作用。发达国家在衡量大学科技创新能力时,通常比较关注四个主要目标:科研产出量、科研质量、对其他研究者或者先进知识的影响以及创造的技术能否给经济和社会带来利益的实用性[2]。当前,我国高校正担负着“双一流”大学建设的重要任务和使命。大学科技创新能力反映“双一流”大学建设的质量和水平,通过对发达国家科研评价体系及相关政策梳理,能为我国“双一流”大学科技创新能力评价提供借鉴。
一、发达国家科研评价体系
(一)美国科研评价体系
1916年,为促进科学技术发展和满足人们对大学排名的渴望,美国国家科学院(NAS)创建了民间非营利组织“国家科学研究委员会”(NRC),NRC作为NAS的一个分支组织,主要承担评估研究型大学内部各学院的质量和水平。NRC大约每隔十年进行一项美国研究型博士项目的排名。该项排名不仅被广泛关注而且也是各大学自身提高科研水平及发展方向的重要依据,NRC在1983年、1995年和2008年发布了三次美国研究型博士项目排名。
1983年和1995年两次排名完全通过同行评价方式完成,NRC通过向研究型大学工作学者发放电子问卷方式,要求他们对学术领域内其他项目团体评估。评估内容主要分为博士项目人员质量和项目效率两个内容,分别按照等级量表1-5等级打分。最后,通过学者专家的平均分得到博士项目最终得分。1983年和1995年的排名是学者、专家在自己学科领域内进行的博士项目排名,这种完全依赖同行评价方式受到了外界对评价体系科学性和公众性的质疑。于是,NRC召集并组织了一个由卓越专业学者组成的委员会,研究过去有关NRC的排名,找出其中的缺陷并提出改进方法。委员会通过分析后发现,1995年排名主要是建立在名誉调查基础上,这种方法过于单一,因此他们建议2008年排名应建立在定量基础上,利用回归分析来确定变量权重,并结合小范围名誉调查进行排名。因此,NRC根据参与排名部门所提交的材料,以48个变量指标为基础进行评估。这48个变量指标主要包括大学特征、博士项目特征和参与项目人员三个方面[3]。其中,大学特征指标包括所有研究的花费、图书馆特色、学生健康保险保障性和博士学生住房条件等;博士项目特征包括规模、学习时间、资金支持、设备仪器、测验分数、支持条件和就业目标等;参与项目人员包括人数、奖项和文献计量指标等。由此可见,美国研究型博士项目排名在指标选取上更加关注“以人为本”的可持续性指标,例如:大学特征指标中“学生健康保险保障性”指标和博士项目特征指标中选取的“就业目标”指标。
(二)英国科研评价体系
英国高等教育资金委员会为大学高等教育机构提供了最基本的资金,用于支持大学内部人员的发展和基础设施的建设。为了实现资金的有效分配,英国高等教育资金委员会开发了一个全新的、统一的科研评价体系REF(Research Excellence Framework)。REF取代了原先的科研评价体系RAE(Research Assessment Exercise),在2008年至2013年期间REF完成了第一轮科研评估。这次评估由4个主专家组和36个副专家组分别对36个评价单元进行评估,参与评估的大学所提交的材料依据科研质量分为四等[4]。REF等级评价仍然沿用2008年RAE的四等评价,而评价内容则由原来4个维度变为3个维度,即“成果(output)”“影响力(impact)”和“环境(environment)”。每个维度分别赋予65%、20%和15%的权重进行评估。
第一个评价标准是“成果质量”。首先由英国高等教育机构来鉴定参与高水平研究的研究成员构成,进而以成果的“原创性”“重要性”和“严谨性”三个方面内容利用同行评价和计量指标评估成果质量是否达到国际研究标准,这里所提交代表性成果主要包括著作、论文、个人作品、文献引用率和其他有关成果的定量指标。REF最显著的特征是引进了文献计量学数据指标来减轻专家评价压力,同时实现了评价过程透明化。英国高等教育资金委员会起初认为至少在科学、工程学和医学领域的评估完全采用以定量为主的文献计量学替代专家评价方法来评估成果质量,但经过实际运行和广泛讨论后,发现文献计量学评估方法不够成熟,它只能够用于作为专家评价的补充,尤其是成果引用率指标。同时,在艺术、人文和社会科学领域,如果仅仅采用定量指标并不合适[5]。
第二个评价标准是“成果影响力”。它从“广度”和“重要性”两个方面进行评估。科研成果影响力的评估方法在定量指标反映的基础上,主要通过描述法来评价,一般会使用案例研究和影响陈述这两种方法,其中,影响陈述主要指利用合适的影响力指标作为支撑证据并对该指标进行叙述性解释[6]。REF在评估影响力时为避免时间滞差,因而选择在一段长期的时间内评估整个研究单元的影响力,而不是根据个人特殊成果的影响力。由于科研影响力的过程是非线性的,许多因素会导致影响力的形成,于是REF利用定性和定量相结合方法来衡量实现影响力的科研利用率,同时为保证影响力可信度,REF会邀请第三方、专家组和科研使用者(如投资企业和应用人员等)共同审查并证实研究单元所提交的资料。
第三个评价标准是“科研环境”。以“活力”和“可持续性”为衡量标准,主要包括资源、管理及雇佣这三类指标[7]。这种标准不仅评估了科研单位所支持科研活动的广泛性,使得科研基础设施的建设得到有效利用和分布,而且对研究者在其领域开展卓越研究的可持续发展起着重大的支撑作用。
(三)法国科研评价体系
在法国,科研体系格局主要表现为“二元主体”,即在大学之外,建立了欧洲最大的国家研究机构法国国家科学研究中心(CNRS)。该机构隶属于法国高等教育与研究部,其使命是“协调相关工作,推动科研进步”,在成立之初,主要有“基础研究”和“应用研究”两个部门[8]。但随着法国科研体系的不断完善,该机构基本覆盖了法国所有研究领域,其中主要研究机构包括社会科学、国家卫生与医学研究院、农业科学研究院、森林与农业研究中心、水资源与环境研究院、国家计算机科学与控制研究所、交通与安全研究所、人口研究所、发展研究院、原子能总署及民间工程研究实验室等。法国国家科学研究中心与大学和各研究机构之间保持着密切的联系与合作关系,其组织成员大多在大学任职,并在各大学建立起实验室,供研究人员使用。
在科研评价中,法国中央集权的体制使其科技发展和评价多由政府掌控,从而不可避免地导致科研评价体系在人员选拔、科研评估和资金分配上出现冗余化、重叠化、缺少严谨性。为解决这一问题,法国政府建立起一支独立的评估机构“研究与高等教育评估署”取代过去“国家评估委员会(CNE)”“国家研究委员会”(CNER)和“科学、技术与教学审查团”(MSTP),负责高等教育与科研评估,同时将不同领域单独评估机构融为一体[9]。“研究与高等教育评估署”不仅负责评价科研活动,同时也对高等教育机构中教育计划和文凭展开评估。该机构以科研活动目的为导向,划分出具体科研绩效指标。该指标不仅是法国评价主体合理分配其科研资金的主要依据,同时也是衡量法国高等教育办学质量的测评工具。其中,科研绩效指标主要包括:国际水平出版量、特殊科学领域出版量、出版物近两年引用率、专利数、与企业密切性、国外教师人数、研究性教师人数、博士生和博士后人数、研究员人数、欧洲研究与发展项目参与度、声誉和资源量等[10]。值得注意的是,这种科研评价体系虽然评估了包括大学在内的所有科研系统,但也忽略了对个体、实验室及具体项目等采用针对性具体评估方式。
(四)澳大利亚科研评价体系
澳大利亚政府在1995年通过成立澳大利亚研究委员会(ARC)利用综合指数的来评估大学的科研水平。2004年,澳大利亚大学中有7%的研究项目资金是依据综合指数来进行分配的。综合指数的评价内容主要包括科研资金(来自政府、其他公共部门和企业)及研究成果(包括出版物的数量和授予的硕士及博士学位数量等指标)。这种评价体系获得了一个显著的成功:在1992-1996年间,澳大利亚大学科研产量提高了8%,尤其注重在Web of Science数据库(如SCI)中的索引率。但是,澳大利亚研究影响力在同一时间内却在下降,尤其是1988-1993年在OECD成员国中文献引用率从第6名下降至第11名[11]。
针对这种局面,2004年澳大利亚总理John Howard决定修订一个全新的科研体系,并为由公共经费支出的科研建立质量评价及准入制度,即科研质量框架(RQF)。通过成立4个工作小组分别负责科研质量标准、科研影响、信息技术和探究模式等方面的评估任务。RQF在遵循公开透明、基本认同、准确有效及积极鼓励的原则下,根据不同科研领域和不同学科,成立了13个学科专业评价小组,每个小组由12个成员构成,其中至少包括3个外国专家和3个终端使用者对所提交的材料进行五级标准评估。其评估指标主要包括:人员列表、合作证明、所获奖项、学生人数及就业情况、拨款资金数量、每个研究者所拥有的4个最佳成果及所有成果、各学科领域的产出、出版物的引用率等[12]。
但实际上RQF并未真正实施,2008年新的评估体系ERA宣布成立。ERA的执行主要由澳大利亚研究委员会(ARC)担任,通过文献计量数据和同行评估两种相结合的方法,以学科为单位对180个研究领域科研质量依据五点计分法形成的量表进行等级划分。为识别和开发每一个学科相关指标,ARC创造了8个原则性指标[13],通过这些原则性指标,收集相关数据,从而形成八个学科群的四大类指标,包括:(1)研究质量,文献引用率、出版物和会议级别、ERA同行评议以及经同行评议的国内和国际科研收入等各项质量测量指标;(2)科研数量及活动中科研收入和产出总量;(3)科研应用中商业收入等应用测量指标;(4)公认性,包括参加知名学术团体人数数量、在权威出版单位担任编辑人数数量和全国科研奖金获得者人数数量等声誉测量指标[14]。
二、发达国家科研评价体系的共同特征
通过梳理美、英、法、澳四国科研评价体系演变进程,发现这四国科研评价体系虽然各具特色,但又有共同特征,具体表现为:
(一)以“目的”为主要评价导向,确立资源配置方式
发达国家科研评价体系无论是评价内容还是发展趋势,一直以目的为导向来开展评估。例如,美国科研评价体系NRC的评估目的是通过对各大学的排名来帮助各大学确定自身发展方向及改进措施;英国科研评价体系REF的评估目的是通过科学合理地分配科研资金来实现各大学人力、物力等资源的优化配置;法国科研评价体系研究与高等教育评估署的评估目的在于将法国大学逐步建设成为科学研究的主体和中心,并有效加强法国大学的国际知名度和国际竞争力;澳大利亚科研评价体系ERA的评估目的主要是基于大学绩效情况给予不同程度资助。因此,各发达国家科研评价体系中评价内容和评价方法选择和评价指标建设都以明确而清晰的目标为执行指南,且评价目的也会因评价主体期望度不同而存在显著差异。
(二)以国家政策或法律为行动指南,建立科研评价国际标准
无论是英国RAE到REF,还是澳大利亚CI到RQF再到ERA转变,每当科研评价体系无法满足当时社会背景和需求时,各国政府都会颁布适宜法律法规来指引政治体制、科研体系发展,始终使科研为国家整体发展服务。比如,英国1992年颁布了《高等教育和继续教育法》,通过撤销1989年设立的“大学基金委员会”(UFC)和“多科技术学院与学院基金会”(PCFC)而成立“高等教育基金委员会”(HEFC)法人团体,展开RAE第一次正式科研评价;法国2007年颁布“科学研究法”到2009年颁布“国家科研与创新战略(SNRI)”,再到2010年启动“卓越计划(IDEX)”,这都一直是法国科学界的行动指南;澳大利亚激励创意(powering ideas)计划颁布,通过列出政府未来10年创新计划来显现政府支持增加世界一流水平研究团队数量的雄心,进一步促使ERA建立了国际标准科研成果评价机制。由此可以看出,发达国家科研评价体系逐步成熟的过程离不开国家政策的积极引导。
(三)以“效益”实现为中心,追求“量”但更强调“质”
英、法国两国科研评价体系中,要求研究者列出所有研究成果的同时,会重点要求他们提交最具代表性的5份科研成果。发达国家科研价值很大程度上取决于研究成果的创新。这种创新不是简单的要求著作或者论文数量,更重要的是要求研究者能够创造出真正的成果,并且这些成果能够投入到社会产生一定的影响力。这种影响力不仅包括经济效益,还包括生态效益,努力促成科研成果的社会应用。如英国REF科研指标中赋予“影响力”20%的比重,澳大利亚ERA将影响力分为研究绩效的提高、大学计划与战略的推进和运作、大学责任心与透明度的增长这三类。由此可见,发达国家政府主导的科研评价在处理“质”与“量”关系上,重视“量”,更加强调“质”,并在“质”的追求中更强调成果影响力“效益”的实现为中心。这些效益不仅包括直接与团体及个人相关的经济效益,如科研成果商业化,也包括上升到国家层面的社会效益,如科研成果对社会福利事业的影响力,尤其注重兼顾可持续发展效益即生态效益的实现。
(四)以“学科类别”评价为基础,建立多元评价方法
发达国家最常采用的评价方法主要包括计量指标和同行评价,这两种方法各有利弊。计量指标的方法具有客观性、科学性、成本低和耗时短的优势,但往往在操作过程中不够全面和权威;同行评价方法具有权威性和专业性,但专家主观判断容易使科研评价偏离科学性和公正性。因此,为弥补单一评价方法在评估时所带来的信度和效度缺失,英、法、澳在评价方法上往往将这两种评价方法相结合。而美国除采用这两种评价方法外,同时也使用“调查法”和“回归分析法”,调查法主要以问卷形式向被调查者征集博士项目特征评分结果,而回归分析法通常是先通过有关人员对相关项目总体评分,后用回归模型分析评分与项目特征关联度,判定各博士项目特征的优劣。
另外,发达国家科研评价方法的使用更注重以“学科类别”为基础,对科研成果或大学进行评估。比如,英国根据学科类别划分大学排名已成为一种流行的趋势,这使得没有悠久历史的普通大学能以自身特色专业学科发展来与一流大学抗衡。如伦敦大学虽没有剑桥大学有名,但其语言学科名气和排名却比剑桥大学更加出名和靠前,这种注重发展特色学科的大学同样得到英国社会的尊重和认可。再如,澳大利亚根据学科类别采用分级编码形式,主要分为人文社科和其他学科两大门类,其他学科依据评审指标进行计量评价并排序,而人文社科主要实行代表作制度,即使用计量指标方法外同时选取30%代表作同行评价。因此,各发达国家在构建科研评价体系时大多主要基于学科类别为依据,综合运用定性和定量评价方法建立多样化评价方法体系。
三、对我国“双一流”大学科技创新能力评价的启示
(一)投入指标:重视物化投入指标与隐性心理指标的结合
我国“双一流”大学科技创新能力投入指标中一级指标可分为有形的物化投入指标和无形的心理指标两大类。物化投入指标一般包括人力和资金投入两个二级指标,可以通过特定的测评工具被测量。其中,人力投入三级指标除了包括一般的指标外还应包括一流师资数中尤其是研究性教师和国外优秀教师所占比例;资金投入主要指任何类型的研究与发展(R&D)活动中的研究经费[15],这些经费主要来源于政府资金、企业资金和大学内部的资金,由于大学内部学科的不同,资金投入指标应依据不同学科投入资金和收入,基于学科特点和实用性进行分配。
隐性心理指标主要包括研究者能力和研究者动机两个要素组成,它们在高校科技创新中起着十分重要的作用,可以具体划分为合作与拼搏精神、攻关意志力和无私奉献等三级指标。其中,研究者能力可通过文献计量学方法评估,评估内容不仅包括出版期刊数量(参与出版和个人单独出版),也包括论文被引用次数[16]。研究者动机一般很难被直接测量,但是根据相关研究,可以通过大学和相关部门风气来衡量[17]。例如,参与人员支持率和大学内部领导积极态度都有利于促进个人参与科技创新活动。除此之外,也可通过适当的调查工具来测量研究者动机,比如设计一个测量研究者对于参与科技创新活动所获取利益观点的调查问卷。
(二)基础指标:创设“以人为本”的科研生态环境
“以人为本”的科研生态环境主要是为科技创新活动的各类科研人员提供良好的内外部科研条件,其主要特征体现为具有“生命力”和“可持续性”两个方面。我国在评价“双一流”大学科技创新能力时,基础指标筛选除突显“一流学科”独特性基础指标,如特色和优势学科数、某学科发展前景性、某特色学科培养一流人才数和某特色学科产学研基地数等,还应该选用展现“生命力”和“可持续性”一系列国际通用基础性指标,才能不断实现高质量且有价值的科技创新活动,具体阐述如下:
首先,展现“生命力”的内部科研条件是指在基础指标选取上注重对人性关怀,考虑到以人为主体所创造的内部科研环境。例如,美国研究型博士项目排名基础指标中包括了对“博士生住房条件”和“学生健康保险保障性”程度的考评;英国“科研环境”的评价标准中明确了对教师发展、研究生的培养和科研活动管理情况的评估等。这些基础指标的选取无一不体现了人在内部科研活动中思想和行为自主性、多变性及复杂性,而希望自身在科研环境中处于被关注的地位。
其次,表现“可持续性”外部科研条件即在基础指标筛选上不仅要求自身环境的改善发展,更注重主体与外界环境的联系。这种联系是广泛且持久的,可以通过具体指标来衡量。如与企业、专家团及成果使用者之间交流与合作的密切性、聘用外籍教师人数、派遣出国交流人员数等指标。另外,在联系中还应保持实时反馈,通过有效的质性评价(如同行评价方法)来对其反馈和评估。
(三)产量指标:重视本土特色与国际标准的接轨与融合
目前,我国在以下指标设计与国际科研评价指标基本取得一致,如专利申请或专利授予、出版率和成员水平。在注重以上评价指标与国际进行接轨外,还应力求体现我国大学科技创新的“本土特色”。本土特色主要包括了本国的政策制度、历史与传统以及文化特色,能体现中国“双一流”大学科研评价优势成果特点的某些指标,并在“特色发展”指标设计上,应合理设置一定权重和比例,将“特色发展”指标纳入中国“双一流”大学科技创新能力评价的“特异性”指标体系,并努力使这些指标成为“国际标准”从而保持“双一流”大学科研评价体系具有鲜明特色。因此,我国“双一流”大学科技创新能力指标选取和操作流程上在借鉴发达国家指标设计并与其接轨的同时,还应结合中国大学的固有特色,顺应国家政策发展需要,设计出具有“某个学科”特色和优势的标志性成果衡量指标。
(四)成果转化指标:关注成果影响力的社会效益和生态效益
我国高校科技创新能力的成果转化指标主要包括科技成果转化率、科技转让合同数及转让收入等,比较关注成果转化的企业应用和转化所给予个人及团体的收入。然而,我国“双一流”大学科技创新能力成果转化指标选取上除选择上述基本指标外,也应该更加注重成果转化后所带来的各种影响力的“结果性”评价指标,尤其更应强调优秀研究成果在经济、社会、公共政策、文化和生活质量等各个方面导致的影响。这种影响力很难被立即评估,因此,一种可行的评估方法是通过专家评估,收集有关定性和描述性成果报道,结合定量评估方法,利用参与人调查问卷测量科技创新影响力。值得注意的是,调查问卷设计要将成果直接与投入相联系,利用合适评价量表使得评估者对成果影响力进行排名。除此之外,评估者还应积极关注科技创新影响力指标中的社会效益指标(如改善社会福利事业及公共服务建设等)和生态效益指标(如环境及资源的可持续发展等)。
参考文献
[1]Lofsten,H.,&Lindelo f,P.Science parks and the growth of new technology-based firms:Academic-industry links,innovations and markets[J].Research Policy,2002,31:859-876.
[2]Aldo Geuna and Ben R.Martin.University Research Evaluation and Funding:An International Comparison[J].Minerva,2003,41(4):277-304.
[3]National Research Council.Assessing Research Doctorate Programs:A Methodology Study[J].Washington DC:National Academies Press,2004(4):22.
[4]Sue hubble.2014Research Excellence Fremework[J].Social Policy Section,2015,18(12):8.
[5]Ryu Ohtani,Mariko Kamo and Naoto Kobayashi.An introduction to the Research Excellence Framework:A new research evaluation framework for universities in the UK[J].Synthesiology,2013(9):123.
[6]Research Excellence Framework.Second consultation on the assessment and funding of research[EB/OL].http://www.hefce.ac.uk/media/hefcel/pubs/hefce/2009/0938/09_38.pdf.
[7]田锋.英国科学研究卓越框架研究[J].高教发展与评估,2012(6).
[8]孙承晟.法国国家科研中心及其合作制度[J].科学文化评论,2008(5).
[9]王晓辉.法国科研体制与当前改革[J].比较教育研究,2011(5).
[10]Documentation Francaise.Documentation on the New Law on budgeting[EB/OL].http://www.ladocfrancaise.gouv.fr/dossier_actualite/constitution_financiere/index.shtml.
[11]Butler,L.Explaining Australia's increased share of ISI publications the effects of a funding formula based on publication counts[J].Research Policy,2003,32:143~155.
[12]Hicks D.Evolving regimes of multi-university research evaluation[J].Higher Education,2009,57(4):393-404.
[13]ARC.ERAindicatorprinciples[EB/OL].[2012-10-02].http://www.arc.gov.au/pdf/era12/ERA_2012_Indicator_Principles.pdf.
[14]Australian Research Council.Excellence in Research for Australia 2012[EB/OL].http://www.arc.gov.au/pdf/era12/report_2012/ARC_ER A12_Introduction.pdf.2012-01-03/2013-04-07.
[15]Kerssens-van Drongelen,I.,Nixon,B.and Pearson,A.Performance measurement in industrial R&D[J].International Journal of Management Reviews,2000(2):111-143.
[16]Moed,H.F.Citation Analysis in Research Evaluation.Dordrecht:Springer,2005.
[17]Bercovitz,J.and Feldman,M.Academic entrepreneurs:organizational change at the individual level[J].Organization Science,2008,19:69-89.
原文刊载于《江苏高教》2017(01):93-98.