如何构建科学、权威、公开、透明的社会科学评价体系,是当前我国社科界面临的一个需要尽快解决的难题,而其中,一个重要的问题是如何对人文社会期刊进行评价。中国社会科学评价研究院在此领域进行了大胆尝试,试图在我国乃至世界,探索一条新的评价之路。
我国人文社科期刊评价现状:四足鼎立,有待完善
我国学术期刊评价始于20世纪70年代,自20世纪80年代中期开始,学术期刊评价研究逐渐在学者和图书情报机构中展开。这些早期研究主要集中在自然科学学术期刊的评价上,大多使用文献计量学方法测定核心期刊,较少涉及人文社会科学学术期刊的评价问题。进入20世纪90年代,人文社会科学学术期刊评价才逐步进入研究视野,并呈现出多元化态势。除学者的个人研究外,北京大学图书馆编制的《中文核心期刊要目总览》、南京大学中国社会科学研究评价中心编制的《中文社会科学引文索引》、中国社会科学院图书馆编制的《中国人文社会科学核心期刊要览》和武汉大学中国科学评价研究中心编制的《中国学术期刊评价研究报告》,在我国发挥着重要的人文社会科学期刊评价作用。
《中文核心期刊要目总览》(简称《要目总览》)起初是由北京大学图书馆和北京高校图书馆期刊工作研究会共同主持的研究项目,北京地区数十所高校图书馆的期刊工作者参加了研究。1992年,《要目总览》以工具书的形式正式出版;2011年,《要目总览》第六版发行,遴选出人文社会科学核心期刊750种。来源期刊涵盖自然科学和人文社会科学两大领域,其中将人文社会科学期刊划分为52个类别。“载文量”“文摘量”“被引量”“他引量”“被索量”“被摘量”“被摘率”“被重要检索系统收录”“基金论文比”“Web下载量”是其采用的主要定量指标。
《中文社会科学引文索引》(Chinese Social Sciences Citation Index,简 称CSSCI)源于1998年南京大学启动的“开发电子版中文社会科学引文索引”项目。自2000年开始公布年度CSSCI来源期刊目录,2008年起增设扩展版期刊目录,每年的目录略有差异。2014年度公布来源期刊533种,扩展版来源期刊189种,集刊145种。CSSCI以人文社会科学学术期刊为主要收录对象,以国家标准《学科分类与代码》为依据设置25个类别。通过“他引影响因子”和“总被引频次”两个定量指标初筛来源期刊名单后,交由其指导委员会采用总量控制、动态调整、高进低出、兼顾地区与学科的平衡的原则筛选来源期刊,评审结果经过公示后向社会公布。
《中国人文社会科学核心期刊要览》(简称《期刊要览》)源自中国社会科学院图书馆主持的国家社会科学基金“九五”重点项目,该项目为评选“中国人文社会科学核心期刊”奠定了良好基础。1999年,中国社会科学院图书馆以合作方式开始人文社会科学引文库建设;2004年,《期刊要览》面世,受到学界的广泛关注;2013年,《期刊要览》第三版正式出版,遴选出人文社会科学核心期刊484种。《期刊要览》(2013版)以学术期刊为评价对象,以《中国图书馆分类法》为期刊分类主要依据,将人文社会科学期刊划分为32个类别。《期刊要览》(2013版)主要使用五个定量评价指标遴选核心期刊,即“期刊总被引”“期刊影响因子”“转摘量与转摘率”“基金论文比”和“综合刊学科核心指数”。在此基础上,以期刊主编、文摘编辑部专家和学科专家为主组成评审专家组,对期刊进行定性评价打分,结合定量指标打分情况,遴选出核心期刊。
《中国学术期刊评价研究报告》(简称《期刊报告》)源于中国科学评价研究中心与武汉大学图书馆等合作开展的“中国学术期刊评价研究”项目。2009年第一次发布结果,《期刊报告》第三版于2013年正式出版,遴选出人文社会科学权威期刊119种,核心期刊357种,扩展核心期刊232种。以国家标准《学科分类与代码》为依据将人文社会科学期刊设置成21个类别。主要以“基金论文比”“总被引频次”“影响因子”“Web即年下载率”“二次文献转载或收录”为定量指标进行评价,取定量指标排名前30%的期刊请专家从“文章质量/作者构成”“专家或读者使用、阅读情况”“出版发行状况”“编校质量”和“社会声誉”五个方面对期刊进行评价,综合定量定性打分后确定期刊等级。
我国人文社科期刊评价 存在的主要问题
虽然上述评价结果已经在科研管理、图书馆服务等方面发挥了积极作用,但无可回避的是在评价理论、评价方法、评价程序及评价指标等方面仍然存在一定问题。
(一)评价活动中意识形态属性不突出 哲学社会科学具有鲜明的意识形态属性,必须始终坚持正确的政治方向和学术导向。期刊,特别是人文社会科学期刊,坚持正确的政治方向和学术导向是毋庸置疑的。在现有的期刊评价活动中,期刊的学术性得到充分强调,但期刊的政治方向和价值导向却很少提及,未明确设立意识形态属性的评价指标,未旗帜鲜明地强调人文社会科学期刊的意识形态属性。
(二)评价活动的公开、公平、公正性有待提高 目前,各评价机构除公布最终的评价结果外,均会不同程度地公布其评价采用的指标、评价指标的算法、专家打分的方式及权重等内容,但是其采用的原始评价数据基本不公开,数据透明性不高。这样一来,评价数据是否准确就无从考证,对评价机构的评价活动进行监督也无从谈起。由于学科差异的存在,对不同学科期刊采用不同的评价方式或评价指标进行评价是恰当的,但是对于同一学科的期刊采用不同的评价方法进行评价却是欠妥的,评价的公平性受到挑战。整个评价活动是如何运行的,如何保证评价活动的公正性,也是一个需要考虑的问题。
(三)定性评价方法的运用方式有待商榷 现有的期刊评价方法,基本以定量定性相结合的综合评价方法为主,但定性方法运用的方式、发挥的作用还有较大改进的空间。有的仅对部分期刊实行专家定性评价,对于非专家打分的期刊而言,则完全靠定量指标对其进行评价。有的专家团队构成较为单一,这就不能充分反映专家、编辑、学生等不同群体的认知差异。有的评审专家数量较少,这就可能出现“长官意志”“一言堂”现象。从现有的定性评价方法看,即使专家对期刊进行了定性评价,其评价结果也往往是仅供参考,对整个评价所发挥的作用不大。
(四)大数据环境下期刊评价理论建构不足 大数据环境下,学术交流的方式、交流的途径、交流的实效性已经发生了巨大变化,然而目前的期刊评价仍然以基于纸本期刊研究得出的布拉德福“文献集中离散定律”、加菲尔德“引文集中定律”和普赖斯“文献老化指数和引文峰值理论”为理论基础,这些理论在现有环境下的适用性有待验证。
文献集中离散定律是有应用条件和局限性的,该定律要求论文的学科、专业领域或课题范围需要划分得特别清楚,然而现在很多论文选题是跨学科的,甚至有时候很难判断一篇论文应该属于哪个学科。在跨学科研究越来越多的情况下,文献集中离散定律的适用性有待考证。纯网络学术期刊、开放获取期刊,以及学者的个人网站、博客等,已经成为学术交流的重要途径,引文集中现象是否依然存在?如果集中现象依然存在的话,是否仍然集中在期刊上,集中程度如何?都值得深入研究分析。随着网络的普及,学术传播的时效性大大加强,“预印本”等出版形式也不断涌现,这使得文献老化和引文峰值的出现速度都有了较大变化。面对新的环境,期刊评价的理论也应当适应新的变化,不断完善。
(五)指标设置上期刊发展导向性指标较少 现有的评价指标以“下载量”“被引用次数”“被转载情况”等刊出后出现的结果为主要评价内容,这导致部分期刊采取一些急功近利的方法,去过度追求刊出后的效果,甚至采用一些非常规手段提高指标值,而未真正去“苦练内功”,本末倒置。评价是个指挥棒,如何合理设计评价指标,促使期刊在提高选题组稿能力、提升编校业务水平等方面下功夫,对促进期刊长期发展是很有必要的。然而,目前这种引导期刊注重自身发展的指标还较少,在指标设置时是需要注意的。
(六)评价人才队伍建设有待加强 党的十七届六中全会《中共中央关于深化文化体制改革、推动社会主义文化大发展大繁荣若干重大问题的决定》指出:“推动社会主义文化大发展大繁荣,队伍是基础,人才是关键。”随着期刊数量的增加、传播方式的转变、学科的融合与分化,期刊评价对评价主体,即评价活动实施人员提出了挑战。一个稳定的人才队伍,有利于评价活动的持续开展;一个开放的人才队伍,有利于新思想、新方法的引入;一个不同学科背景的人才队伍,有利于掌握不同学科的细微差异;一个年龄层次分明的人才队伍,有利于评价理念、方法的传承;一个业务水平梯队合理的队伍,有利于团队的分工合作。然而,现有的评价人才队伍在总量上稍显不足,学科背景略显单一,团队稳定性还有待提高,人才梯队性还有待建设。
我们的解决方案:中国人文社科期刊综合评价模型
人文社会科学期刊评价主要从吸引力、管理力和影响力三个层次对期刊进行评价,中国人文社会科学期刊评价模型如图1所示。
吸引力(Attraction Power):指评价客体的外部环境,良好的外部环境能够吸引更多的资源,提升评价客体的吸引力。
管理力(Management Power):指评价客体管理者管理评价客体的能力,促进评价客体发展的能力。
影响力(Impact Power):是评价客体实力的直接表现,是吸引力和管理力水平的最终体现。
综合评价指标体系由五级指标构成,其中一级指标3个,二级指标12个,三级指标36个。综合评价指标体系的总分值为208分,其中一级指标“吸引力”的分值为83.5分,“管理力”的分值为39.5分,“影响力”的分值为85分。
为对我国人文社会科学期刊进行评价,也进一步检验中国人文社会科学期刊综合评价指标体系的科学性与适用性,特制定了“中国人文社会科学期刊综合评价指标体系(2014年试用版)”(简称“评价指标体系2014试用版”)。评价指标体系2014试用版是中国人文社会科学期刊综合评价指标体系的子类,因为部分指标难以获取等原因,选取了其中的大部分指标作为2014试用版指标,对我国的人文社会科学期刊进行评价。评价指标体系2014试用版的一级指标“吸引力”的分值为80.5分,“管理力”的分值为15.5分,“影响力”的分值为53分,总分值为149分,比全部评价指标体系总分值少59分。
中国人文社会科学期刊综合评价体系(2014年试用版)指标说明如表1所示。
中国人文社科期刊综合评价指标体系特点
中国人文社会科学期刊综合评价指标体系具有以下特点:
1.强调学术性评价同时,加入意识形态属性指标。虽然评价客体是学术期刊,但鉴于哲学社会科学的意识形态属性,人文社会科学学术期刊的政治方向、价值导向是非常重要的,所以该指标体系特别加入意识形态属性指标,以强调期刊意识形态的正确性。
2.定性定量相结合,突出同行评议在评价中的作用。针对现有期刊评价中专家定性指标为辅助的情况,该指标体系设计了学科专家、编辑专家与重点读者三个层面的专家定性评价指标,以期多层次、多视角地反映出不同群体对期刊的认知,增加同行评议在期刊评价中的作用。
3.指标体系设计合理,更加契合期刊编辑出版流程。该指标体系分别从吸引力、管理力与影响力三个方面对期刊进行综合评价,特别是管理力指标突出了对期刊业务流程的评价,从而起到促进学术期刊强化内部管理、流程管理和人员管理等作用。
4.评价打分具有延展性,引入扣分机制。目前,学术界面临着诸多学术不端现象:论文作者违背科学精神和职业道德,剽窃他人研究成果,败坏学术风气;期刊编辑部为提高期刊的学术影响力,采用不正当手段互相引用、交叉署名;不以论文质量为标准,变相买卖版面。为此,该指标体系引入了“学术不端”指标,引入扣分机制,将其设为扣分指标。
5.重视刊物论文质量,推出以文评刊指标。该指标体系引入对期刊刊载论文质量的评价,从期刊论文获奖和论文引用文献规范性等方面进行评价,改变完全“以刊评文”局面,督促期刊编辑部提高论文编校质量。
6.关注期刊传播形式变化,将期刊网站建设、开放获取等情况纳入评价范围。纸质期刊受到数字媒体的冲击,面临如何简化业务流程、提高期刊管理力,增强与外界互动联系、扩大期刊影响力等诸多问题。所以,该指标体系与时俱进,引入了网站建设与稿件处理系统、开放获取等评价指标。下一步,我们将更多地关注刊网融合的趋势,引导传统纸质期刊的转型升级,促其获得更大发展空间。
中国人文社科期刊综合评价结果
本次评价,按各期刊综合评价得分排序并依次划分为4个等级。
(一)顶级期刊
期刊等级划分中的最高级别,不仅代表其所在学科的最高研究水平,也代表了我国人文社会科学学术研究的最高水平。划分方法是以综合评价打分排序为依据,根据期刊的学术水平、所在学科分类的期刊数量,确定每个学科的顶级期刊数量。坚持宁缺毋滥原则,每个学科最多1个顶级。
(二)权威期刊
期刊等级划分中的第二级别,是其所在学科的高水平期刊。划分方法是以综合评价打分排序为依据,根据期刊所在学科分类的期刊数量,确定每个学科的权威期刊数量。每个学科一般有1个权威,但不超过5个权威。
(三)核心期刊
期刊等级划分中的第三级别,能够代表其所在学科的研究水平。划分方法是以综合评价打分排序为依据,根据期刊所在学科分类的期刊数量,基于一定比例确定每个学科的核心期刊数量。
(四)扩展期刊
期刊等级划分中的最后级别,是其所在学科具有一定学术水平的期刊。划分方法是以综合评价打分排序为依据,将进入本次评价范围,但非顶级、权威、核心的期刊列为扩展期刊。每个学科的扩展期刊数量不限。
本次评价采用评价指标体系2014试用版,对733种中文人文社会科学学术期刊进行评价。综合评价后,共评出17种顶级期刊,40种权威期刊,430种核心期刊和246种扩展期刊。具体期刊等级分布情况如表2所示。