国内医学科技项目绩效评价研究现状与趋势分析
Research Status and Trends Analysis on Performance Appraisal of Domestic Medical Scientific Research Projects
DOI: 10.12677/SA.2023.125126, PDF, HTML, XML, 下载: 187  浏览: 281  科研立项经费支持
作者: 程 婕:上海交通大学医学院附属第六人民医院科教处,上海;张 翔*:复旦大学附属眼耳鼻喉科医院科研科,上海
关键词: CiteSpace知识图谱文献计量学科研项目绩效评价医学科研CiteSpace Knowledge Map Bibliometrics Scientific Research Projects Performance Appraisal Medical Research
摘要: 目的:通过对国内科研项目绩效评价领域研究现状的可视化分析,为进一步完善与发展医学科研项目绩效评价提供参考。方法:使用中国知网(CNKI)检索国内科研项目绩效评价领域2013~2022年相关文献,导入CiteSpace6.2.R1软件绘制知识图谱,进行关键词共现及聚类、突现词分析、作者及机构合作网络分析,并从中重点讨论与医学相关的科研项目绩效评价的文献资料。结论:目前国内科研项目绩效评价研究主题热点相对集中,研究侧重点有科研项目绩效评价体系的构建、绩效导向型科研经费评价以及研究机构内控监督机制等,在全面分析科技项目绩效评价现状的基础上,总结对于医学科技项目绩效评价的借鉴意义与启示:1) 在绩效评价体系方面,将医学领域特有的评价指标纳入评价体系,构建更科学全面的绩效评价体系;2) 在绩效评价方法方面,绩效目标为导向的分类评价将是未来的重要发展与研究方向;3) 在绩效评价机制方面,进一步完善组织内部监督及风险控制机制,以更契合科研管理机制改革的需要。
Abstract: Objective: The purpose of this study is to analyze the status in the field of performance evaluation of domestic scientific research projects, provide reference for further improvement and development of performance evaluation of medical scientific research projects. Methods: Studies on performance appraisal of scientific research projects were retrieved from China National Knowledge Infrastructure (CNKI) database between 2013 and 2022. CiteSpace 6.2.R1 software was used to analyze those authors, institutions and keywords. And it focused on the performance appraisal of medical scientific research projects. Conclusion: Currently, the research hotspots of domestic scientific research project performance evaluation are relatively concentrated, and the research focuses on the construction of performance evaluation systems for scientific research projects, performance-oriented scientific research funding evaluation, and internal control and supervision mechanisms of research institutions. Based on a comprehensive analysis of the current status of scientific and technological project performance evaluation, the following are the reference significance and enlightenment for the performance evaluation of medical science and technology projects: 1) In terms of performance evaluation system, the evaluation indicators unique to the medical field should be incorporated into the evaluation system to build a more scientific and comprehensive performance evaluation system; 2) In terms of performance evaluation methods, performance goal-oriented classification evaluation will be an important development and research direction in the future; 3) In terms of performance evaluation mechanism, further improve the internal supervision and risk control mechanism of the organization, so as to better meet the needs of the reform of scientific research management mechanism.
文章引用:程婕, 张翔. 国内医学科技项目绩效评价研究现状与趋势分析[J]. 统计学与应用, 2023, 12(5): 1238-1246. https://doi.org/10.12677/SA.2023.125126

1. 引言

科技项目绩效评价作为科研项目管理的重要环节,也是国家科技政策转型的核心之一。科技项目绩效评价是对科研项目进行的综合评估和判断,以评估研究成果、科研投入和研究质量等方面的表现 [1] 。。2018年7月,国务院 [2] 明确提出:强化科研项目绩效评价,实行科研项目绩效分类评价,加强项目关键环节考核,绩效评价结果作为项目调整、后续支持的重要依据。科技部 [3] 和国家自然科学基金委 [4] 陆续出台了相应的项目绩效管理办法,均要进一步推进科技项目绩效评价改革。各地方科技管理部门也相继出台科研项目绩效管理办法。

医学领域科技项目有明显的学科特色,通常是为了解决医学领域的问题、改善临床实践和提升患者健康水平。医学科技项目绩效评价则更加专注于医学领域的特殊需求和目标,对其进行绩效评价的研究有其独特的意义。如何通过优化指标体系,科学公正地进行医学科技项目绩效评价,发展绩效导向的科研经费管理机制,促进落实创新驱动发展的国家战略是目前研究的关键问题。近年来,各界学者对于科技项目绩效评价的研究成果不断增多,目前关于科技项目绩效评价的研究主要集中在绩效评价指标体系、多维度绩效评价方法等方面 [5] 。尚无基于知识图谱系统分析医学科技项目绩效评价的研究进展、前沿等,及时分析与总结医学科技项目绩效评价的研究现状很有必要。

CiteSpace软件是文献计量学可视化软件,由陈超美 [6] 等研发,适用于对大量文献数据进行客观分析,生成直观的可视化知识图谱,显示关键词等的发展进程与网络联系。本研究基于中国知网(CNKI)数据库,通过应用CiteSpace 6.2.R1软件绘制知识图谱,通过对科技项目绩效评价的研究文献进行分析,呈现该领域的研究现状,结合医学学科的特点,进一步聚焦医学科技项目绩效评价的研究现状与趋势。

2. 资料与方法

2.1. 数据来源与检索方法

在中国知网数据库中进行专业检索,检索式为SU = (SU = “科技项目” OR SU = “科研项目”) AND SU = “绩效” AND (SU = “评估” OR SU = “评价”),检索时间为2013年1月1日~2022年12月31日,选择同义词扩展、中文文献。

2.2. 文献纳入与排除标准

纳入标准:与主题相关的学术期刊及学位论文。

排除标准:会议文献、报纸、图书及成果。

2.3. 研究方法

1) 应用Micosoft Excel 2019年版本软件统计年发文量,并绘制趋势图。

2) 应用CiteSpace 6.2.R1软件绘制知识图谱,将CNKI导出的文献记录通过CiteSpace软件转换为可统计格式,时间跨度选择2013年1月至2022年12月,Years Per Slice设置为1年,g-index设置为k = 25,Pruning sliced networks,依次选择节点类型为Author、Institution、Keyword绘制可视化知识图谱。

3. 结果

3.1. 检索结果

检索记录共有1199条记录,剔除会议相关8条记录、报纸相关10条记录、图书相关4条记录以及成果相关10条记录,最终纳入1167条检索记录(见表1)。在检索结果中增加“医学”或者“医院”关键词后,仅有57条记录。为了达到本研究的目的,后续分析将以1167条件检索记录作为分析对象,并对与医学相关的文献做特定分析。

Table 1. Results of the searching in CNKI

表1. 数据库检索结果

3.2. 年发文量分析

科技项目绩效评价研究年发文量情况(见图1)。由于2022年的发文可能存在收录不全,发文量分析仅对2013年~2021年的发文量绘制折线图。从图可以看出该研究方向发文量总体上近似线性增长,R2 = 0.748。

Figure 1. Domestic trend of publications on performance appraisal of scientific research from 2013 to 2021

图1. 国内科研项目绩效评价研究2013年~2021年发文量趋势图

3.3. 关键词共现分析

关键词是文献中提炼的核心词汇,可有效反映研究热点和作者的学术思想。通过关键词的聚类和共现分析,可直观反应科研项目绩效评价研究现状和热点。对关键词共现进行可视化分析,生成的知识图谱(见图2)。生成的关键词个数,即节点为398个。节点圆圈越大代表出现的频次越大即中心性(centralizad)越高,一般认为中心性 ≥ 0.1代表该节点为中心节点,即有紫色外圈的节点,这些是具有高中介中心性的节点,代表在研究中较为重要且有较大的影响力。从图2可以看出本研究中比较重要的关键词为绩效评价(0.29)、科研经费(0.18)、高校(0.15)、科研项目(0.19)、指标体系(0.11)、绩效管理(0.1)和绩效评估(0.1)。

Figure 2. The visuallization map of keywords co-incitation and clustering (n ≥ 18)

图2. 关键词共现及聚类的可视化分析的知识图谱(n ≥ 18)

线条代表关键词的联系,只要关键词在同一篇文献中出现过,两者之间就会有一条连线,线条颜色和图中上方年份相对应。本研究生成的连线数为585,网络密度为0.0074。

3.4. 关键词聚类分析

在关键词共现的基础上选择“对数似然比(LLR)”算法进行聚类分析,关系紧密的关键词会聚在同一个聚类标签中。一般认为聚类模块值(Q值)大于0.3代表聚类结构显著;聚类平均轮廓值(S值)大于0.7代表聚类合理可靠。从图中看出本研究聚类结果Q值 = 0.60 (>0.3),S值 = 0.88 (>0.7),聚类结构显著且合理可靠,能够很好的反映出本研究领域文献的研究热点。标签数字越小,代表聚类包含的关键词越多,本研究领域共生成了11聚类(见表2)。该结果显示研究关键词主要聚集在绩效评价、高校、科研经费等。其中“公立医院”作为重要的研究关键词出现,一定程度上了医学领域绩效评价的重要性。

Table 2. The detail of keyword clustering

表2. 关键词聚类情况表

3.5. 关键词突现分析

突现词分析更适用于探索研究领域的发展趋势和研究演化动态。通过设置CiteSpace软件参数,得到10个突现词共现(见图3)。从结果中可以看出近年新出现的研究热点关键词为“放管服”、“预算管理”、“科研院所”和“内部控制”。

3.6. 作者合作网络分析

对研究作者合作网络进行可视化分析,共生成节点298个,线条94,密度0.0021。可以看到发文量排在四位的是付强(4篇)、冯海燕(4篇)、刘萌(3篇)和刘静(3篇)。根据普莱斯定律,核心作者最低发文量n = 0.749 × ηmax1/2max最高产作者的发文量)。根据本研究中ηmax为1,计算得发文量1篇以上的作者是本研究领域的核心作者,共有73位。连线表示核心作者间的合作关系,并形成多个团队,连线较多表示合作紧密,连线较少表示缺乏合作(见图4)。结果显示,关于科研项目绩效评价的合作研究较少。

Figure 3. TOP 10 Keywords with the Strongest Citation Bursts (γ = 0.9)

图3. 前十位关键词突现分析图(γ = 0.9)

Figure 4. The visuallization map of co-authorship (n > 1)

图4. 研究作者共现图(n > 1)

3.7. 研究机构合作网络分析

对研究机构进行可视化分析(见图5),生成的研究机构节点为259,连线数位22,密度为0.001。节点代表研究机构,发文量排名前4的为华东师范大学(14篇)、北京交通大学(10篇)、上海交通大学(8篇)和华中科技大学(6篇)。节点之间的连线代表合作机构间的合作联系,从图中可以看出整体上研究机构散在分布,合作欠缺,即使是发文量大的研究机构也是缺乏外部合作的。

Figure 5. The visuallization map of cooperation between institutions (n > 1)

图5. 研究机构共现图(n > 1)

4. 结论与展望

4.1. 研究概况

近10年研究者对科技项目绩效评价的研究热度持续上升,近似线性增长。2017年~2021年呈快速增长,尤其是2020年明显突出。这和近年来国家不断出台优化科研管理提升科研绩效的措施密切相关。尤其是2018年国务院颁布《关于优化科研管理提升科研绩效若干措施的通知》,进一步明确了科研管理改革的方向,研究热点集中在放管服、预算管理和内部控制等关键词,和政策文件的精神相一致,都是在探索如何落实党中央、国务院关于推进科技领域“放管服”改革要求;如何建立高效的科研项目绩效评价机制,以调动科研人员的积极性和创新性。此外分析结果也显示,从事科研项目绩效评价研究的作者核心团队成员较少,散在分布,团队之间亦缺乏合作,研究机构主要集中在北京、上海的高校,但是缺乏合作,即使同城市间合作交流也是不足的,尚未形成稳定、长期的研究团队。

4.2. 研究热点和趋势分析

4.2.1. 医学科技项目绩效评价体系构建

从关键词聚类分析可以看出,本研究最突出的聚类就是绩效管理,其中主要的聚集的关键词是评价体系。指标、体系都是绩效评价的基本原则,有学者 [7] 建议构建面向“目标–结果”的评价模型,科研项目绩效评估首先是评估科研项目是否达到预定目标,其次是评估项目实施成果对科研院所科技创新能力和国际影响力是否提升,归纳为目标和结果两大方面构建评价体系。还有学者 [8] 基于某系统科研项目进程的科研项目绩效完成水平曲线,对科研项目从投入和产出两个维度进行设计,且考虑了全局维度来测算单位资源的投入和产出,并增加效益维度指标。通过应用此评价体系后指出绩效评价是一项应全面、综合、可循环的系统性工作,而非简单地设置评价指标,在提升科研项目绩效评价精度和可信度的同时提升效率。还有学者 [9] 将数据包络分析法(data envelopment analysis, DEA)运用到了科研项目绩效评价中,认为DEA方法不仅能对科研项目绩效进行量化,还能给出量化的依据,让项目提高绩效有迹可循。在目前科研项目数量持续增加,科研管理绩效改革的大背景下,项目绩效标准化评价是科管学者们研究的热点,但是目前评价方法尚不完善,建立标准化的指标体系是绩效评价研究的重要热点和未来趋势 [8] 。医学科技项目绩效评价除了将学术贡献、学术影响力纳入评价体系以外,仍需在患者治疗效果、医疗质量、实际应用和临床转化、伦理和合规性等方面综合考量,从而更准确的评估科研项目的成果和价值。

4.2.2. 科研绩效为导向的分类评价

由可视化分析可知,科研项目绩效评价近年来的突现词有“放管服”、“预算管理”。科研经费创新管理是近年来科技领域“放管服”改革的重要内容。自2015年国务院首次提出“放管服”改革方向以来,深化科研经费投入和管理改革是党中央作出的一项重大部署,各级相关部门进行了科研经费管理积极探索,创新推出了“包干制”的管理制度。随着这一制度的推出,很多学者都在探索科研经费“包干制”绩效预算的评价,以促进该制度的高效实施。有学者 [10] 认为,应将科研项目绩效与预算紧密结合,构建以科研项目绩效评价结果为导向的预算管理模式。同时提出应构建科研诚信数据库管理系统、打造基于部门协作的科研信息化管理平台和完善监督考核机制来完善公立医院科研经费“包干制”的配套措施。还有学者 [11] 研究认为我国科研经费管理模式已经从控制导向转型为绩效导向,绩效导向的科研经费管理模式有注重结果、分权管理、以人为本、鼓励节约和创新的优点。绩效导向型的科研经费管理制度也是近年的研究热点。包干制的实施,有助于减轻科研人员的压力,增强科研人员经费使用自主权。有助于将项目绩效考核向过程与结果相结合的考核转变。

4.2.3. 建立健全风险及内部控制机制

目前国家及地方科研管理改革,贯彻落实中央的为科研人员“松绑”、“解绑”理念,着力构建以绩效为导向、符合创新规律、充满生机活力的科研管理新机制。项目过程管理中授予高校(研究机构)及项目负责人越来越多的自主权,如上海市今年4月3日发布的《上海市财政科研项目专项经费管理办法》 [12] ,极大的赋予了高校科研机构管理自主权,同时提出要求高校等科研机构健全科研绩效管理机制,强化绩效导向;完善监督管理机制,创新监督检查方式。随着高校等科研机构自主权扩大,势必会带来其内部控制管理的挑战,如何贯彻落实中央政策,如何走通走好科研绩效改革的“最后一公里”至关重要。现在各高校、研究型医院等研究机构都在积极探索研究,以求建立高效创新的内部控制管理机制 [13] 。有学者提出,既要签订绩效责任书,也必须在科研项目实施过程中进行有效沟通,积极探索绩效评价体系,积极应用绩效考评结果,充分发挥科研项目绩效考评激励约束作用 [14] 。在医学院校及医疗机构建立符合医学学科发展的内部管理机制仍道阻且长。

4.3. 本研究的不足

本研究只选取了CNKI的文献数据,可能存在片面和疏漏,特别是2022年的文献收录不完整。其次是可视化软件CiteSpace是基于关键词、研究作者和机构出现的频率进行统计分析,部分出现时间短,研究频率还不高的新颖热点词探测不到,但也可能是未来具有研究价值的。再次是专门开展医学科技项目绩效评价的研究本身较少。因此在今后的研究中需要进一步完善研究方法,一方面扩大数据来源,另一方面要对某个具体的热点词进行专门分析与特定研究。

5. 小结与展望

综上所述,本研究应用CiteSpace 6.2.R1软件对近10年的科技项目绩效评价的研究概况和研究热点趋势进行可视化分析,结果显示科研项目研究绩效评价研究主题相对集中,也从中发现了对于医学科技项目绩效评价的部分研究。对于科研项目绩效评价的研究热点和趋势分析,可以指导医学科技项目绩效评价的研究,进一步丰富医学科研项目绩效评价的研究理论和方法。可视化分析过程中发现的问题,诸如核心成员较少,不同团队及研究机构之间缺乏合作等问题,同样也是医学科技项目绩效评价研究存在的突出问题。目前该方向研究侧重构建绩效评价体系、绩效导向型的科研经费评价研究以及注重完善高校等研究机构内控制度和监督管理机制研究。结合医学学科的特点,构建有医学学科特色的项目绩效评价体系是未来的研究方向之一。此外,医学科研项目绩效评价研究一方面需要进一步探索“放管服”“包干制”背景下的风险控制体系构建,另一方面需加强促进医学科研项目绩效评价研究领域内的学术交流与合作,促进不同机构和研究团队之间的交流合作,进一步提升研究协作能力和学术影响力。

基金项目

上海市卫生健康委员会科研课题青年项目“基于绩效棱柱的医学科技项目绩效评价体系的建立”,项目编号:20194Y0414。

参考文献

NOTES

*通讯作者。

参考文献

[1] 钟华, 胥美美, 倪萍, 等. 医学科研项目实施绩效评价框架设计研究[J]. 医学信息学杂志, 2022, 43(1): 2-8.
[2] 国发〔2018〕25号《关于优化科研管理提升科研绩效若干措施的通知》[EB/OL] http://www.gov.cn/gongbao/content/2018/content_ 5312210.htm, 2018-07-18.
[3] 国科办资〔2018〕107号《国家重点研发计划项目综合绩效评价工作规范(试行)》的通知[EB/OL]. https://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/ gfxwj/gfxwj2018/201812/t20181229_ 144402.html, 2018-12-14.
[4] 国科金发财〔2019〕31号《关于进一步完善科学基金项目和资金管理的通知》[EB/OL]. https://www.nsfc.gov.cn/publish/portal0/zfxxgk/04/04/01/info81163.htm, 2019-03-28.
[5] 吴涛. 我国医院科研绩效评估研究现状及思考[J]. 卫生软科学, 2022, 36(9): 46-50.
[6] Chen, C. (2006) CiteSpace II: Detecting and Visualizing Emerging Trends. Journal of the American Society for Information Science & Technology, 57, 359-377.
https://doi.org/10.1002/asi.20317
[7] 赵静, 董亚娜. 科研项目绩效考评体系建设研究[J]. 行政事业资产与财务, 2022(15): 18-22.
[8] 刘媛. 高校科研项目绩效管理评价标准化体系建设研究[J]. 大众标准化, 2022(10): 49-51.
[9] 彭艳, 邱宇. 基于DEA的军队科研项目绩效评价研究[J]. 海军工程大学学报, 2022, 34(3): 102-107.
[10] 邱英, 林媛, 金晓敏. 基于绩效预算的公立医院科研经费“包干制”管理[J]. 卫生经济研究, 2022, 39(1): 87-89.
[11] 陈小华, 官如梦. 绩效导向型科研经费管理模式的构建及其优化[J]. 财政监督, 2023(2): 98-104.
[12] 沪财发〔2023〕4 号《上海市财政科研项目专项经费管理办法》[EB/OL]. https://www.shanghai.gov.cn/gwk/search/content/xxfbdf0000020739, 2023-03-24.
[13] 吴宇, 岳初霁, 景婧. 高校二级科研管理体制构建的一点思考[J]. 科研管理, 2019, 40(12): 327-330.
[14] 涂淑娟, 黄厚生, 王玲. “放管服”背景下的科研经费管理内部控制研究——基于全面预算绩效管理[J]. 会计之友, 2020(12): 77-83.