1. 引言
在当今全球化的经济环境下,电力行业作为国民经济的基础产业,正面临着日益激烈的市场竞争和快速变化的技术环境。党的二十大报告中强调,科技创新是建设现代化经济体系的战略支撑。科研项目已成为推动技术创新、实现低碳发展的关键载体,为了在竞争中立于不败之地,电力企业必须高度重视科研项目的管理和评价,通过科学的评价体系来指导科研项目的实施和资源的合理配置。
电力企业科研项目具有多样性、复杂性和长期性等特点,涵盖了理论研究(如新型电力系统稳定性分析)、应用研究(如储能技术优化)、产品研发(如智能电表迭代)及特殊场景研究(如极端气候下的电网韧性提升) [1] [2]。然而,现有评价体系多采用“一刀切”模式,忽视了不同类型项目的差异化需求,导致评价结果与项目实际价值偏离显著[3]。为了准确评价这些项目的效益和潜力,针对不同科技项目类别,构建科学合理的评价指标体系显得尤为重要。
近年来,国内外学者在科研项目评价方面进行了大量的研究,提出了多种评价方法和指标体系。例如,文献[4]提出了基于层次分析法的农业科技项目绩效评价指标体系;文献[5]从成果水平、经济社会生态效益、企业声誉、企业可持续发展等维度构建了煤炭企业重大科技项目绩效评价指标体系;文献[6]采用德尔菲法对指标进行确定和筛选构建我国医学科技项目评价体系。文献[7]则针对应用研究项目从新颖性、可转化性和可行性三个方面构建了评价指标体系。然而,目前针对电力企业科研项目的评价研究相对较少。本文考虑电力企业科研项目的特点,对电力企业科研项目进行分类,并针对不同类别的科研项目构建差异化的项目评价指标体系,符合电力企业科技项目管理的现实需要,同时对于丰富科研项目评价理论体系具有重要意义。
在指标赋权的过程中,为保证权重能够较好地反映评价指标的重要程度,研究者们已采用过包括多种主、客观赋权方法:文献[8]为进行城市综合管廊消防安全评估,通过层次分析法作为主观赋权方法确定指标权重;文献[9]利用熵权法客观确定湖北省绿色航运发展评价指标权重;文献[10]为研究医院智能立体车库管理效率问题,采用Critic方法对客观指标进行赋权;文献[11]则通过G1法对配网带电作业安全评估指标进行主观赋权。其中,G1法相较于层次分析法,剔除了一次性检验和构造判断矩阵,能够在最大程度上提高在实际计算中的效率。而DEMATEL法作为常用的关键影响因素分析方法,能够显示出各类因素之间的相关关系,从而确定指标的相对重要程度[12]。考虑到本文构建的指标体系中包含定性指标,采用G1法通过专家判断对指标进行主观赋权,并将G1法和DEMATEL法结合能够降低专家因主观而影响判断的可能性,提高权重计算结果的客观性[13],该组合方法在各类评价指标体系中得到了广泛的应用,对于本研究具有较好的科学性与适用性。
综上,对于科技项目的评价是电力企业的现实发展需要,同时也是当前企业管理理论研究中值得深入探究的问题。为此,本文对电力企业科研项目进行分类,针对每一类项目选取具体的评价指标,从多个维度构建三级评价指标体系;运用G1-DEMATEL法对各类项目的三级指标进行赋权,以确保评价结果的科学性和客观性;在此基础上,将指标权重换算为百分制,为了提高指标体系实际应用的便捷性。本文的研究不仅丰富了科研项目评价的理论和方法体系,也为电力企业提升科研管理水平和创新能力提供了实践指导。
2. 电力企业科研项目分类
科研项目评价是确保科研项目目标达成、资源合理分配和科技创新有效推进的重要环节。电力企业有多种不同类别的科研项目,不同项目的评价侧重也应有所区别,因此本文首先对电力企业科研项目进行类别划分,从而针对不同的科研项目确定不同的评价指标,构建基于分类导向的科研项目评价指标体系。依据电力企业科研项目后评估工作方案,将项目类型划分为:理论研究类、应用研究类、产品研究类、其他类。
(1) 理论研究类
理论研究类项目是指为提升电力企业技术储备,面向未来技术进步、业务发展或重大工程建设而进行的实验性或基础理论性研究项目。其不以任何专门或特定的应用场景为目的,主要是获取原理性的新知识、新方法和新规律,从而为未来的应用研究和技术创新提供理论支持和科学依据,其研究成果主要以科学论文和科学著作的形式展现,反映知识的原始创新能力。
(2) 应用研究类
应用研究类项目是指将理论研究成果应用于实际生产和社会生活中的项目,这些项目旨在解决实际问题,提高生产效率和经济效益。应用研究通常需要与其他企业或者社会组织合作,将科研成果转化为实际的产品或者服务,其研究结果通常只对科学技术的特定领域产生有限影响,具有明确的针对性和专业性,通常以科学论文、专著或发明专利等形式呈现,能够为相关领域的发展提供实用的解决方案或技术支持。
(3) 产品研究类
开发研究类项目是指通过对事物现象的周密调查与反复思索后,根据理论研究的成果以及市场需要,开发出新材料、新工艺、新产品的项目,本质是为了满足顾客需要创造的可应用的新产品。产品研究类项目旨在将研究成果转化为实际应用,提高生产效率和经济效益,推动产业升级和社会发展。
(4) 其他类
其他类项目通常是指电力企业科研院所为政府、总公司、省公司提供政策建议、市场分析、战略规划等专业意见的智库类项目。该类项目聚焦于国家层面、总公司、省公司的重大战略、政策研究,旨在为某一领域的具体问题进行深入探索,提出针对性的解决方案与决策建议。该类项目的研究成果主要为研究报告、决策建议等,期望能影响政策或企业制度制定,推动政策与制度的创新或优化。
3. 基于分类导向的电力企业科研项目评价指标体系构建
基于前述分析,结合项目全生命周期管理理论以及当前电力企业科研项目管理实践现状,本部分围绕科研项目的立项水平、实施水平、实施效用三个维度开展科研项目评价,构建如下表1所示的电力企业科研项目评价指标体系。以“Π”表示各类科研项目的指标选取情况。
Table 1. Evaluation index system of electric power enterprise scientific research project
表1. 电力企业科研项目评价指标体系
一级 指标 |
二级
指标 |
三级指标 |
指标描述 |
理论 研究类 |
应用 研究类 |
产品 研究类 |
其他类 |
立项 水平 |
项目策划水平 |
选题研究价值 |
项目选题是否面向国家、行业、公司未来技术进步或理论创新的关键需求 |
Π |
|
Π |
Π |
技术路线可行性 |
项目拟采用的研究方法是否科学恰当,研究
工作安排是否可行 |
|
Π |
Π |
|
立项资料规范性 |
项目立项材料是否一次性通过形式审查 |
Π |
Π |
Π |
Π |
预期成效水平 |
预期成果创新度 |
项目研究成果取得的预期创新水平 |
Π |
Π |
Π |
|
预期业务活动支撑
效用 |
项目成果对公司业务活动的支撑价值 |
|
Π |
|
Π |
预期成果推广范围 |
项目成果预期在国网公司系统内外的推广范围 |
|
|
Π |
|
预期成果转化效益 |
项目成果的转化、应用带来的经济效益水平 |
|
|
Π |
|
实施 水平 |
项目成果产出水平 |
研究目标与指标完成情况 |
项目是否取得任务书所设定的研究目标,
并完成成果指标要求 |
Π |
Π |
Π |
Π |
成果技术成熟度 |
成果的技术水平、工艺流程等方面所具有的
产业化实用程度 |
|
Π |
Π |
|
成果转化与应用价值 |
项目成果的转化或者内部应用价值 |
|
Π |
|
|
入驻推广平台或目录情况 |
是否入驻推广应用平台或者目录 |
|
|
Π |
|
投入产出水平 |
项目成果转化取得的经济效益与投入的成本
水平之比 |
|
|
Π |
|
研究成果创新度 |
项目研究成果取得的实际创新水平 |
Π |
|
|
|
目标导向一致性 |
成果是否与公司目标和需求一致,是否符合
公司价值观念 |
|
|
|
Π |
项目资料与经费管理情况 |
验收资料规范性 |
项目验收时提交的各项资料是否符合公司项目管理要求 |
Π |
Π |
Π |
Π |
经费执行情况 |
项目验收时的经费执行水平 |
Π |
Π |
Π |
Π |
实施 成效 |
成果创新价值 |
高价值知识产权产出情况 |
在项目通过验收后,在任务书规定指标的基础上,额外形成的授权专利、标准、论文等知识产权情况 |
Π |
Π |
Π |
|
重大科研项目立项
情况 |
依托项目成果进一步获批国家级、省部级、
国网公司级重点科研项目情况 |
Π |
Π |
|
|
科技奖励情况 |
在项目验收后,依托项目研究成果,获得科技奖励情况 |
Π |
Π |
|
|
成果经济效用 |
成果转化经济效益 |
项目成果转化带来的经济效益水平 |
Π |
Π |
Π |
|
成果降本增效水平 |
项目成果在节约人工成本、增加供电量等方面带来的经济效益。 |
Π |
Π |
Π |
|
成果业务支撑效用 |
成果应用范围 |
项目成果在国网公司系统内的推广范围 |
Π |
Π |
Π |
Π |
成果管理效用 |
成果对公司生产经营效率提升的支撑效用,如减少管理冗余、降低员工工作强度、提高作业安全等方面。 |
Π |
Π |
Π |
Π |
实施 成效 |
成果业务支撑效用 |
成果社会效用 |
成果在提高供电能力、提升客户满意度等方面的成效。 |
Π |
Π |
Π |
|
公司人才培养支撑效用 |
在项目验收后,依托项目研究工作,项目团队人员获得人才称号情况 |
Π |
Π |
|
|
成果影响力水平 |
成果被采纳情况 |
成果获得领导批示,或对相关政策、标准制定的支撑作用 |
|
|
|
Π |
媒体宣传 |
成果获得官方媒体宣传报道情况 |
|
|
|
Π |
会议报告 |
该成果在国际或国内大型会议中进行情况汇报 |
|
|
|
Π |
4. 研究方法
G1-DEMATEL是一种主观组合赋权方法。利用G1法对各项指标进行分析,确定指标的重要性顺序及权重,随后运用DEMATEL法对G1法计算出来的指标权重进行修正,得到修正后的综合权重。具体方法及计算步骤如下:
(1) G1法
把指标和其相邻的评价指标进行比较,通过比较后依据重要性进行顺序关系排列,最后排列出的顺序关系决定各个指标的权重。计算步骤如下:
步骤1:对评价指标集
,按照重要性从高到低依次排序,记为
。
步骤2:邀请专家对指标集中排序后的相邻指标的相对重要程度进行打分,其与各指标的权重系数打分表达式为:
(1)
式中,
,
、
分别表示专家对评价指标
、
的权重系数打分;
为专家对指标
和
之间的相对重要程度打分,具体取值见表2。
步骤3:根据相对重要程度
,通过式(2)和(3)分别计算得出专家对各指标的权重系数:
(2)
(3)
其中,
。
Table 2. G1 method assignment standard
表2. G1法赋值标准表
|
释义 |
1.0 |
同等重要 |
1.2 |
稍微重要 |
1.4 |
明显重要 |
1.6 |
非常重要 |
1.8 |
极端重要 |
1.1, 1.3, 1.5, 1.7 |
代表上述判断的中间值 |
(2) DEMATEL法
DEMATEL方法能够分析指标之间的影响关系及程度,从而确定指标的相对重要程度。计算步骤如下:
步骤1:明确各指标之间的影响关系。若指标
的取值会影响
的取值或受到
取值的影响,则表示二者之间存在影响关系。本文设定指标
对
的影响程度可划分为无影响、影响较弱、影响一般、影响较大、强影响五种程度,并用数字0~4分别对应。直接影响矩阵
可以通过分析全部指标间的相互影响关系得到,其计算公式如下所示:
(4)
其中,
表示指标
对
的影响程度,并且
。
步骤2:得到标准影响矩阵。在得到直接影响矩阵A的基础上,可进一步得到标准影响矩阵B,其计算公式如下所示:
(5)
步骤3:计算综合影响矩阵。综合影响矩阵反映整个指标体系中,指标间的因果关系,其计算方式为:
(6)
式中,I为单位矩阵。
步骤4:计算指标的中心度。具体来说,影响度
代表第
个指标对其他指标的综合影响程度,是综合影响矩阵T的第
行元素之和;被影响度R则表示第
个指标受到其余指标的综合影响程度,为第
列元素之和。则有:
(7)
在此基础上,得到
为该指标的中心度,其取值越大,表明该指标在整个指标体系中越重要。
(3) G1-DEMATEL综合权重计算方法
为提高计算结果的客观性和科学性,降低G1方法和DEMATEL方法中专家因主观而影响判断的可能性,本文将两种方法进行结合,以减少原有方法的主观性,从而构造综合权重
,具体为:
(8)
式中,
为G1法计算的权重,
为每个指标中心度与对应G1法权重的乘积。
5. 指标权重结果
在构建了电力企业科研项目评价指标体系的基础上,本文以“百分制 + 加分制”对各类项目开展评价。其中,项目立项水平与实施水平首先利用G1-DEMATEL法对三级指标赋予权重,再按照总分百分制进行换算,以便更清晰地反映项目执行情况。项目后评价按照加分制的方式开展评价,关注项目成果的后续产出与效益等方面。
Table 3. Evaluation index weight calculation results of theoretical research projects
表3. 理论研究类项目评价指标权重计算结果
三级指标 |
|
|
|
|
选题研究价值 |
4.499 |
0.084 |
0.377 |
0.066 |
立项资料规范性 |
3.052 |
0.084 |
0.256 |
0.045 |
预期成果创新度 |
5.832 |
0.151 |
0.881 |
0.153 |
研究目标与指标完成情况 |
7.677 |
0.257 |
1.971 |
0.343 |
研究成果创新度 |
6.595 |
0.257 |
1.693 |
0.295 |
验收资料规范性 |
3.863 |
0.084 |
0.324 |
0.056 |
经费执行情况 |
2.855 |
0.084 |
0.240 |
0.041 |
Table 4. Evaluation index weight calculation results of applied research projects
表4. 应用研究类项目评价指标权重计算结果
三级指标 |
|
|
|
|
技术路线可行性 |
3.966 |
0.060 |
0.236 |
0.044 |
立项资料规范性 |
3.010 |
0.060 |
0.179 |
0.034 |
预期成果创新度 |
4.705 |
0.133 |
0.627 |
0.117 |
预期业务活动支撑效用 |
5.005 |
0.133 |
0.667 |
0.125 |
研究目标与指标完成情况 |
6.644 |
0.200 |
1.329 |
0.249 |
成果技术成熟度 |
5.361 |
0.095 |
0.511 |
0.096 |
成果转化与应用价值 |
6.461 |
0.200 |
1.292 |
0.242 |
验收资料规范性 |
4.149 |
0.060 |
0.247 |
0.046 |
项目经费执行情况 |
4.262 |
0.060 |
0.254 |
0.047 |
Table 5. Evaluation index weight calculation results of product research projects
表5. 产品研究类项目评价指标权重计算结果
三级指标 |
|
|
|
|
选题研究价值 |
4.001 |
0.057 |
0.228 |
0.044 |
技术路线可行性 |
4.161 |
0.057 |
0.237 |
0.046 |
立项资料规范性 |
2.982 |
0.057 |
0.170 |
0.033 |
预期成果推广范围 |
5.752 |
0.091 |
0.525 |
0.101 |
预期成果转化效益 |
6.318 |
0.146 |
0.922 |
0.177 |
研究目标与指标完成情况 |
6.321 |
0.204 |
1.291 |
0.248 |
研究成果技术成熟度 |
5.225 |
0.091 |
0.477 |
0.092 |
入驻推广平台或目录情况 |
5.151 |
0.091 |
0.470 |
0.090 |
投入产出水平 |
5.092 |
0.091 |
0.464 |
0.089 |
验收资料规范性 |
2.750 |
0.057 |
0.157 |
0.030 |
项目经费执行情况 |
4.502 |
0.057 |
0.257 |
0.049 |
Table 6. Evaluation index weight calculation results of other research projects
表6. 其他类项目评价指标权重计算结果
三级指标 |
|
|
|
|
选题研究价值 |
9.794 |
0.097 |
0.954 |
0.080 |
立项资料规范性 |
7.844 |
0.057 |
0.450 |
0.038 |
预期业务活动支撑效用 |
11.887 |
0.219 |
2.606 |
0.219 |
研究目标与指标完成情况 |
13.682 |
0.285 |
3.899 |
0.328 |
目标导向一致性 |
14.667 |
0.146 |
2.144 |
0.180 |
验收资料规范性 |
9.927 |
0.097 |
0.967 |
0.081 |
项目经费执行情况 |
8.846 |
0.097 |
0.862 |
0.73 |
利用G1-DEMATEL法,从企业科研院所、高校邀请多名专家对各类科研项目评价指标赋权,得到的各项目评级指标权重结果如表3~6所示。
为了实际项目评价过程中为指标赋分的简洁、方便性,根据G1-DEMATEL方法计算得到的指标综合权重结果,将指标权重换算为百分制,并且在百分制下指标分值最小单位设置为5,得到最终各类项目的指标分值如表7~10所示。
Table 7. Evaluation index score of theoretical research projects
表7. 理论研究类项目评价指标分值
一级指标 |
二级指标 |
三级指标 |
指标权重 |
立项水平 |
项目策划水平 |
选题研究价值 |
5 |
立项资料规范性 |
5 |
预期成效水平 |
预期成果创新度 |
20 |
实施水平 |
项目成果产出水平 |
研究目标与指标完成情况 |
30 |
研究成果创新度 |
30 |
项目资料与经费管理情况 |
验收资料规范性 |
5 |
经费执行情况 |
5 |
实施成效 |
成果创新价值 |
高价值知识产权产出情况 |
加分项, 上不封顶 |
重大科研项目立项情况 |
科技奖励情况 |
成果经济效用 |
成果转化经济效益 |
成果降本增效水平 |
成果业务支撑效用 |
成果应用范围 |
成果管理效用 |
成果社会效用 |
公司人才培养支撑效用 |
Table 8. Evaluation index score of applied research projects
表8. 应用研究类项目评价指标分值
一级指标 |
二级指标 |
三级指标 |
指标权重 |
立项水平 |
项目策划水平 |
技术路线可行性 |
5 |
立项资料规范性 |
5 |
立项水平 |
预期成效水平 |
预期成果创新度 |
15 |
预期业务活动支撑效用 |
15 |
实施水平 |
项目成果产出水平 |
研究目标与指标完成情况 |
20 |
成果技术成熟度 |
10 |
成果转化与应用价值 |
20 |
项目资料与经费管理情况 |
验收资料规范性 |
5 |
项目经费执行情况 |
5 |
实施成效 |
成果创新价值 |
高价值知识产权产出情况 |
加分项, 上不封顶 |
科技奖励情况 |
成果经济效用 |
成果应用/转化经济效益 |
成果降本增效水平 |
成果业务支撑效用 |
成果应用范围 |
成果管理效用 |
成果社会效用 |
公司人才培养支撑效用 |
Table 9. Evaluation index score of product research projects
表9. 产品研究类项目评价指标分值
一级指标 |
二级指标 |
三级指标 |
指标权重 |
立项水平 |
项目策划水平 |
选题研究价值 |
5 |
技术路线可行性 |
5 |
立项资料规范性 |
5 |
预期成效水平 |
预期成果推广范围 |
10 |
预期成果转化效益 |
15 |
实施水平 |
项目成果产出水平 |
研究目标与指标完成情况 |
20 |
研究成果技术成熟度 |
10 |
入驻推广平台或目录情况 |
10 |
投入产出水平 |
10 |
项目资料与经费管理情况 |
验收资料规范性 |
5 |
项目经费执行情况 |
5 |
实施成效 |
成果创新价值 |
高价值知识产权产出情况 |
加分项, 上不封顶 |
成果经济效用 |
成果应用/转化经济效益 |
成果转化达到的市场份额 |
成果降本增效水平 |
成果业务支撑效用 |
成果应用范围 |
成果管理效用 |
成果社会效用 |
Table 10. Evaluation index score of other research projects
表10. 其他类项目评价指标分值
一级指标 |
二级指标 |
三级指标 |
指标权重 |
立项水平 |
项目策划水平 |
选题研究价值 |
10 |
立项资料规范性 |
5 |
预期成效水平 |
预期业务活动支撑效用 |
20 |
实施水平 |
项目成果产出水平 |
研究目标与指标完成情况 |
30 |
目标导向一致性 |
15 |
项目资料与经费管理情况 |
验收资料规范性 |
10 |
项目经费执行情况 |
10 |
实施效果 |
成果业务支撑效用 |
成果应用范围 |
加分项, 上不封顶 |
成果管理效用 |
成果影响力水平 |
成果被采纳情况 |
媒体宣传 |
会议报告 |
6. 总结
为提高电力企业科研项目质量,从而提升电力企业科研管理水平和创新能力,本文根据电力企业科研项目的实际开展情况,将项目进行分类后,从立项水平、实施水平和实施成效三个维度构建了基于分类导向的电力企业科研项目评级指标体系,并利用基于G1-DEMATEL进行指标赋权。该评价体系能够全面、准确地反映电力企业科研项目的实际情况,为企业的科研决策提供科学依据。通过将指标权重换算为百分制并设置合理的分值单位,提高了实际评价过程的便捷性和可操作性,具有较强的实用性和推广价值。未来,随着电力行业的发展和科技的进步,科研项目评价体系也需要不断优化和完善,以适应新的形势和挑战。