1. 引言
随着数字资源在高校图书馆文献资源建设中的重要性日益增强,关于数字资源绩效评价的研究也越来越受到关注,特别是将数据分析和建模的科学方法运用于数字资源的绩效评价中,更是研究的发展趋势。从文献调研来看,学者们在数字资源绩效评价的研究中常用的评价指标权重赋值方法有层次分析法[1] [2]、模糊语义法[3] [4]、熵权法[5] [6]、CRITIC法[7] [8]、变异系数法[9]等。在评价指标权重赋值的基础上,为了更加科学地对数字资源的多指标展开综合分析,需要应用到综合评价方法,其中在现有的研究中使用较多的是优劣解距离法(TOPSIS)。比如,周艳等利用熵权法对指标进行赋值后,应用TOPSIS模型对各样本数据库绩效进行实证分析[6]。刘爽基于熵权法与TOPSISI模型对高校图书馆电子资源展开绩效评价实证研究[10]。蒲筱哥等采用熵权法和网络分析法组合赋权,再利用TOPSIS法构建数字资源综合服务绩效模型[11]。陈英则是用层次分析法和CRITIC法测算高校图书馆数字资源服务绩效评价指标的组合权重,再基于TOPSIS模型进行绩效评价的实证研究[7]。
从决策分析的角度而言,数字资源绩效评价属于多属性决策问题。在解决多属性决策问题和综合评价中,除了上述提到的TOPSIS法,还有另一种与TOPSIS法类似的常用方法,叫做多准则妥协解排序法(VIKOR),这种方法可以对评价对象进行综合评价并排序。从现有文献来看,在高校图书馆数字资源绩效评价的相关研究中很少涉及到VIKOR法的运用。VIKOR法的主要模型原理[12]是通过确定“正理想解”和“负理想解”,计算各备选方案的折衷解。其中,正理想解是指被评价对象在各评估指标中的最佳值,而负理想解是指被评价对象在各评估指标中的最劣值。通过各备选方案与理想方案之间的接近程度在可接受优势和决策过程稳定的条件下对方案进行排序。从计算过程来看,相比TOPSIS法,VIKOR法多了一个决策机制系数,它可以使决策者做出更激进或更保守的决策(通过调整群体效用与个体遗憾的权重来实现)。而且,VIKOR法的最大特色就是最大化了群体效应,所以妥协解可被决策者接受。
因此,本文从投入成本和产出效益的角度分析高校图书馆数字资源绩效评价的指标体系,并尝试在实证研究中将熵权法和VIKOR法相结合,进行指标权重赋值和综合绩效评价,从而构建高校图书馆数字资源绩效评价模型。
2. 数字资源绩效评价的具体内容
2.1. 投入成本分析
数字资源的投入成本是图书馆从订购、应用到推广数字资源所涉及到的成本方面的投入。订购成本是数字资源投入成本的主要组成部分,包括订购数字资源所需支付的数据费、平台费、技术费、更新费等,具体的费用形式取决于不同的文献类型以及不同的订购模式。数字资源之间的价格差异通常较大,这种差异数据也是投入成本的一种体现方式,可以将数字资源在总经费中所占的比例作为占比成本。同时,基于订购的各项费用,结合数字资源的使用统计数据,还可以测算出下载成本、引用成本等平均使用成本。另外,数字资源的订购、访问和使用需要依靠服务器、网络等软硬件设施,以及图书馆工作人员的参与,因此数字资源的投入成本还应包括软硬件成本、人力资源成本以及其他方面的投入成本。但这几方面的投入,是图书馆开展基础服务和维持常规运行的基本投入,相对来说比较固定,在此可不必单独计入数字资源的投入成本。因此,综上分析,数字资源投入成本的评价内容主要包括价格成本、占比成本和平均使用成本。
2.2. 产出效益分析
高校图书馆订购的数字资源以服务高校师生为主,为师生开展教学科研提供文献资源保障。特别是综合性高校,图书馆提供的数字资源种类较多。所谓产出效益,主要是指数字资源的使用情况以及作用于学校教学和科研的效用[13]。从数字资源效用价值的角度分析,其产出效益可以概括为使用效益、学术效益、经济效益和其他效益。
使用效益是产生学术效益的基础,在用户使用资源的前提下,资源本身的学术价值才能发挥相应的效用。使用效益的评价内容,通过用户的各项使用数据来体现,包括数字资源的登录量、访问量、浏览量、检索量、下载量等。根据数字资源的不同类型,选择适当的使用数据的统计维度来确定评价指标。此外,使用效益的另一个重要体现,是数字资源的被引用情况。基于用户学术文献的引文分析,可以将数字资源对于用户发表学术文献的贡献度进行一定程度的量化。
学术效益是根据数字资源为用户提供的资源保障,分析用户在学术研究中取得的成果产出及对订购数字资源的利用情况。为了满足师生开展科研的需求,学术型数字资源已经成为文献资源建设体系中的重要部分。学术效益是学术型数字资源核心价值的关键体现。首先,“资源保障”主要围绕资源的总体保障、核心保障、学科保障等维度展开分析,具体评价内容包含资源的总体数量、核心资源数量/保障率、学科资源数量/占比、未保障资源情况和资源重复情况等。其次,“成果产出”则是用户利用数字资源进行科研活动后所产生的学术成果,比如发表论文、出版专著、申请专利等。具体的评价内容则包含发表论文数量、核心资源发文数量、高被引论文数量、论文发表出版物在订购数字资源中的占比、专著出版数量和专利申请数量等。通常情况下,高校师生在学术成果的参考文献列表里会反映出引用到的相关文献,其学术成果发表后又会被其他的学术成果引用,从而在学术成果之间形成“引用–发文–被引”这样的数据链关系。所以数字资源的引用数据也是学术绩效的重要体现,包括资源的引用数量、引用占比等相关数据。
经济效益不同于使用效益和学术效益,它是指图书馆利用数字资源为用户提供服务所产生的直接的经济收入,是数字资源在图书馆范围内创造经济价值的一种体现。主要包含图书馆在科技查新、查收查引、信息咨询和知识产权服务等方面的收入。
其他效益主要是数字资源的使用对于高校的教育教学、人才培养等方面所产生的积极影响,相比于使用效益、学术效益和经济效益,其他效益的评价内容更为复杂,评价难度更大。
根据数字资源的不同类型,其产出效益有不同的侧重。支撑学术研究类的全文型数字资源,比如中外文电子期刊、电子图书等,以使用效益和学术效益为主。支撑学术评价类的数字资源,比如主要用于学科分析和科研评价等目的的二次文献和工具类资源,以使用效益和经济效益为主。支撑教育教学类的数字资源,比如电子教材/电子课程和学习类/考试类资源等,以使用效益和其他效益为主。因此,针对不同类型数字资源的特点,应当选取与之相对应的产出效益评价内容。
3. 数字资源绩效评价的指标体系
数字资源绩效评价指标的选取,应围绕着投入成本和产出效益的具体内容来展开,遵循科学性、客观性和可操作性的指标选取原则。根据数字资源绩效评价涉及的主要内容,评价指标体系以基于数据驱动的量化评价为主。量化评价是指标体系可以量化描述和评价数字资源,将主观感受和定性判断转化为管控指标和数据指标,提高评价的科学性和客观性。评价指标应当易于收集、记录和统计,具有可操作性。指标的选取还需考虑数字资源的类型和特点,紧密联系实际工作目标和绩效评价要求,便于为图书馆的数字资源建设提供决策支持。
依照不同类型数字资源产出效益的分析,本研究遵循上述指标选取原则,参考现有的相关研究成果,并结合工作实践与经验总结,以学术型数字资源为例,制定高校图书馆数字资源绩效评价定量指标体系表,主要以使用效益和学术效益来体现数字资源的绩效,详见表1。
Table 1. Quantitative indicator system for performance evaluation of academic digital resources in university libraries
表1. 高校图书馆学术型数字资源绩效评价定量指标体系表
评价维度 |
评价内容 |
评价指标 |
指标性质 |
指标测算方法 |
投入成本 |
价格成本 |
订购费用 |
负向指标 |
订购数字资源的费用 |
占比成本 |
占总经费比例 |
负向指标 |
订购费用/数字资源总经费*100% |
下载成本 |
单次下载成本 |
负向指标 |
订购费用/下载次数 |
引用成本 |
单次引用成本 |
负向指标 |
订购费用/引用次数 |
产出效益 |
资源保障 |
订购数字资源数量 |
正向指标 |
订购数字资源的种数 |
订购核心资源数量 |
正向指标 |
订购核心数字资源的种数 |
核心资源保障率 |
正向指标 |
订购核心数字资源的种数/核心数字资源的种数*100% |
订购学科资源数量 |
正向指标 |
订购学科数字资源的种数 |
学科资源占比 |
正向指标 |
订购学科数字资源的种数/订购数字资源的种数*100% |
独有资源占比 |
正向指标 |
订购独有数字资源的种数/订购数字资源的种数 |
资源下载 |
数字资源下载量 |
正向指标 |
数字资源的下载次数 |
下载数字资源数量 |
正向指标 |
有下载量的数字资源种数 |
下载数字资源占比 |
正向指标 |
有下载量的数字资源种数/订购数字资源种数*100% |
资源引用 |
数字资源引用量 |
正向指标 |
被核心发文引用的次数 |
引用数字资源数量 |
正向指标 |
有核心发文引用量的订购数字资源种数 |
引用数字资源占比 |
正向指标 |
有核心发文引用量的订购数字资源种数/订购数字资源
种数*100% |
续表
|
学术成果 |
核心资源的发文量 |
正向指标 |
核心资源的发文篇数 |
核心发文资源量 |
正向指标 |
核心发文的数字资源种数 |
核心发文的订购占比 |
正向指标 |
订购数字资源中的核心发文篇数/核心发文的篇数*100% |
核心发文资源的
订购占比 |
正向指标 |
订购核心发文的数字资源种数/核心发文的数字资源
种数*100% |
高被引论文量 |
正向指标 |
本校的高被引论文篇数 |
专利申请量 |
正向指标 |
本校申请专利的件数 |
专著出版量 |
正向指标 |
本校出版专著的种数 |
注:表中的核心资源和学科资源的相关指标,分别选取与中文数字资源和外文数字资源相对应的核心目录体系和学科目录体系。
4. 数字资源绩效评价指标的权重赋值
目前,用于评价指标权重赋值的数据分析方法较多[14],常用的有德尔菲法、层次分析法等主观类的赋权法,还有熵权法、CRITIC权重法、主成分分析法等客观类的赋权法,以及结合主观和客观赋权法的组合赋权法。研究者可以根据指标的不同特性,选择适当的权重赋值方法。由于本研究表1中的评价指标体系主要涉及定量指标变量,适宜客观类的赋权法,且指标间的数据波动和差异较大,同时有正向类指标和负向类指标,因此在本研究中选择应用较为广泛的熵权法。
熵权法源于信息论,在多指标的综合评价中,可以用信息熵值来判断指标的离散程度。信息熵值越小,指标的离散程度越大,该指标对综合评价的影响(即权重)就越大,反之则越小。因此,可根据评价对象各个指标的离散程度,借助信息熵计算出各个指标的权重,为多指标综合评价提供依据[6]。
熵权法的具体算法原理如下[15]:
(1) 如果数字资源绩效评价的样本数量为m,评价指标数量为n,第i个样本的第j项指标的原始数据为
,其中
,
,那么,原始数据矩阵X为:
分别对正向指标和负向指标的原始数据进行标准化处理。
正向指标标准化所得数据为(正向指标的数值越大表明评价状况越优):
负向指标标准化所得数据为(负向指标的数值越小表明评价状况越优):
其中,
,
,
。
(2) 计算样本比例
其中,m为样本数量,
为第i个样本在第j项指标上的比例。
(3) 计算第j项指标的熵值
其中,
,
,
为第j项指标的熵值。
(4) 计算信息熵冗余度(即信息效用值)
其中,
,n为指标的数量。
(5) 计算各项指标的权重
其中,
,
为第j项指标的权重,n为指标的数量。
(6) 如有需要,可根据所得指标权重计算各样本的综合得分
其中,
,
为第i个样本的综合得分。
5. 数字资源绩效评价的模型构建
数字资源绩效评价涉及的评价对象和评价指标较多,要实现评价对象的综合评比及优劣排序,可在熵权法的基础上,参照多准则妥协解排序法(VIKOR)来构建数字资源绩效评价模型。VIKOR法的基本计算过程为首先计算评价对象总的最优解(正理想解)和最劣解(负理想解),然后比较各评价对象与最优解和最劣解之间的距离大小来确定评价对象的排序,进而获得待评价对象的优劣级别。VIKOR法考虑了决策者的主观偏好,其最大特色就是将最大化的“群体效益”和最小化的“个体遗憾”相妥协,从而使该方法研究多属性决策问题更加合理。VIKOR法主要分为确定权重、计算理想解、计算群体效用值与个体遗憾值、计算利益比率并排序四个步骤[16]。
(1) 确定权重
本研究采用熵权法确定权重,熵权法的具体计算原理详见上述第4部分内容。
(2) 计算理想解
正理想解是最大化正向指标结合最小化负向指标的解决方案,而负理想解是最小化正向指标结合最大化负向指标的解决方案,并采用标准化后的绝对值来计算理想解。理想解的计算公式如下:
,
其中,
,
为第j项评价指标的正理想解,
为第j项指标的负理想解。
(3) 计算群体效用值与个体遗憾值
群体效用值是决策者们对得失效果的看法与态度的一种数量表示,用来衡量决策者对于某些事物的主观倾向和偏好。个体遗憾值是某个方案中其他值与最高值之间的差额,用来反映决策者错误判断所造成的损失价值。在计算群体效用值和个体遗憾值的过程中,分别以正理想解和负理想解作为参照对群体效用值和个体遗憾值进行计算,计算公式如下所示:
① 以正理想解为参照:
其中wj为第j项指标的权重,
为第i个样本中第j项评价指标标准化后的数据,
,
。
和
分别为第i个样本以正理想解为参照的群体效用值和个体遗憾值。
② 以负理想解为参照:
其中wj为第j项指标的权重,
为第i个样本中第j项评价指标标准化后的数据,
,
。
和
分别为第i个样本以负理想解为参照的群体效用值和个体遗憾值。
③ 方案的群体效用值和个体遗憾值分别为:
其中,
,
和
分别为第i个样本的群体效用值和个体遗憾值。
(4) 计算利益比率和排序
利益比率的计算结合了群体效用值与个体遗憾值,通过决策机制系数使得VIKOR法可以实现群体效用的最大化和个体遗憾的最小化。决策机制系数v越大表示决策中越注重最大群体化效用,越不注重反对者的个体遗憾。利益比率的结果按照降序排序,数值越小说明结果越好。
,
,
,
。
其中,
,
为利益比率,v为决策机制系数。
6. 基于熵权法-VIKOR模型的数字资源绩效评价实证研究
6.1. 选取数字资源样本与数据来源
Table 2. Performance evaluation indicators and raw data of sample digital resources
表2. 样本数字资源绩效评价指标及指标原始数据
序号 |
评价指标 |
指标性质 |
Science Direct |
Wiley |
ACS |
Springer |
Emerald |
ProQuest
(生物/
农学) |
EBSCO (ASC/
BSC) |
SAGE (回溯) |
1 |
订购费用(元) |
负向指标 |
4,150,000 |
605,081 |
535,625 |
525,944 |
262,323 |
55,376 |
134,997 |
5000 |
2 |
占总经费比例 |
负向指标 |
37.06% |
5.40% |
4.78% |
4.70% |
2.34% |
0.49% |
1.21% |
0.04% |
续表
3 |
单次下载成本(元) |
负向指标 |
8.50 |
7.11 |
7.37 |
7.99 |
17.40 |
6.66 |
19.61 |
4.40 |
4 |
单次引用成本(元) |
负向指标 |
306.95 |
156.88 |
155.93 |
167.82 |
3497.64 |
11.41 |
38.06 |
28.57 |
5 |
期刊数量(种) |
正向指标 |
2254 |
1046 |
60 |
2035 |
309 |
2851 |
12,400 |
370 |
6 |
JCR期刊数量(种) |
正向指标 |
1560 |
794 |
53 |
1319 |
88 |
1231 |
2823 |
309 |
7 |
JCR期刊保障率 |
正向指标 |
12.82% |
6.53% |
0.44% |
10.84% |
0.72% |
10.12% |
23.20% |
2.54% |
8 |
ESI学科资源数量 |
正向指标 |
1561 |
795 |
54 |
1332 |
87 |
1242 |
2829 |
309 |
9 |
ESI学科资源占比 |
正向指标 |
69.25% |
76.00% |
90.00% |
65.45% |
28.16% |
43.56% |
22.81% |
83.51% |
10 |
独有资源占比 |
正向指标 |
99.73% |
98.76% |
100% |
99.31% |
100% |
58.23% |
80.66% |
96.06% |
11 |
期刊下载量(次) |
正向指标 |
488,247 |
85,149 |
72705 |
65,817 |
15,079 |
8313 |
6884 |
1137 |
12 |
下载期刊数量(种) |
正向指标 |
1744 |
856 |
60 |
1445 |
228 |
724 |
1774 |
85 |
13 |
下载期刊占比 |
正向指标 |
77.37% |
81.84% |
100% |
71.01% |
73.79% |
25.39% |
14.31% |
23.10% |
14 |
期刊引用量(次) |
正向指标 |
13520 |
3857 |
3435 |
3134 |
75 |
4855 |
3547 |
175 |
续表
15 |
引用期刊数量(种) |
正向指标 |
1015 |
373 |
51 |
586 |
40 |
776 |
1096 |
65 |
16 |
引用期刊占比 |
正向指标 |
45.03% |
35.66% |
85.00% |
28.80% |
12.94% |
27.22% |
8.84% |
17.59% |
以海南大学图书馆2020年订购的8个外文期刊数据库作为样本,分别为Science Direct期刊库、Wiley期刊库、Springer期刊库、ACS(美国化学学会)期刊库、Emerald期刊库、ProQuest(生物/农学)期刊库、EBSCO(ASC/BSC)期刊库和SAGE回溯期刊库。依据样本的资源特点和数据来源,选取表1中的16个评价指标进行分析和测算。数据来源主要是工作统计、数据商提供、ERS平台统计等途径。样本数字资源绩效评价指标的原始数据见表2。
6.2. 数字资源绩效评价指标权重的计算
参照上述第4部分关于熵权法的原理,计算样本的各个评价指标的权重。首先将指标的原始数据转化为无量纲的形式,即进行标准化处理,获得指标的标准化数据值,详见表3。然后依次计算出指标的信息熵值和信息效用值,最后计算指标权重值。指标的信息熵值越小,其包含的信息量越大,即信息效用值越大,则权重值越大。为了计算的准确性,利用SPSSPRO软件辅助进行以上几个计算步骤,得到样本数字资源绩效评价指标的权重计算结果,并进行权重值排序,详见表4。
Table 3. Standardized data for performance evaluation indicators of sample digital resources
表3. 样本数字资源绩效评价指标标准化数据值
序号 |
评价指标 |
指标性质 |
Science Direct |
Wiley |
ACS |
Springer |
Emerald |
ProQuest (生物/农学) |
EBSCO (ASC/
BSC) |
SAGE (回溯) |
1 |
订购费用 |
负向指标 |
0.0000 |
0.8552 |
0.8720 |
0.8743 |
0.9379 |
0.9878 |
0.9686 |
1.0000 |
2 |
占总经费比例 |
负向指标 |
0.0000 |
0.8552 |
0.8720 |
0.8741 |
0.9379 |
0.9878 |
0.9684 |
1.0000 |
3 |
单次下载成本 |
负向指标 |
0.7304 |
0.8218 |
0.8047 |
0.7640 |
0.1453 |
0.8514 |
0.0000 |
1.0000 |
4 |
单次引用成本 |
负向指标 |
0.9152 |
0.9583 |
0.9585 |
0.9551 |
0.0000 |
1.0000 |
0.9924 |
0.9951 |
5 |
期刊数量 |
正向指标 |
0.1778 |
0.0799 |
0.0000 |
0.1600 |
0.0202 |
0.2262 |
1.0000 |
0.0251 |
6 |
JCR期刊数量 |
正向指标 |
0.5440 |
0.2675 |
0.0000 |
0.4570 |
0.0126 |
0.4253 |
1.0000 |
0.0924 |
续表
7 |
JCR期刊保障率 |
正向指标 |
0.5439 |
0.2676 |
0.0000 |
0.4569 |
0.0123 |
0.4253 |
1.0000 |
0.0923 |
8 |
ESI学科资源数量 |
正向指标 |
0.5431 |
0.2670 |
0.0000 |
0.4605 |
0.0119 |
0.4281 |
1.0000 |
0.0919 |
9 |
ESI学科资源占比 |
正向指标 |
0.6912 |
0.7916 |
1.0000 |
0.6346 |
0.0796 |
0.3088 |
0.0000 |
0.9034 |
10 |
独有资源占比 |
正向指标 |
0.9935 |
0.9703 |
1.0000 |
0.9835 |
1.0000 |
0.0000 |
0.5370 |
0.9057 |
11 |
期刊下载量 |
正向指标 |
1.0000 |
0.1725 |
0.1469 |
0.1328 |
0.0286 |
0.0147 |
0.0118 |
0.0000 |
12 |
下载期刊数量 |
正向指标 |
0.9825 |
0.4644 |
0.0000 |
0.8081 |
0.0980 |
0.3874 |
1.0000 |
0.0146 |
13 |
下载期刊占比 |
正向指标 |
0.7359 |
0.7881 |
1.0000 |
0.6617 |
0.6941 |
0.1293 |
0.0000 |
0.1026 |
14 |
期刊引用量 |
正向指标 |
1.0000 |
0.2813 |
0.2499 |
0.2275 |
0.0000 |
0.3555 |
0.2582 |
0.0074 |
15 |
引用期刊数量 |
正向指标 |
0.9233 |
0.3153 |
0.0104 |
0.5170 |
0.0000 |
0.6970 |
1.0000 |
0.0237 |
16 |
引用期刊占比 |
正向指标 |
0.4752 |
0.3522 |
1.0000 |
0.2621 |
0.0538 |
0.2413 |
0.0000 |
0.1149 |
Table 4. Weight values and ranking of performance evaluation indicators for sample digital resources (entropy weight method)
表4. 样本数字资源绩效评价指标权重值及排序(熵权法)
指标项 |
信息熵值e |
信息效用值d |
权重(%) |
期刊下载量 |
0.538 |
0.462 |
15.293 |
期刊数量 |
0.625 |
0.375 |
12.413 |
引用期刊数量 |
0.762 |
0.238 |
7.878 |
期刊引用量 |
0.779 |
0.221 |
7.315 |
ESI学科资源数量 |
0.783 |
0.217 |
7.183 |
JCR期刊保障率 |
0.783 |
0.217 |
7.183 |
续表
JCR期刊数量 |
0.784 |
0.216 |
7.150 |
下载期刊数量 |
0.790 |
0.210 |
6.951 |
引用期刊占比 |
0.791 |
0.209 |
6.918 |
下载期刊占比 |
0.848 |
0.152 |
5.031 |
ESI学科资源占比 |
0.865 |
0.135 |
4.469 |
单次下载成本 |
0.897 |
0.103 |
3.409 |
独有资源占比 |
0.928 |
0.072 |
2.383 |
订购费用 |
0.935 |
0.065 |
2.152 |
占总经费比例 |
0.935 |
0.065 |
2.152 |
单次引用成本 |
0.936 |
0.064 |
2.120 |
研究样本涉及的16个绩效评价指标中权重值最大的是期刊下载量和期刊数量,说明这两个指标对绩效评价的结果影响较大。因此,学术型数字资源的订购应在保障资源品质的前提下,尽可能丰富资源数量,满足更多的师生需求,提高资源总保障率,进而优化资源下载等相关指标数据。期刊下载量,是对数据库资源使用情况的直接反映,使用情况良好表明期刊内容契合师生需求。图书馆通过加强数字资源的宣传推广,让师生更好地了解资源内容和使用方法,进一步增加下载量等使用数据,从而提高资源的利用效率。其次,引用期刊数量和期刊引用量的权重也较高,这两个指标主要反映数据库资源对师生的学术成果产出的直接影响,资源引用数据的优劣影响着数据库的学术效益评价。从评价指标整体权重值来看,数据库的订购费用等投入成本指标相比产出效益指标所占权重较小,可见数据库综合绩效的高低主要取决于资源保障、资源利用和学术成果方面的表现。在经费条件允许的情况下,为了获得更高的产出效益,图书馆可以适当增加对数字资源的合理投入。
6.3. 数字资源绩效评价综合分析
Table 5. The optimal and worst values of group utility value (S) and individual regret value (R) for performance evaluation of sample digital resources
表5. 样本数字资源绩效评价的群体效用值(S)和个体遗憾值(R)的最优值及最劣值
S+ (S值的最优值) |
S− (S值的最劣值) |
R+ (R值的最优值) |
R− (R值的最劣值) |
决策机制系数v |
0.3251 |
0.8722 |
0.1021 |
0.1528 |
0.5 |
Table 6. Comprehensive ranking of benefit ratio values for performance evaluation of sample digital resources
表6. 样本数字资源绩效评价的利益比率值综合排序
样本 |
群体效用值(S) |
个体遗憾值(R) |
利益比率值(Q) |
排序 |
Science Direct |
0.3251 |
0.1021 |
0.0000 |
1 |
Wiley |
0.6206 |
0.1264 |
0.5102 |
2 |
Springer |
0.5603 |
0.1325 |
0.5150 |
3 |
EBSCO (ASC/BSC) |
0.4161 |
0.1510 |
0.5654 |
4 |
ACS |
0.6848 |
0.1303 |
0.6074 |
5 |
ProQuest (生物/农学) |
0.6402 |
0.1505 |
0.7658 |
6 |
SAGE (回溯) |
0.7999 |
0.1528 |
0.9339 |
7 |
Emerald |
0.8722 |
0.1484 |
0.9569 |
8 |
本案例在运用熵权法取得评价指标权重的基础上,参照多准则妥协解排序法(VIKOR)进行数字资源绩效评价的综合分析,并按利益比率值对样本进行排序。按照上述第5部分关于VIKOR法的操作步骤,代入熵权法的权重值,再依次计算群体效用值与个体遗憾值,以及利益比率。同样,利用SPSSPRO软件辅助进行计算。在计算中还涉及决策机制系数的设置。为了平衡最大化群体效用和最小化个体遗憾,在此设置决策机制系数为0.5。群体效用值和个体遗憾值的计算结果,利益比率值及其排序,如表5和表6所示。
6.3.1. 综合排名分析
VIKOR法计算结果中的群体效用值(S)越小越好,越小说明群体效用越大;个体遗憾值(R)越小越好,越小说明个体遗憾越小。根据群体效用值与个体遗憾值的结果,在此基础上计算决策指标Q值,指标Q值越小则样本越优,从而得到样本的综合排序。为便于分级评价样本数字资源的综合绩效,假设按照利益比率值,设定集合T = {优,良,中,差} = {[0.00, 0.50], [0.50, 0.70], [0.70, 0.90], [0.90, 1.00]}作为本研究的相对参照标准[9]。Science Direct的利益比率值为0.00,在评价集合的0.00~0.50区间内,综合绩效评价为优。Wiley、Springer、EBSCO (ASC/BSC)、ACS的利益比率值都介于0.50~0.70区间,综合绩效评价为良。ProQuest (生物/农学)的利益比率值为0.7658,介于0.70~0.90区间,综合绩效评价为中。SAGE (回溯)和Emerald的利益比率值介于0.90~1.00区间,综合绩效评价为差。
6.3.2. 影响因素分析
从样本数字资源的综合排名来看,排名前四的数据库分别是Science Direct、Wiley、Springer和EBSCO (ASC/BSC)。从资源学科内容的角度分析,这几个数据库的资源内容均涵盖综合学科,学科领域广泛,具体资源包括科学、技术、人文和社科方面的期刊,符合本校综合性学科的资源需求。其中,Science Direct综合得分最高,也是唯一综合绩效评价为优的数据库,从该库的投入和产出的指标数据可以看出,属于高投入成本、高产出效益的数据库。Science Direct的期刊下载量、期刊引用量、下载期刊数量、引用期刊数量这几个资源下载和引用方面的指标得分都比较高,也就是产出效益较高,即使投入成本最多,但综合绩效评价的得分依然最高。可见,在保障采购经费的前提下,数字资源的采购仍然以相对高品质的综合学科资源为主,满足师生对资源的多学科需求,从而更好地促进学术成果的产出。样本中的ACS和ProQuest (生物/农学)主要涉及化学、化工、生物和农学等学校重点学科。虽然这两个数据库的综合绩效评价略低于综合性学科的数据库,但作为提供重点学科资源的数据库,也是必不可少的数字资源。而SAGE(回溯)提供的是回溯期刊,在资源内容的时间跨度和更新频率上有所欠缺,从而影响其综合得分。综合排名最后的是Emerald,这个数据库主要涵盖管理类的社科期刊,和其他学科相比,其资源需求量相对较小,其单次下载成本、单次引用成本、期刊引用量和引用期刊数量等指标排名居于中下,特别是和引用相关的指标数据不佳,因此综合得分较低。总的来看,对于排名靠后的数字资源,图书馆还应进一步通过调研相关学科的院系,了解师生对数字资源的实际需求,从更全面地角度评估数字资源的实际效用价值,为合理配置数字资源提供参考。
7. 结语
本研究主要从投入成本和产出效益的角度分析高校图书馆数字资源绩效评价指标体系,再将熵权法和多准则妥协解排序法(VIKOR)结合运用到数字资源绩效评价定量指标的权重赋值和综合评价,从而构建数字资源绩效评价模型。选取高校图书馆的学术型数字资源作为具体案例展开实证研究,对数字资源的利用效率和学术贡献进行揭示和客观评价。由于数字资源绩效评价体系涉及到多属性的评价指标,本研究所采用的VIKOR法能够同时考虑群体效用最大化和个体遗憾最小化,具有更高的排序稳定性和可信度,使得评价结果更加接近实际情况[16]。从样本数字资源的绩效评价结果来看,和样本的实际情况比较相符,因而也证明了VIKOR法在本实证研究中的有效性。本研究构建的数字资源绩效评价模型采用客观评价指标体系,是以数据驱动的量化评价为基础。在实证研究中,可以通过多种数字资源为样本进行同一年度数字资源之间的横向对比分析;也可以在累积多年的指标数据的基础上,开展数字资源跨年度之间的纵向评价比较。
综上所述,围绕着高校图书馆数字资源绩效评价的影响因素,建议从以下几方面着手提升数字资源的绩效。第一,丰富数字资源的总量,满足师生多元化的资源需求。第二,增加涉及综合学科和重点学科的数字资源,保障资源的学科覆盖面。第三,通过资源的“查漏补缺”,有针对性地提升核心资源和学科资源的保障率。第四,加强数字资源的宣传推广,激活“沉寂”资源,提高资源的整体使用率。第五,优先选择高品质的学术资源,促进学术成果的产出。第六,结合院系师生调研,综合评估数字资源的实际效用价值。
高校图书馆的数字资源是满足师生教学科研需求的重要文献资源。通过理论研究和工作实践的结合,图书馆的数字资源绩效评价逐渐常态化。这项工作有助于图书馆科学制定文献资源的建设策略,提高采购经费的利用效率,优化学术资源的馆藏结构,从而不断提升图书馆的文献资源保障和学术服务能力。
基金项目
海南省自然科学基金项目“海南高校图书馆数字资源绩效评价模型的构建与实践研究”(项目编号:721QN0877)研究成果;海南省哲学社会科学2021年规划课题“海南高校图书馆数字资源绩效评价研究”(项目编号:HNSK (YB)21-61)研究成果。