www.paper.edu
1国外数字馆藏使用及服务绩效评价指标体系述评
张宏玲
（郑州大学图书馆，郑州大学文献信息资源研究中心  郑州450002）
摘  要  90年代中期以来，有关数字馆藏使用及服务绩效评价的问题引起了国际图书馆界和专家的高度关注，开展了很多这方面的研究。文章详细介绍了其中较有影响和代表性的三个研究项目（EQUINOX、2003年版ISO2789标准附录A及ARL E－Metrics）的研究背景及指标体系，分别从指标体系的绩效特征、构成、可获取性、实践发展及相互之间的关系五个方面进行了详细地分析。
关键词 使用统计、数字馆藏、绩效评价、绩效指标、EQUINOX、ISO2789、ARL E－Metrics
1  引言
20世纪90年代以来，数字馆藏在图书馆预算中所占的比重越来越大，以ARL的成员馆为例，从1992－1993与2000－2001年的成本数据可以看出：ARL成员馆在电子资源方面的投入从3.6%升到16.25%，几乎是1992－1993年的五倍[1]。我国的相关统计显示，在一些地区的图书馆其电子资源的购买经费已达
到总经费的30%左右。这使得图书馆迫切地想知道其在电子资源方面的重要投资是否真的对图书馆的用户起作用了？用户又是如何使用这些电子资源的？在资金方面，图书馆需要数据为其对数字馆藏不断增加的经费投入提供依据；管理方面，也需要使用数据及指标来进行判断、评价和决策，当图书馆（或集团）与数据库商进行谈判时，使用数据及评价指标值也非常重要，会直接关系到数据库的定价；另外，可靠的使用统计数据及评价指标值可以增强图书馆竞争机构内有限资源的能力。鉴于此，90年代中期以来有关数字馆藏的使用统计及服务绩效评价的问题引起了国际图书馆界及专家的高度关注，开展了很多这方面的研究。其中较有影响的项目如表1所示：本文主要对ISO2789标准附录A 、EQUINOX及ARL E－Metrics项目的统计及绩效评价指标体系进行述评。
2 ISO2789附录A、EQUINOX及ARL E-Metrics项目背景及其指标体系介绍2.1 ISO2789附录A：图书馆电子服务使用评价及其指标体系[14]
1本文为国家社科基金项目《数字馆藏质量评价与绩效分析》（04BTQ001）的阶段性成果
www.paper.edu
序号 项目英文名称 项目中文名称 项目研究组织或人员 项目支助机构 项目研究时间
1 Assessing the academic networked environment:strategies and
options.[2] 学术网络环境评价：策略及选择 Charles R.McClure等 Coalition for Netorked Information（网
络信息联盟）
1994.10-1995.12
2 MIEL2(Management Information for the Electronic Library
Programme)[3] 电子图书馆管理信息系统和绩效评
价
中兰开夏大学图书馆与信息管理中心eLib（英国电子图书馆项目） 1997年
3 Guidelines for Statistical Measures of Usage of Web-based
Indexed,Abstracted,andFull-Text Resources[4] 基于Web的索引、文摘及全文资源
的使用统计评价指标指南
ICOLC ICOLC（国际图书馆集团联盟） 1998年
2001年修订
4 Web Metrics and Evaluation [
5 Web计量与评价 CENDI Metrics and Evaluation
Task Group
联邦科技信息管理集团 1998年
5 EQUINOX Project[6] 图书馆电子服务的绩效评价和质量
管理的绩效指标体系 Peter Brophy等 European
Commision（欧洲委员会）1998.11-2000.11
6 standardized online database usages statistics and reporting
mechanisms(pulilic libraries)[7] 公共图书馆的标准在线数据库使用
统计数据及报告机制
NICLIS NICLIS（美国国家图书馆与信息科学
理事会）programme用法
2000年
7 Network statistics[8] 网络统计数据 Judy Luther等 CLIR (图书馆及信息资源理事会) 2000.10
8 Measure digital library use[9] 数字图书馆使用的评价 Denise Troll Covey等Digital Library Federation（数字图书馆
联盟
2000.11-2002.1
9 ARL E-Metrics[1] 电子图书馆评价项目 Information Use Management
and Policy Institute
ARL（研究图书馆协会）2000.5-2001.12
10 Developing National Data Collection Models for Public Library
Network Statistics and Performance Measures[10] 发展公共图书馆网络统计数据及绩
效评价指标的国家数据收集模式
Charles R.McClure,
John C.Bertot
IMLS（美国博物馆与图书馆服务研究
所）
2000.10-2001.9
11 NISO the library statistics standard[11] 美国图书馆统计数据国家标准 NISO NISO（美国国家标准组织） 2002年增补版
12 COUNTER(Counter Online Usage of Networked Electronic
Resources)[12]
在线网络电子资源使用统计 COUNTER Executive Committee图书馆、出版商及中间商2002.3-
13 ISO2789 Information and Documentation – International Library
Statistics[13]
国际图书馆统计数据标准 ISO ISO（国际标准组织） 2003年修订版 表1国外有关数字馆藏使用统计及评价研究项目一览表
2
⑴由于电子资源及电子服务在图书馆中所占的比例越来越大，ISO的国际图书馆统计数据标准ISO2789（Information and Documentation-International Library Statistics）在2003年的修订版中增加了一个附录A：图书馆电子服务使用评价，它主要针对的是图书馆中除传统服务外的电子服务的统计及评价，标准指定了图书馆电子信息资源和电子服务使用的不同形式。图书馆电子信息资源和电子服务的统计指标定义及其数据收集是该标准所包含的主要内容，标准认为电子服务的统计指标设定、统计指标数据的获取及统计方法等直接关系到图书馆电子服务绩效指标的计算。附录A把目前图书馆提供的相关电子服务分为7种，并且认为图书馆中最重要的电子服务内容是数字馆藏（电子馆藏）。
⑵附录A关于图书馆电子服务使用的统计指标
附录A首先认为统计中的主要问题是：用户访问一次图书馆电子服务需多长时间？每次检索有多少文献
（题目或信息单元）与他们的信息需求相关？
据此，附录A先定义了可用于所有的服务、每一种服务或各种服务总合的四个核心统计指标（见表2  PI1-PI4）。另外，除了这四个核心统计指标外，附录A还建议如有可能也尽量收集另外四个指标的统计数据（见表2  PI5-PI8）。
这八个使用统计指标均是针对图书馆电子资源的使用、图书馆网站、OPAC及通过图书馆对因特网的访问。附录A对以上8个统计数据指标进行了描述，并对每个统计指标的含义及在统计时分别应注意的问题作了详细的说明。
附录A特别指出，为了满足特定电子服务绩效评价的需要，对于不同的服务（如电子馆藏、Web站点、OPAC），既可按服务的种类来收集统计指标数据，也可按单个数据库来收集。
2.2 EQUINOX项目及其图书馆电子服务绩效评价指标体系[15]
欧洲委员会支助的欧洲图书馆绩效评价和质量管理系统项目EQUINOX是针对欧洲图书馆发展和利用新的网络及电子资源的现状，基于传统评价，在质量管理的框架内开展的研究工作，项目包括两部分的内容：一部分是设计一套用于普通复合图书馆电子服务绩效评价的指标体系。另一部分是设计一个用于质量管理与绩效评价的软件工具，图书馆可以将有关实际绩效和操作的原始数据输入系统，该系统利用这些数据可以计算出图书馆的绩效指标及预定目标的完成情况。
EQUINOX项目的图书馆电子服务绩效评价指标的设计目的是为了加强和完善ISO11620中传统图书馆服务的评价指标体系，以适应网络环境下图书馆对电子服务绩效评价的要求。
EQUINOX项目中所论及的图书馆电子服务范围基本与ISO2789附件A相同，并且同样认为其中最重要且花费最多的服务是数字馆藏（电子馆藏）。
EQUINOX项目图书馆电子服务绩效评价指标体系的建立首先是在接受EQLIPSE项目[16]指标体系的基础上，仔细研究每一项指标在网络环境下是否适合，同时还参考了与该项目相关的研究，重点关注的是美国Charles R .McClure的研究及MIEL2项目，通过研究这些相关的成果来建立图书馆电子服务的绩效评价指标。项目最初形成的图书馆电子服务绩效评价指标体系包括34个指标，进一步的研究讨论认识到这些指标中的一部分归入ISO11620标准[17]中定义的传统指标更合理，还有的一些指标由于可获取性很差也被去掉了，最后于2000年12月形成了由14个指标组成的图书馆电子服务绩效评价指标体系（见表2）。
2.3 ARL E-Metrics项目及其电子资源使用评价指标体系[18]
由于图书馆中电子资源的比重越来越大，在2000年ARL的一次会上，其成员们认识到图书馆和馆员需要一种评价指标体系来判断图书馆在电子资源上的投资是否对其用户有用?有多大用处？用户又是怎样使用这些电子资源的？等问题。E-Metrics项目就是在此背景下产生的。项目的研究任务由佛罗里达州立大
学的信息使用管理及政策研究所（Information
Use Management and Policy Institute）来承担，主要研究人员有Charles R .McClure、Francis Eppes、Wonsik “Jeff”shim和John Carlo Bertot，参与单位是ARL的部分成员馆。项目于2000年5月开始，2001年12月完成，分三个阶段进行：
①初始阶段（2000.5－2000.10）：弄清当前ARL成员馆有关电子资源统计数据、评价指标、处理方法及服务活动的详细情况。
②第二阶段（2000.11－2001.6）：进行统计数据和评价指标的推荐、统计数据收集文件的确认及评价指标的范围测试。
③第三阶段（2001.7－2001.12）：确定评价指标与教育产出研究及技术设施之间的关系。
项目的成果包括：一份关于统计数据收集的规则，一套推荐使用的统计数据与评价指标，一份数据收集处理指南，一份指导性文件及一篇论述图书馆评价指标与机构效用之间潜在联系的论文报告。
由于很多与电子馆藏有关的使用数据需要从数据库商那里收集，在项目进行的第二阶段有12家数据库商参加了指标的范围测试，并提供项目需要的指标统计数据。
评价指标最初定为15个，后在进一步修订时增加为21个，经过范围测试后最终定为17个，加上3个建议考虑的绩效指标共20个（见表2）。
范围测试主要考虑了以下四个方面的内容：①统计数据能否收集到（可获取性），②建议的数据处理方法是否有效（有效性），③收集指定的统计数据所花的时间与精力(可能性)，、
④是否值得花时间与精力去收集特定的统计数据（可行性）。
3 指标体系分析
上述三个项目关于数字馆藏使用统计及其服务绩效评价的指标体系集中代表了1998年以来国外众多研究数字馆藏使用、统计、绩效评价指标研究的成果。本文具体从下面五个方面对三者进行分析。
3．1 指标体系的统计及绩效特征
⑴共性  三套指标体系的一个共同特点是量的特征很显著。ISO2789附录A中的8个统计指标均是直接从服务器可获取的使用统计量。EQUINOX项目绩效评价指标体系的14个指标中前13个均是定量指标，PI14也可以认为是半定量指标。ARL E-Metrics项目的指标中除“图书馆数字馆藏的使用”及“数字馆藏的结构”比较模糊外，其他的均是具体可获取的统计量或定量绩效评价指标（如参考咨询中电子参考咨询的百分比）。
⑵区别ISO2789附录A的8个指标全能通过统计获取，从某种程度上讲，也许不能直接反映图书馆电子服务的服务绩效，但他们是构成数字馆藏服务绩效评价指标必不可少的基本统计量。而EQUINOX项目指标体系基本上是关于数字馆藏服务的绩效指标，指标能直接反映各项服务的服务绩效。ARL E-Metrics项目的20个指标统计的范围较宽，如果统计工作做得好，对以后的绩效评价工作非常有利，会使得评价比较详细具体，项目把对电子书的统计单独列了出来，而ISO2789及EQUINOX则把电子书归入到电子文件中。
3．2指标体系的构成
⑴ISO2789附录A把8个指标按重要程度分为两类：
●核心统计指标（PI1－PI4），对所有的电子服务均应收集
●相关统计指标（PI5－PI8），条件允许时尽可能收集
从ISO2789附录A的指标看，其构成较单一，均是反映图书馆电子服务的统计指标，关于数字馆藏使用的统计内容比较全面、可行。
⑵依据EQUINOX项目指标体系的内容，可将其分为五类：
●与技术基础设施有关的绩效指标（PI9、PI8）
●与人力资源有关的指标（PI12、PI13）
●与成本有关的指标（PI5、PI6、PI11）
www.paper.edu
表2  ISO2789标准附录A 、EQUINOX及ARL E－Metrics项目的统计及绩效指标体系明细[1]、[6]、[13] （ *PI即绩效指标performance indicator的缩写）
5
www.paper.edu
●与数字馆藏使用有关的指标（PI1、PI2、PI3、PI4、PI7、PI10）
●用户满意度指标（PI14）
从EQUINOX指标的构成可以看出，对图书馆电子服务绩效的评价至始至终离不开系统运行过程中的各种投入（包括人力、技术环境等）及运行结果的产出（数字馆藏的使用等）。
⑶ARL E-Metrics项目的20个指标可分为五类：
●目标用户可获取的电子资源量（PI1－PI3）
●评价数字馆藏使用的指标（PI4－PI8）
●网络资源及相关设施的成本指标（PI9－PI13）
●描述图书馆数字化状况的指标（PI14－PI16）
●绩效指标（PI17－PI20）
此指标体系的前13个基本上是较易获取的统计量，内容较全，既包括电子资源的数量、使用，又包括电子资源成本方面的统计数据，这样直接用此指标体系即可直接生成绩效评价指标，但关于使用的指标没有ISO2789附录A全，这样对于一些电子资源服务绩效的评价会有困难，如：没有关于全文期刊下载文献量的统计，就无法算出电子期刊的使用绩效。PI17-PI20可以看成是绩效指标，但基本上没有很好地反映电子馆藏的使用绩效（只有PI17与使用绩效有关），只是静态的资源量的百分比，如PI19。E-Metrics项目关于成本的指标较多（PI9-PI13、PI16），但没有关于人力资源方面的指标。
3．3指标的可获取性
评价指标体系在设计上无论怎样完美，如果其指标的可获取性很差，那么该指标体系的实际可用性就无从谈起。
⑴ISO2789附录A中关于数字馆藏使用的统计指标基本上均可通过图书馆自动化系统、本地镜像服务器、数据库商或集团较精确地获得，获取性较强。
⑵EQUINOX项目指标体系在设计过程中从最初的34个至最后定为14个，其剔除指标的一个重要原则之
一就是指标的可获取性，基于此剔除的指标如：请求响应的速度（Speed of Response to enquires）等，剩下来的14个指标相对来说获取性较强。
⑶ARL E-Metrics的指标中只有PI14-PI16三个指标描述有些模糊，可获取性相对较差，其他的指标均较容易获取。
3．4指标体系的实践发展
数字馆藏绩效评价指标体系的设计是个复杂的系统工程，不仅要求理论上可行，而且其最终目的是要用之于实践，必须经过实践的测试，用测试的结果反过来修正指标体系，多次大范围的反复测试、修正，最后才能形成一套科学的指标体系，除此之外，还要不断地随着实践的发展而发展。
⑴ISO2789关于数字馆藏使用的统计指标已经被很多研究项目及指标体系所采用（如EQUINOX），实践中的可用性很强。现在被采用最多的指标：“任务数”、“下载文献的数量”及“检索次数”。
⑵在EQUINOX指标体系的设计研究过程中，参加该项目的图书馆方在他们的图书馆测试了这些指标的可用性及其与图书馆管理的相关性，测试中发现有些指标数据需要一点点地搜集，非常费力，还有一些指标计算起来很烦琐，很困难；有时，部分图书馆的某些电子服务需要的指标数据又不能获得，这使得指标体系必须要不断地进行修订和完善。该指标体系已经在欧洲的一些图书馆中进行实证测试和使用。
另外，该项目基于绩效评价指标体系设计了一个图书馆质量管理及绩效评价的软件工具，这个软件系统是为了帮助图书馆进行绩效评价和质量管理而设计的。这个系统使得图书馆可以为他们自己设定一个质量框架，详细说明任务状况、意图及目标，将有关实际绩效和操作的原始数据输入系统，系统利用这些数据可以计算出图书馆绩效指标和预定指标的完成

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。