收稿日期：２０１９ １１ １９；修回日期：２０１９ １２ ２７  基金项目：国家自然科学基金资助项目（６１７７２０８１）；科技创新服务能力建设—科研基地建设—北京实验室—国家经济安全预警工程北京实验室项目（
ＰＸＭ２０１８＿０１４２２４＿００００１０）；国家重点研发计划课题（２０１８ＹＦＢ１４０２９０１）作者简介：侯晋升（１９９４ ），男，山西太原人，硕士研究生，主要研究方向为中文信息处理；张仰森（１９６２ ），男（通信作者），山西运城人，教授，博导，博士（后），主要研究方向为中文信息处理、人工智能（ｚｈａｎｇｙａｎｇｓｅｎ＠１６３．ｃｏｍ）；黄改娟（１９６４ ），女，山西运城人，高级实验师，主要研究方向为智能信息处理；段瑞雪（１９８４ ），女，河北石家庄人，讲师，博士，主要研究方向为自然语言处理、意图理解、问答系统．
基于多数据源的论文数据爬虫技术的实现及应用
侯晋升１，张仰森１，２ ，黄改娟１，段瑞雪１
，２
（１．北京信息科技大学智能信息处理研究所，北京１００１０１；２．国家经济安全预警工程北京实验室，北京１０００４４）摘　要：在使用单个数据源进行论文数据采集的过程中，存在着数据全面性不足、数据采集速度因网站访问频
率限制而受限等问题。针对这些问题，提出了一个基于多数据源的论文数据爬虫技术。首先，以知网、万方数据、维普网、超星期刊四大中文文献服务网站为数据源，针对检索关键词完成列表页数据的爬取与解析；然后通过任务调度策略，去除各数据源之间重复的数据，同时进行任务的均衡；最后采用多线程对各数据源进行论文详情信息的抓取、解析与入库，并构建网页进行检索与展示。实验表明，在单个网页爬取与解析速度相同的情况下，该技术能够更加全面、高效地完成论文信息采集任务，证实了该技术的有效性。关键词：网络爬虫；多源数据源；多线程；信息处理；数据展示中图分类号：ＴＰ３９１．１  　文献标志码：Ａ  　文章编号：１００１ ３６９５（２０２１）０２ ０３７ ０５１７ ０５ｄｏｉ
：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０１９．１１．０６７１Ｉｍｐｌｅｍｅｎｔａｔｉｏｎａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｐａｐｅｒｄａｔａｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙ
ｂａｓｅｄｏｎｍｕｌｔｉｐｌｅｄａｔａｓｏｕｒｃｅｓ
ＨｏｕＪｉｎｓｈｅｎｇ１，ＺｈａｎｇＹａｎｇｓｅｎ１，２ ，ＨｕａｎｇＧａｉｊｕａｎ１，ＤｕａｎＲｕｉｘｕｅ
１，２
（１．ＩｎｓｔｉｔｕｔｅｏｆＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎ，ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００１０１，Ｃｈｉｎａ；２．ＮａｔｉｏｎａｌＥｃｏｎｏｍｉｃＳｅｃｕｒｉｔｙＥａｒｌｙＷａｒｎｉｎｇＥｎｇｉｎｅｅｒｉｎｇＢｅｉｊｉｎｇＬａｂｏｒａｔｏｒｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅｒｅａｒｅｍａｎｙｐｒｏｂｌｅｍｓｉｎｔｈｅｐｒｏｃｅｓｓｏｆｃｏｌｌｅｃｔｉｎｇｐａｐｅｒｄａｔａｕｓｉｎｇｓｉｎｇｌｅｄａｔａｓｏｕｒｃｅ，ｓｕｃｈａｓｉｎｓｕｆｆｉｃｉｅｎｔｄａｔａ
ｃｏｍｐｒｅｈｅｎｓｉｖｅｎｅｓｓａｎｄｌｉｍｉｔｅｄｄａｔａｃｏｌｌｅｃｔｉｏｎｓｐｅｅｄｄｕｅｔｏｗｅｂｓｉｔｅａｃｃｅｓｓｆｒｅｑｕｅｎｃｙｌｉｍｉｔａｔｉｏｎ．Ａｉｍｉｎｇａｔｔｈｅｓｅｐｒｏｂｌｅｍｓ
，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｐａｐｅｒｄａｔａｃｒａｗｌｉｎｇｔｅｃｈｎｏｌｏｇｙｆｏｒｍｕｌｔｉ ｄａｔａｓｏｕｒｃｅｓ．Ｆｉｒｓｔｌｙ，ｉｔｕｓｅｄｔｈｅｆｏｕｒＣｈｉｎｅｓｅｄｏｃｕｍｅｎｔｓｅｒｖｉｃｅｗｅｂ ｓｉｔｅｓ ＨｏｗＮｅｔ，ＷａｎｆａｎｇＤａｔａ，Ｗｅｉｐｕ，ａｎｄＣｈａｏｘｉｎｇａｓｄａｔａｓｏｕｒｃｅｓ，ｃｏｍｐｌｅｔｅｄｔｈｅｔａｓｋｏｆｃｒａｗｌｉｎｇａｎｄｐａｒｓｉｎｇｌｉｓｔｐａｇｅｄａｔａ
ｆｏｒｔｈｅｓｅａｒｃｈｋｅｙｗｏｒｄｓ．Ｔｈｅｎｉｔｕｓｅｄｔｈｅｔａｓｋｓｃｈｅｄｕｌｉｎｇｓｔｒａｔｅｇｙｔｏｒｅｍｏｖｅｒｅｐｅａｔｅｄｄａｔａａｎｄｂａｌａｎｃｅｔｈｅｔａｓｋｓ．Ｆｉｎａｌｌｙ
，ｉｔｕｓｅｄｍｕｌｔｉ ｔｈｒｅａｄｓｆｏｒｅａｃｈｄａｔａｓｏｕｒｃｅｔｏｃｒａｗｌ，ｐａｒｓｅａｎｄｓｔｏｒｅｔｈｅｄｅｔａｉｌｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｐａｐｅｒｓ，ａｎｄｂｕｉｌｔａｗｅｂｓｉｔｅｆｏｒｓｅａｒｃｈａｎｄｄｉｓｐｌａｙ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｕｎｄｅｒｔｈｅｓａｍｅｃｒａｗｌｉｎｇａｎｄｐａｒｓｉｎｇｓｐｅｅｄ，ｔｈｉｓｔｅｃｈｎｏｌｏｇｙｃａｎｃｏｍｐｌｅｔｅｔｈｅｐａｐｅｒ
ｉｎｆｏｒｍａｔｉｏｎｃｏｌｌｅｃｔｉｏｎｔａｓｋｍｏｒｅｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙａｎｄｅｆｆｉｃｉｅｎｔｌｙ
，ｗｈｉｃｈｐｒｏｖｅｓｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｉｓｔｅｃｈｎｏｌｏｇｙ．Ｋｅｙｗｏｒｄｓ：Ｗｅｂｃｒａｗｌｅｒ；ｍｕｌｔｉｐｌｅｄａｔａｓｏｕｒｃｅ；ｍｕｌｔｉｔｈｒｅａｄｉｎｇ；ｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ；ｄａｔａｄｅｍｏｎｓｔｒａｔｉｏｎ
０　引言
大数据技术从兴起之初到日益成熟，在各行各业都发挥出巨大的作用；借着大数据的东风而再一次焕发出生命力的人工智能领域近些年更是取得了一个又一个的重大突破，在科研与应用方面创造出了巨大的价值，人们逐渐意识到数据已是当下最重要的资源。
在互联网高度发达的今天，数据的获取已经变得非常便捷。然而，互联网上海量的信息和平台也会对人们造成困扰。以论文信息为例，网络上的几大论文数据网站所拥有的资源并不完全相同，用户在查文章时，如果只检索单个网站无法检索出所有高价值的论文，如果检索多个网站，用户会在大量检索结果的筛选与比对中耗费时间与精力。
论文数据中蕴涵着巨大的价值，结合数据挖掘与机器学习技术，能够从中分析出各学科领域的研究现状、研究热点、趋势变化等信息，也可以用来评估各机构和学者的科研水平与实力。因此，为论文信息的获取提供一个全面、高效的爬虫方法是非常必要的。
鉴于此，本文创造性地提出了一种面向多数据源的论文信息爬虫技术，采用多数据源并行的方式使用爬虫程序进行论文信息的抓取，针对性地设计了任务调度算法进行程序流程的优化，实现了将不同数据源的论文数据进行全面、高效抓取的目的。
１　研究现状
目前针对网络上数据的采集，主要是使用网络爬虫技术来实现的。自从１９９３年Ｇｒａｙ实现了首个互联网爬虫Ｗａｎｄｅｒｓ至今，工业界与学术界对于网络爬虫系统的研究从未间断，人们都在追求拥有更高数据爬取效率、更强稳定性的网络爬虫系统［１～４］。邵晓文［５］使用增加程序的线程数量的方式，设计了一种基于Ｊａｖａ多线程的并发网络爬虫系统，结合布隆过滤器和
Ｒｅｄｉｓ缓存技术，实现网络数据的高效采集。王淑芬等人［６］
设计实现了一种分布式主题爬虫框架，解决了Ｈａｄｏｏｐ分布式计算平台不适合部署于广域网的问题，利用消息中间件实现分布式可靠通信，利用分布式系统提高爬虫系统的效率。在国外的
相关研究中，Ｋａｕｓａｒ等人［７］在爬虫系统的实际中引入了移动
第３８卷第２期２０２１年２月　计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ ３８Ｎｏ ２
Ｆｅｂ．２０２１
代理技术，使得网页源码的分析工作可以在本地完成而无须到远程工作，从而提高了爬虫系统的整体效率。Ｋｕｍａｒ等人［８］则针对爬虫算法进行设计，采用基于查询的方式将关键词传递到ＵＲＬ对应网站的搜索查询界面，旨在最快地获取用户最关心的链接。
在论文数据的采集与应用方面，陈浩［９］设计了一种基于协同过滤算法的论文推荐系统，使用分布式爬虫系统对论文信息进行抓取，然后使用定制的协同过滤算法计算后将论文推荐给用户。杨超凡等人［１０］爬取了ＡＣＬ、ＡＣＭＭＭ、ＩＣＭＬ、ＫＤＤ、ＳＩＧＩＲ五个会议的收录论文，对其进行统计分析后，归纳出了信息检索领域的研究热点与研究趋势变化。李斌斌等人［１１］以知网为数据源，将爬取到的论文数据使用ＳＰＳＳ等软件进行分析后，进行论文重复发表问题的研究。
然而，关于多数据源融合的论文爬虫技术以及应用方面，国内外的相关研究较少。因此，本文的工作是具有开创性和引领性的。
２　关键问题及解决方法
２ １　针对多数据源的任务分配调度问题
本方法以关键词为输入进行论文信息的检索与采集。同一个关键词在单一数据源上的检索结果不会出现重复问题，然而在面向多数据源时，检索的结果会存在着大量的重复，如果将所有的任务不作处理便全部进行后续论文详情的抓取，势必会做大量的重复工作；而如果只是进行简单的按任务名去重，则可能会导致各数据源未分配的任务量极不均衡。例如，针对任务关键词Ｋ，数据源Ａ与Ｂ均存在１０００个检索结果，其中有８００个是重复的，但是数据源Ａ的检索结果先进入程序，而后数据源Ｂ的检索结果进入程序时，这８００个任务直接被过滤掉了，此时Ａ的待处理队列中有１０００个任务，而Ｂ的待处
理队列只有２００个任务，面向数据源Ｂ的处理线程在处理完２００个任务后只能等待，虽然Ａ队列中有８００个任务它也可以处理。这样亦会造成资源的浪费，无法充分地发挥出多数据源的优势。
针对这一问题，本文设计了以下策略进行解决：
ａ）使用一种特殊的去重算法进行数据的去重。利用ＨａｓｈＳｅｔ作为存储数据结构，使用针对论文基础信息设计的实体类作为存储的元素，该实体类包含一个代表数据源的ｓｏｕｒｃｅ成员变量。在一个新任务进入程序后，按照先查询它是否存在于当前数据集合中，若不存在则直接添加；若已存在，则取出该元素，在它的ｓｏｕｒｃｅ字段中加入新的数据源后再次存入。在这一步去重完成后，所有论文任务在任务集合中出现一次，并且携带了可以对它进行处理的所有数据源信息。
ｂ）通过任务调度算法将待处理的任务分配到四个队列中，尽可能地保证每个数据源的待下载队列都有着相对均衡的任务量。本文选择采用如下有效的算法：
ａ）从待处理任务集合中取出任务ａ。
ｂ）读取任务ａ的可用数据源集合ｓ。
ｃ）逐一查看集合ｓ中各数据源当前的待下载队列大小。
ｄ）选择待下载队列大小最小的数据源，将任务ａ添加到该数据源的待下载队列末尾。
图１是针对关键词“周志华”采用任务分配调度策略进行任务分配前后的各队列任务量，可以看到本算法可以在去重的前提下有效地均衡并减少各队列的任务。
２ ２　多数据源之间的数据异构问题
不同的数据源网站所能抓取到的论文信息字段并不完全一致，而本文需要将论文信息进行统一存储与展示，因此，从四个数据源网站的异构信息中提取出共有的、重要的信息作为统一的数据字段，设计出如表１所示的数据表结构。
!"##
!###
$"%#
&%%%
'"##
(%%%
"%%
%
(")%
)*+
'!!*
&!,*
)-"
'$))
$)"!
!"#$%&'(")*+,
-./
-
.0
'*!!
图１　任务调度算法效果图
Ｆｉｇ．１　Ｄｉａｇｒａｍｏｆｔａｓｋｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍ’ｓｅｆｆｅｃｔ
表１　统一字段数据表结构
Ｔａｂ．１　Ｕｎｉｆｉｅｄｆｉｅｌｄｄａｔａｔａｂｌｅｓｔｒｕｃｔｕｒｅ
字段名称字段类型字段含义
ｉｄｉｎｔ论文在数据库中的ＩＤｐａｐｅｒｎａｍｅ＿ｃｈｖａｒｃｈａｒ论文中文题目
ｐａｐｅｒｎａｍｅ＿ｅｎｖａｒｃｈａｒ论文英文题目ａｂｓ＿ｃｈｔｅｘｔ论文中文摘要
ａｕｔｈｏｒｖａｒｃｈａｒ论文作者ｋｅｙｗｏｒｄ＿ｃｈｖａｒｃｈａｒ论文中文关键词
ａｕｔｈｏｒ＿ｕｎｉｔｖａｒｃｈａｒ作者单位
ｊｏｕｒｎａｌ＿ｃｈｖａｒｃｈａｒ期刊中文名
ｆｏｕｎｄａｔｉｏｎｖａｒｃｈａｒ基金项目
ｄａｔａｖａｒｃｈａｒ发表日期
ａｄｄ＿ｔｉｍｅｔｉｍｅｓｔａｍｐ入库时间
２ ３　论文信息入库前的去重问题
由于一篇论文可能对应着多个关键词，所以就算使用不重复的关键词列表进行抓取，也会遇到大量论文被重复抓取到的问题。随着数据库中的数据越来越多，数据重复的问题会越来越严重。因此，在数据入库前进行去重工作便成了必不可少的一步。
针对数据去重的问题，虽然可以利用给数据表建立唯一索引来达到去重的目的，但这样做的缺点是后期大量重复的数据依旧会尝试进行入库操作，在面对较大数据量（百万级）时会明显降低系统的运行速度，并且为数据库带来较大负担。
本方法选用了更为合适的布隆过滤器来完成去重任务［１２］。如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表、树等等数据结构都是这种思路。
但是随着集合中元素的增加，需要的存储空间越来越大，检索速度也越来越慢。不过还有一种散列表数据结构，它可以通过一个ｈａｓｈ函数将一个元素映射成一个位阵列中的若干个点，这样一来，只要查看元素对应的这些点是否都是１就可以知道集合中有没有它了。布隆过滤器便是使用散列思想实现的一种过滤算法，它实际上是一个很长的二进制向量和一系列随机映射函数。在处理规模较大的数据集时，布隆过滤器有着很大的优势，它需要的存储空间和写入／查询时间为常数，不会随数据的越来越多而降低使用效率以及占用更多的额外空间，十分适合本业务场景。虽然布隆过滤器在数据量增长到很大的时候会出现一定的误差，但这些很小的判断误差是可以接受的。而自己编写的布隆过滤器类可以通过实现Ｊａｖａ的序列化接口实现持久化功能，可以将该类写成文件来进行当前状态的保存，在每次程序关闭或异常退出前执行序列化流程，便可以避免程序中断时去重信息的丢失。
３　系统设计及其实现技术
本文所要实现的系统可以划分为四个模块：任务组织管理模块、网页源码抓取模块、论文信息抽取模块以及网页检索展示模块。系统架构设计如图２所示。
·
８
１
５
·计算机应用研究　第３８卷
图２　系统整体架构
Ｆｉｇ．２　Ｓｙｓｔｅｍａｒｃｈｉｔｅｃｔｕｒｅ
３ １　程序运行流程设计
系统的整体运行流程设计如下：
ａ）从用户的检索输入或关键词配置文件中得到待抓取任务的关键词，将其组织成任务发送到网页源码抓取模块的待抓取关键词队列。
ｂ）将待抓取的任务分别按规则拼接为四个数据源网站的检索结果页面ＵＲＬ，并添加到指定的待下载任务队列中。
ｃ）使用网页源码下载器从待下载任务队列中取得任务，并进行源码的下载。
ｄ）网页源码收集分类器从源码下载器的完成队列中取出网页源码，并根据标志将源码分成论文详情页源码和检索结果
页源码两种。检索结果源码的后续处理转步骤ｅ
），论文详情页源码的后续处理转步骤ｇ
）。ｅ）将检索结果页源码中的所有论文信息解析出来，并组
织为任务发送给论文详情页任务调度器，转步骤ｆ
）（检索结果源码以列表的形式包含了所有检索结果的大致信息，但这些信息仅有论文名、作者、来源
等粗略信息，还需要进一步对论文的详情页进行抓取与解析。以知网为例，其检索结果页面如图３所示）
。
图３　列表信息页面示例图
Ｆｉｇ．３　Ｅｘａｍｐｌｅｄｉａｇｒａｍｏｆｌｉｓｔｉｎｆｏｒｍａｔｉｏｎｐａｇｅ
ｆ）论文详情页任务调度器接收到任务后，使用分配算法将
任务均衡地分发到不同的数据源待下载队列。
ｇ）针对不同的数据源使用特定的规则将论文信息从论文详情页源码中解析出来（以万方数据为例，论文详情页中包含
了所需要的论文相关信息，如图４所示）
。ｈ）将论文信息结果存储进数据库，如果本次任务是由用户的检索行为触发则还应将结果反馈至前台展示界面。３ ２　网页ＵＲＬ的构建与分析技术
ＵＲＬ（统一资源定义符）是互联网上标准资源的地址，ＵＲＬ
包含了所要访问的网站、访问方式、访问参数等重要信息。通
过对四个数据源网站特定访问请求的收集与分析，可以总结出每个网站特定业务的ＵＲＬ格式，只需要将自己的参数（如检索关键词）拼接进去便可得到所需请求，后续的源码抓取模块可
以直接根据这些自动生成的Ｕ
ＲＬ
请求得到源码。图４　详情信息页面例图
Ｆｉｇ．４　Ｅｘａｍｐｌｅｄｉａｇｒａｍｏｆｄｅｔａｉｌｓｐａｇｅ
Ａｊａｘ技术是一种创建快速动态网页的技术，由于使用
Ａｊａｘ技术能够通过后台与服务器的少量数据交换即实现网页的异步更新（这意味着可以在不重新加载整个网页的情况下对网页的某部分进行更新），所以目前很多数据展示量较大的
网站都会选择该技术来进行构建［１３，１４］
。
在本系统所选取的四大中文文献数据网站中，万方数据、超星期刊以及维普网在论文检索结果的显示中没有使用数据异步更新策略，使用浏览器直接访问的ＵＲＬ所对应的网页中直接包含了所需要的论文信息数据，因此可以直接对这三个网站检索页ＵＲＬ进行关键词替换来得到所需要的ＵＲＬ以进行
后续访问。知网在检索结果的数据展示中使用了Ａ
ｊａｘ技术，其论文信息数据是通过异步请求加载到前台页面进行显示的，无法在原请求中到具体的
论文数据。借助浏览器的开发者工具，可以捕捉到打开网页时网站进行的所有请求，通过请求的分析便可以得到包含所需数据的异步请求ＵＲＬ。
需要特别注意的是，ＵＲＬ在网络上传输时通常会进行ＵＲＬ编码，因此在构建ＵＲＬ时需要对关键词进行ＵＲＬ编码。
使用Ｊａｖａ语言进行开发时，可以借助Ｊａｖａ．ｎｅｔ．ＵＲＬＥｎｃｏｄｅｒ类中的ｅｎｃｏｄｅ方法实现对关键词的ＵＲＬ编码。３ ３　网页源码下载器及源码解析实现技术
网页源码下载器由四个子线程构成，分别对应知网、万方数据、超星期刊、维普网四个不同的数据源。虽然网页源码的抓取使用的函数是统一的，但相比于只使用单线程来说，划分成四线程并行处理有着以下两点好处：
ａ）提高了抓取效率。网站为了缓解自身服务器的负载压
力往往会限制单个Ｉ
Ｐ的访问频率，因此在访问时必须设置访问间隔。如果使用单线程，必须将该访问间隔设置成四个数据源中最大的访问间隔才能保证程序的稳定性，这样在时间开销上造成了极大的浪费。如果划分为四个子线程，可以针对不同的网站设置特定的访问间隔、响应超时时间等参数，四个线程并行运作、互不影响，
极大地提高了源码抓取效率。
ｂ）增强了程序的健壮性。单线程运作在处理突发情况时的表现较差。例如，一个数据源网站突然出了问题，对其进行源码抓取时会全部耗费超时时长，而队列中的其他任务只能等待，极大地影响了程序整体的运行效率。在分为四个子线程运作后，一个数据源出现问题并不会影响其他数据源任务的抓取速度，对整体的影响降到了最低。
程序的网页源码下载器基于Ｊ
ａｖａ语言开发，Ｊａｖａ语言自身对于多线程有着良好的支持。在开发过程中，通过对ｔｈｒｅａｄ
·９１５·第２期侯晋升，等：基于多数据源的论文数据爬虫技术的实现及应用  　
父类的继承来实现多线程。程序运行准备阶段，四个子线程并发启动，各自监视对应的待抓取任务队列，当队列中存在任务时，循环取出任务进行处理，最后将抓取回的源码放至统一的待处理队列中，由网页源码收集分类器取出作后续处理。
对于网页源码抓取工具，本文选择使用Ｈ
ｔｔｐＣｌｉｅｎｔ。ＨｔｔｐＣｌｉｅｎｔ是ＡｐａｃｈｅＪａｋａｒｔａＣｏｍｍｏｎ下的子项目，
可以用来提供高效的、最新的、功能丰富的支持ＨＴＴＰ的客户端编程工具包。ＨｔｔｐＣｌｉｅｎｔ提供了ＧＥＴ和ＰＯＳＴ等常用请求的访问方法，并且可以通过设置响应时间参数来限制单次请求的访问时长，防止网络波动或服务器问题所导致的卡死现象。
在网页源码的解析方面，本文选择使用ＪＳｏｕｐ技术实现［１５］
。ＪＳｏｕｐ是一种基于Ｊａｖａ语言的ＨＴＭＬ解析器，可以使
用类似于Ｊ
Ｑｕｅｒｙ的操作方式从源码中抽取数据。对于ＪＳｏｕｐ不好抽取或抽取不精确的字段，本文使用针对性的提取规则作为辅助，最终程序可以高效精确提取出所需要的所有字段信息。
３ ４　论文检索及展示页面技术
本文采用ＪＳＰ＋Ｓｅｒｖｌｅｔ技术进行网页的构建，并使用ＣＳＳ进行页面的美化，实现了简洁美观的信息展示页面，将所有数据源的爬取结果统一进行展示，极大地方便了用户对于查询结果的查与比对。检索结果展示界面如图５所示，论文详细信息展示界面如图６
所示。
图５　检索结果展示界面
Ｆｉｇ．５　Ｓｅａｒｃｈｒｅｓｕｌｔｄｉｓｐｌａｙｉｎｔｅｒｆａｃ
ｅ
图６　论文详细信息展示界面
Ｆｉｇ．６　Ｐａｐｅｒｄｅｔａｉｌｄｉｓｐｌａｙｉｎｔｅｒｆａｃｅ
４　实验结果及分析
系统的测试机器硬件配置为：第七代酷睿ｉ７ ７７００ＨＱ＠
２ ８０ＧＨｚ双核ＣＰＵ、１６ＧＢ内存，使用Ｗｉｎｄｏｗｓ１０专业版操作
系统。整个系统使用Ｊ
ａｖａ语言开发完成，开发平台为ＥｃｌｉｐｓｅＬｕｎａＳｅｒｖｉｃｅＲｅｌｅａｓｅ２（４．４．２），Ｗｅｂ服务器选择ＡｐａｃｈｅＴｏｍｃａｔ８ ５ ３１，数据库选择使用ＭｙＳＱＬ５．６．３６。
在保证网络通信良好、使用相同的网页爬取函数与解析函数的情况下，本文使用单数据源爬虫程序与多源融合系统进行爬取数据全面性与爬取效率的比较。挑选了“循环神经网络”与“周志华”两个关键词，每个关键词进行五组实验。
不同数据源的论文信息爬取数据量对比如下，图７是关键词“循环神经网络”的爬取数据量对比图，图８是关键词“周志
华”的爬取数据量对比图。可以看出，相比于只使用单源数据源的爬虫系统来说，本文所采用的基于多数据源的论文数据爬虫技术在论文数据爬取任务中得到了数量更多的结果，说明本技术能够更好地保障论文查询结果的全面性。
在将关键词所有检索结果爬取完全的前提条件下，采用单数据源爬虫的系统与使用多源融合爬虫技术的系统的运行时
间对比如下，图９是关键词“
循环神经网络”的爬取时间对比图，图１０是关键词“周志华”爬取时间对比图。可以看出，本技术由于多线程协作运行，并且采用了针对多数据源任务的均衡分配调度策略，在爬取效率上有着更加优异的表现，能够在更短的时间内完成数据爬取任务。
!""""#"""$"""%"""&"""'"""(""")"""*"""!""""
)(#&
()!#
!"(%
*!""
数据结构与算法论文$&!)
!
"
#$%&
'("
)*+,
-./0
&"""'"""("""
)"""*"""!""""
!'#"!))$
*)($
*#')
'!"(
!
"
#$%&
'(")*+,-./0
图７　关键词“循环神经网络”
数据量对比图Ｆｉｇ．７　Ｄｉａｇｒａｍｏｆｋｅｙｗｏｒｄｓ“ｃｉｒｃｕｌａｒｎｅｕｒａｌｎｅｔｗｏｒｋ”ｄａｔａｖｏｌｕｍｅｃｏｍｐａｒｉｓｏｎ
图８　关键词“周志华”
数据量对比图Ｆｉｇ．８　Ｄｉａｇｒａｍｏｆｋｅｙｗｏｒｄｓ
“ＺｈｏｕＺｈｉｈｕａ”ｄａｔａｖｏｌｕｍｅｃｏｍｐａｒｉｓｏｎ
!""""#""""
$%"""&%%%%'""""(%%%%
%
!%%%%)%%%%
$%%%%&%%%%*+%%%(%%%%
%
!"#$,-
)(.)*
$(!$(
!"#$,-
)%../
&%$%0
%&'()*
+(,-)*
%&'()*
+(,-)*
图９　关键词“循环神经网络”
爬取时间对比图Ｆｉｇ．９　Ｄｉａｇｒａｍｏｆｋｅｙｗｏｒｄｓ“ｃｉｒｃｕｌａｒｎｅｕｒａｌｎｅｔｗｏｒｋ”ｃｒａｗｌｔｉｍｅｃｏｍｐａｒｉｓｏｎ图１０　关键词“周志华”
爬取时间对比图Ｆｉｇ．１０　Ｄｉａｇｒａｍｏｆｋｅｙｗｏｒｄｓ
“ＺｈｏｕＺｈｉｈｕａ”ｃｒａｗｌｔｉｍｅｃｏｍｐａｒｉｓｏｎ
５　结束语
本文提出了一种面向知网、万方数据、超星期刊、维普网四
个中文文献数据库的多源论文数据爬虫技术，旨在解决各网站数据此有彼无的问题，使学术人员能够更加全面、方便地查论文信息，同时提供高效的批量数据采集功能，将其应用于构建论文信息数据库，可为后续的数据挖掘、机器学习等工作提供宝贵的数据资源。
程序在接受关键词后启动数据爬虫，可以通过两种途径输入关键词：通过关键词配置文件的设置来进行批量关键词论文数据抓取；通过用户在检索界面的查询关键词输入来进行用户指定论文数据的抓取。在爬取任务执行前，程序根据规则使用关键词或论文基本信息拼接ＵＲＬ，并将其添加至待抓取队列；爬取任务执行时，程序分四个子爬取线程，分别从已经经过任务调度算法均衡的四个待爬取队列中取出任务进行源码抓取；在爬取任务执行后，程序使用ＪＳｏｕｐ技术从抓取回的网页源码中解析出所需要的字段，将结果存储进数据库中，实现论文信息数据库的构建工作；若本任务是用户的论文检索请求，采用ＪＳＰ＋Ｓｅｒｖｌｅｔ技术构建出简洁美观的Ｗｅｂ页面并将数据展示给用户，满足用户的论文信息查询请求。实验表明，相比于单数据源的爬虫系统来说，本方法能够提供更加高效且全面的论文爬取功能，并且在服务用户的检索需求时可以快速响应并且将各数据源的查询结果融合展示在用户面前，可以使用户无须
·０２５·计算机应用研究　第３８卷
对每个数据源的检索结果进行甄别与比对，极大地方便了用户的使用，节约了用户的时间。
本技术现阶段还存在着很多不足。例如，目前只提供了以关键词为输入的检索方式，还不能支持多条件叠加的高级检索功能；目前只能配置关键词列表及借助用户的检索行为来进行数据库的更新与扩充，还没有一种高效的漫爬虫策略来自动地对论文进行发现与信息下载；目前的数据源只有四大中文文献网站，对英文论文数据源的支持较弱；这些都是在下一步工作中需要研究与改进的地方。
参考文献：
［１］刘金红，陆余良．主题网络爬虫研究综述［Ｊ］．计算机应用研究，２００７，２４（１０）：２６ ２９，４７．（ＬｉｕＪｉｎｈｏｎｇ，ＬｕＹｕｌｉａｎｇ．Ｓｕｒｖｅｙｏｎｔｏｐｉｃ ｆｏｃｕｓｅｄＷｅｂｃｒａｗｌｅｒ［Ｊ］．ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕ ｔｅｒｓ，２００７，２４（１０）：２６ ２９，４７．）
［２］潘晓英，陈柳，余慧敏，等．主题爬虫技术研究综述［Ｊ］．计算机应用研究，２０２０，３７（４）：９６１ ９６５．（ＰａｎＸｉａｏｙｉｎｇ，ＣｈｅｎＬｉｕ，ＹｕＨｕｉｍｉｎ，ｅｔａｌ．Ｓｕｒｖｅｙｏｎｒｅｓｅａｒｃｈｏｆｔｏｐｉｃｃｒａｗｌｉｎｇｔｅｃｈｎｉｑｕｅ［Ｊ］．Ａｐ ｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ，２０２０，３７（４）：９６１ ９６５．）［３］孙立伟，何国辉，吴礼发．网络爬虫技术的研究［Ｊ］．电脑知识与技术，２０１０，６（１５）：４１１２ ４１１５．（ＳｕｎＬｉｗｅｉ，ＨｅＧｕｏｑｉｎｇ，ＷｕＬｉｆａ．ＲｅｓｅａｒｃｈｏｎｔｈｅＷｅｂｃｒａｗｌｅｒ［Ｊ］．ＣｏｍｐｕｔｅｒＫｎｏｗｌｅｄｇｅａｎｄＴｅｃｈ ｎｏｌｏｇｙ，２０１０，６（１５）：４１１２ ４１１５．）
［４］周德懋，李舟军．高性能网络爬虫：研究综述［Ｊ］．计算机科学，２００９，３６（８）：２６ ２９，５３．（ＺｈｏｕＤｅｍａｏ，ＬｉＺｈｏｕｊｕｎ．Ｓｕｒｖｅｙｏｆｈｉｇｈ ｐｅｒｆ
ｏｒｍａｎｃｅＷｅｂｃｒａｗｌｅｒ［Ｊ］．ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，２００９，３６（８）：２６ ２９，５３．）
［５］邵晓文．多线程并发网络爬虫的设计与实现［Ｊ］．现代计算机：专业版，２０１９（１）：９７ １００．（ＳｈａｏＸｉａｏｗｅｎ．Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｍｕｌｔｉ ｔｈｒｅａｄｅｄｃｏｎｃｕｒｒｅｎｔＷｅｂｃｒａｗｌｅｒ［Ｊ］．ＭｏｄｅｒｎＣｏｍｐｕｔｅｒ，２０１９（１）：９７ １００．）
［６］王淑芬，高军礼，邹普，等．基于Ｈａｄｏｏｐ的广域网分布式主题爬虫系统框架［Ｊ］．计算机工程与科学，２０１５，３７（４）：６７０ ６７５．（ＷａｎｇＳｈｕｆｅｎ，ＧａｏＪｕｎｌｉ，ＺｏｕＰｕ，ｅｔａｌ．ＡｆｒａｍｅｗｏｒｋｏｆＷＡＮｄｉｓｔｒｉｂｕｔｅｄｔｏｐｉｃｃｒａｗｌｉｎｇｓｙｓｔｅｍｂａｓｅｄｏｎＨａｄｏｏｐ［Ｊ］．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ＆Ｓｃｉｅｎｃｅ，２０１５，３７（４）：６７０ ６７５．）［７］ＫａｕｓａｒＭＡ，ＤｈａｋａＶＳ，ＳｉｎｇｈＳＫ．ＷｅｂｃｒａｗｌｅｒｂａｓｅｄｏｎｍｏｂｉｌｅａｇｅｎｔａｎｄＪａｖａＡｇｌｅｔｓ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，２０１３，５（１０）：８５ ９１．［８］ＫｕｍａｒＭ，ＢｉｎｄａｌＡ，ＧａｕｔａｍＲ，ｅｔａｌ．ＫｅｙｗｏｒｄｑｕｅｒｙｂａｓｅｄｆｏｃｕｓｅｄＷｅｂｃｒａｗｌｅｒ［Ｊ］．ＰｒｏｃｅｄｉａＣｏｍｐｕｔｅｒＳｃ
ｉｅｎｃｅ，２０１８，１２５：５８４ ５９０．
［９］陈浩．基于协同过滤算法的论文推荐系统研究与设计［Ｄ］．武汉：武汉科技大学，２０１８．（ＣｈｅｎＨａｏ．Ｒｅｓｅａｒｃｈａｎｄｄｅｓｉｇｎｏｆａｐｕｂｌｉ ｃａｔｉｏｎｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇ［Ｄ］．Ｗｕｈａｎ：ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１８．）
［１０］杨超凡，邓仲华，彭鑫，等．近５年信息检索的研究热点与发展趋势综述———基于相关会议论文的分析［Ｊ］．数据分析与知识发现，２０１７，１（７）：３５ ４３．（ＹａｎｇＣｈａｏｆａｎ，ＤｅｎｇＺｈｏｎｇｈｕａ，ＰｅｎｇＸｉｎ，ｅｔａｌ．Ｒｅｖｉｅｗｏｆｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｒｅｓｅａｒｃｈ：ｃａｓｅｓｔｕｄｙｏｆｃｏｎｆｅｒｅｎｃｅｐａｐｅｒｓ［Ｊ］．ＤａｔａＡｎａｌｙｓｉｓａｎｄＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ，２０１７，１（７）：３５ ４３．）
［１１］李斌斌，钟鸣宇，刘宇．论文重复发表的实证研究———以ＣＮＫＩ数据库农业经济领域为例［Ｊ］．情报探索，２０１８（９）：３９ ４４．（ＬｉＢｉｎ ｂｉｎ，ＺｈｏｎｇＭｉｎｇｙｕ，ＬｉｕＹｕ．Ｅｍｐｉｒｉｃａｌｒｅｓｅａｒｃｈｏｎｒｅｄｕｎｄａｎｔｐｕｂｌｉｃａ ｔｉｏｎ：
ｃａｓｅｓｔｕｄｙｏｆｔｈｅａｇｒｉｃｕｌｔｕｒａｌｅｃｏｎｏｍｉｃｆｉｅｌｄｉｎＣＮＫＩｄａｔａｂａｓｅ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎＲｅｓｅａｒｃｈ，２０１８（９）：３９ ４４．）
［１２］杨力．布隆算法在网络爬虫中的应用［Ｊ］．电子世界，２０１９（３）：１５６，１５８．（ＹａｎｇＬｉ．ＡｐｐｌｉｃａｔｉｏｎｏｆＢｌｏｏｍａｌｇｏｒｉｔｈｍｉｎＷｅｂｃｒａｗｌｅｒｓ［Ｊ］．ＥｌｅｃｔｒｏｎｉｃｓＷｏｒｌｄ，２０１９（３）：１５６，１５８．）
［１３］游丽贞，郭宇春，李纯喜．Ａｊａｘ引擎的原理和应用［Ｊ］．微计算机信息，２００６，２２（６）：２０５ ２０７．（ＹｏｕＬｉｚｈｅｎ，ＧｕｏＹｕｃｈｕｎ，ＬｉＣｈｕｎｘｉ．ＴｈｅｐｒｉｎｃｉｐｌｅａｎｄａｐｐｌｉｃａｔｉｏｎｏｆＡｊａｘｅｎｇｉｎｅ［Ｊ］．Ｍｉｃｒｏｃｏｍ ｐｕｔｅｒＩｎｆｏｒｍａｔｉｏｎ，２００６，２２（６）：２０５ ２０７．）
［１４］夏天．Ａｊａｘ站点数据采集研究综述［Ｊ］．现代图书情报技术，２０１０（３）：５２ ５７．（ＸｉａＴｉａｎ．ＯｖｅｒｖｉｅｗｏｆｒｅｓｅａｒｃｈｏｎｄａｔａｃｏｌｌｅｃｔｉｏｎｆｒｏｍＡｊａｘｓｉｔｅｓ［Ｊ］．ＮｅｗＴｅｃｈｎｏｌｏｇｙｏｆＬｉｂｒａｒｙａｎｄＩｎｆｏｒｍａｔｉｏｎＳｅｒ ｖｉｃｅ，２０１０（３）：５２ ５７．）
［１５］毛凯．基于ＪＳｏｕｐ的通用网页采集系统的设计与实现［Ｄ］．成都：电子科技大学，２０
１５．（ＭａｏＫａｉ．ＤｅｓｉｇｎａｎｄｄｅｖｅｌｏｐａｃｏｍｍｏｎＨＴＭＬｃｏｎｔｅｎｔｐａｒｓｅｓｙｓｔｅｍｂａｓｅｄｏｎＪＳｏｕｐ［Ｄ］．Ｃｈｅｎｇｄｕ：ＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａ，２０１５．）
（上接第５１６页）
［１６］ＰａｒｋＧＪ，ＬｅｅＴＨ，ＬｅｅＫＨ，ｅｔａｌ．Ｒｏｂｕｓｔｄｅｓｉｇｎ：ａｎｏｖｅｒｖｉｅｗ［Ｊ］．ＡＩＡＡＪｏｕｒｎａｌ，２００６，４４（１）：１８１ １９１．
［１７］冯泽彪，汪建均．考虑响应共变特性的多响应稳健参数设计［Ｊ］．系统工程与电子技术，２０１９，４１（９）：２０４８ ２０５７．（ＦｅｎｇＺｅｂｉａｏ，ＷａｎｇＪｉａｎｊｕｎ．Ｍｕｌｔｉ ｒｅｓｐｏｎｓｅｒｏｂｕｓｔｐａｒａｍｅｔｅｒｄｅｓｉｇｎｂａｓｅｄｏｎｃｏｖａ ｒｉａｎｔｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｍｏｄｅｌｒｅｓｐｏｎｓｅｓ［Ｊ］．ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＥｌｅｃｔｒｏｎｉｃｓ，２０１９，４１（９）：２０４８ ２０５７．）
［１８］王文强，彭旭东，梁杨杨，等．基于田口方法的中低压油封稳健性设计［Ｊ］．流体机械，２０１９，４７（２）：５１ ５７，６４．（ＷａｎｇＷｅｎｑｉａｎｇ，ＰｅｎｇＸｕｄｏｎｇ，Ｌｉ
ａｎｇＹａｎｇｙａｎｇ，ｅｔａｌ．Ｒｏｂｕｓｔｄｅｓｉｇｎｏｆｏｉｌｓｅａｌｕｎｄｅｒｍｉｄｄｌｅ ｌｏｗｐｒｅｓｓｕｒｅｂｙＴａｇｕｃｈｉｍｅｔｈｏｄ［Ｊ］．ＦｌｕｉｄＭａｃｈｉｎｅｒｙ，２０１９，４７（２）：５１ ５７，６４．）
［１９］ＧｕｐｔａＴＢ，ＬａｔａｙｅＤＨ，ＫｕｒｗａｄｋａｒＳＴ．Ａｄｓｏｒｐｔｉｏｎｏｆｃｒｙｓｔａｌｖｉｏｌｅｔｄｙｅ：ｐａｒａｍｅｔｅｒｏｐｔｉｍｉｚａｔｉｏｎｕｓｉｎｇＴａｇｕｃｈｉ’ｓｅｘｐｅｒｉｍｅｎｔａｌｍｅｔｈｏｄｏｌｏ ｇｙ［Ｍ］／／ＶｅｎｋａｔａＲＲ，ＴａｌｅｒＪ．Ａｄｖａｎｃｅｄｅｎｇｉｎｅｅｒｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｔｈｒｏｕｇｈｉｎｔｅｌｌｉｇｅｎｔｔｅｃｈｎｉｑｕｅｓ．Ｓｉｎｇａｐｏｒｅ：Ｓｐｒｉｎｇｅｒ，２０２０：６５３ ６６５．［２０］ＪｏｈｎＷＴ．Ｓｅｃｔｉｏｎｏｆｍａｔｈｅｍａｔｉｃｓａｎｄｅｎｇｉｎｅｅｒｉｎｇ：ｓｏｍｅｓｅｌｅｃｔｅｄｑｕｉｃｋａｎｄｅａｓｙｍｅｔｈｏｄｓｏｆｓｔａｔｉｓｔｉｃａｌａｎａｌｙｓｉｓ［Ｊ］．ＡｎｎａｌｓｏｆｔｈｅＮｅｗＹｏｒｋＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，１９５３，１６（２）：８８ ９７．
［２１］ＭｃｎｅｍａｒＱ．Ｎｏｔｅｏｎｔｈｅｓａｍｐｌｉｎｇｅｒｒｏｒｏｆｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｃｏｒ ｒｅｌａｔｅｄｐｒｏｐｏｒｔｉｏｎｓｏｒｐｅｒｃｅｎｔａｇｅｓ［Ｊ］．Ｐｓｙｃｈｏｍｅｔｒｉｋａ，１９４７，１２（２）：１５３ １５７．
［２２］ＦｉｎｋｅｌｓｔｅｉｎＬ，ＧａｂｒｉｌｏｖｉｃｈＥ，ＭａｔｉａｓＹ，ｅｔａｌ．Ｐｌａｃｉｎｇｓｅａｒｃｈｉｎｃｏｎ
ｔｅｘｔ：ｔｈｅｃｏｎｃｅｐｔｒｅｖｉｓｉｔｅｄ［Ｊ］．ＡＣＭＴｒａｎｓｏｎＩｎｆｏｒｍａｔｉｏｎＳｙｓ ｔｅｍｓ，２００２，２０（１）：１１６ １３１．
［２３］ＢｒｕｎｉＥ，ＢｏｌｅｄａＧ，ＢａｒｏｎｉＭ，ｅｔａｌ．Ｄｉｓｔｒｉｂｕｔｉｏｎａｌｓｅｍａｎｔｉｃｓｉｎｔｅｃｈｎｉ ｃｏｌｏｒ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ５０ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．［Ｓ．ｌ．］：ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎ ｇｕｉｓｔｉｃｓ，２０１２：１３６ １４５．
［２４］ＺｅｓｃｈＴ，ＭｕｌｌｅｒＣ，ＧｕｒｅｖｙｃｈＩ．ＵｓｉｎｇＷｉｋｔｉｏｎａｒｙｆｏｒｃｏｍｐｕｔｉｎｇｓｅ ｍａｎｔｉｃｒｅｌａｔｅｄｎｅｓｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ２３ｒｄＮａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｒ ｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．Ｃｈｉｃａｇｏ：ＡＡＡＩＰｒｅｓｓ，２００８：８６１ ８６６．
［２５］ＡｇｉｒｒｅＥ，ＡｌｆｏｎｓｅｃａＥ，ＨａｌｌＫ，ｅｔａｌ．Ａｓｔｕｄｙｏｎｓｉｍｉｌａｒｉｔｙａｎｄｒｅｌａｔｅｄ ｎｅｓｓｕｓｉｎｇｄｉｓｔｒｉｂｕｔｉｏｎａｌａｎｄｗｏ
ｒｄｎｅｔ ｂａｓｅｄａｐｐｒｏａｃｈｅｓ［Ｃ］／／ＰｒｏｃｏｆＨｕｍａｎＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ：ＡｎｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＮｏｒｔｈＡｍｅｒｉｃａｎＣｈａｐｔｅｒｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．［Ｓ．ｌ．］：ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，２００９：１９ ２７．［２６］ＲａｄｉｎｓｋｙＫ，ＡｇｉｃｈｔｅｉｎＥ，ＧａｂｒｉｌｏｖｉｃｈＥ，ｅｔａｌ．Ａｗｏｒｄａｔａｔｉｍｅ：ｃｏｍ ｐｕｔｉｎｇｗｏｒｄｒｅｌａｔｅｄｎｅｓｓｕｓｉｎｇｔｅｍｐｏｒａｌｓｅｍａｎｔｉｃａｎａｌｙｓｉｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ２０ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｏｒｌｄＷｉｄｅＷｅｂ．ＮｅｗＹｏｒｋ：ＡＣＭＰｒｅｓｓ，２０１１：３３７ ３４６．
［２７］ＬｕｏｎｇＴ，ＳｏｃｈｅｒＲ，ＭａｎｎｉｎｇＣ．Ｂｅｔｔｅｒｗｏｒｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｗｉｔｈｒｅ ｃｕｒｓｉｖｅｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｍｏｒｐｈｏｌｏｇｙ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１７ｔｈＣｏｎｆｅ ｒｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌＮａｔｕｒａｌＬａｎｇｕａｇｅＬｅａｒｎｉｎｇ．［Ｓ．ｌ．］：Ａｓｓｏｃｉａ ｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，２０１３：１０４ １１３．
［２８］ＨｉｌｌＦ，ＲｅｉｃｈａｒｔＲ，ＫｏｒｈｏｎｅｎＡ．ＳｉｍＬｅｘ ９９９：ｅｖａｌｕａｔｉｎｇｓｅｍａｎｔｉｃｍｏｄｅｌｓｗｉｔｈ（ｇｅｎｕｉｎｅ）ｓｉｍｉｌａｒｉｔｙｅｓｔ
ｉｍａｔｉｏｎ［Ｊ］．ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎ ｇｕｉｓｔｉｃｓ，２０１５，４１（４）：６６５ ６９５．
·
１
２
５
·
第２期侯晋升，等：基于多数据源的论文数据爬虫技术的实现及应用  　

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。