面向网络爬虫的智能拦截系统
作者：马超勇 李秋贤 周全兴
来源：《现代信息科技》2022年第07期
爬虫软件 app
摘 要：随着互联网的飞速发展，网络爬虫技术越来越普及，恶意爬虫或技术较差的爬虫占用大量的服务器资源，影响正常用户的网络使用体验。自动化薅羊毛程序给公司带来的直接或间接损失不容小觑，同时还存在泄露用户数据等负面影响。鉴于此，文章设计开发一款反爬虫系统，重点介绍了爬虫的特征及检测技术、功能模块及系统设计、数据库设计。
server是什么意思中文 关键词：反爬虫;网络爬虫;拦截系统;信息安全
powerful的用法及短语 中图分类号：TP309 文献标识码：A文章编号：2096-4706（2022）07-0127-06
Intelligent Interception System for Web Crawler
MA Chaoyong， LI Qiuxian， ZHOU Quanxing
（School of Big Data Engineering， Kaili University， Kaili 556011， China）
二叉树的度小于等于2 Abstract： With the rapid development of the Internet， Web crawler technology is becoming more and more popular. Malicious crawlers or crawlers with poor technology oc民办职业培训学校
cupy a lot of server resources and affect the network use experience of normal users. The direct or indirect losses brought to the company by the automated wool collection program should not be underestimated. At the same time， there are also negative effects such as leaking user data. In view of this， this paper designs and develops an anti crawler system， focusing on the features of crawlers and detection technology， functional modules and system design， database design.
Keywords： anti crawler; Web crawler; interception system; information security
0 引 言
搜索引擎对网络资源的收集与整理，带来了网络资源的高度共享与高速传递，同时使得网络爬虫技术日益普及。据搜索引擎巨头Google透露，2012年，Google的网页爬虫Googlebot每天都会经过大约200亿个网页，并且追踪着约300亿个独立的URL链接。此外，Google每个月的搜索请求接近1 000亿次，而确保这一切如常进行的强大后盾就是网络爬虫技术。
对一些网站来说，爬虫所带来的流量远远超过真实用户的访问流量，甚至爬虫流量要高出真实流量一个数量级。大型网站还可以应对，但这对许多中小型网站来说往往是毁灭性的打击。网络爬虫的危害不仅仅局限于流量攻击和数据资源泄漏，同时还有用户的恶意行为攻击（重放攻击、特定行为攻击），例如通过爬虫实现定时打卡签到、抢购秒杀商品、抢购优惠券、自动投票等从中薅取羊毛，获得利益，极大地破坏了公平性并有损其他用户的正常体验。通过引入智能拦截系统可避免后端数据被有不良意图的爬虫抓取，保护网站内容和用户隐私的安全。因此，如何检测和拦截爬虫，增加非法爬虫的抓取难度，减少爬虫带来的负面影响，已成为许多网站亟待解决的问题。反爬虫在保障网站正常运行、保护网站数据和用户隐私安全方面有着重要的意义。
1 爬虫的分析与防护
知己知彼方能百战不殆，若要对爬虫进行拦截，首先得知晓爬虫的请求特征，从而依据其特征构造反爬虫技术。
1.1 爬虫的特征
可以写代码的软件 初级爬虫请求头可能还是原生爬虫程序自带的，如Python中的requests模块，请求头默认为，网站可通过请求头Headers中的User-Agent并结合Referer进行检测分析，区别正常用户与爬虫程序。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论