Technology Application
技术应用
DCW
209
数字通信世界
2020.01
网络信息技术的飞速发展改变了传统数据的获取形式，为了适应未来信息化的发展节奏，提升数据获取的便捷度，人们将更多的目光关注到网络爬虫技术的设计与应用。网络爬虫技术是一种帮助广大网络用户在浏览的网页中迅速、快捷的寻到自己想要内容的一种数据信息获取技术，网络爬虫技术的广泛应用能够极大的释放人力和物力资源，网络爬虫技术也逐步成为当前搜索引擎的重要组成部分。Python 语言作为一种常用的编程语言，具有强大的功能库模块，能够兼容多种类型的操作系统平台，在追求高性能的综合应用程序开发中占有十分重要的地位。因此，基于Python 语言的网络爬虫技术具有十分显著的特点，其应用设计具有十分广阔的发展前景。
1    网络爬虫技术概述及Python 语言下的特性分析
1.1  网络爬虫技术概述
网络爬虫技术是一种具备特定规则的程序，能够依照程序设定来自动抓取网络中的相关信息，在当前的互联网时代下，网络爬虫技术被更多的应用到互联网引擎搜索当中，通过网络爬虫技术的应用，用户可以更加便捷的获取网站中自身所需的内容，在爬虫技术规定的权责范围内，获取所需的相关信息资料。所有网络爬虫技术都具备一个最为突出的特性就是先进性，无论数据搜索、数据下载、资料搜集、数据存储和处理，网络爬虫技术均能够方便、快捷的实现这些功能。1.2  基于Python 语言下的网络爬虫技术特性分析
首先，网络爬虫技术自身就具备操作简单的特性，是一种非常简洁的语言，而基于Python 语言下的网络爬虫程序编程更加便捷，极大的节省了程序设计的精力和时间，把Python 语言的伪代码特性展现的淋漓尽致；其次，基于Python 语言下的网络爬虫程序在编辑过程仅需要文本编辑器就可以实现程序设计，并不需要在集成开发的环境中进行应用，这种特性不但使得程序的编辑过程更加简洁，还极大的提升了程序的编辑效率；第三，Python 语言能够为网络爬虫技术的编辑应用塑造一个以结构数据为基础的框架环境，帮助网络爬虫技术获取互联网中的相关数据，使得网络爬虫技术具有短时间内快速完成多个不同程序的特性。
2    网络爬虫技术的具体应用设计
2.1  网络爬虫技术数据获取流程
互联网用户主要通过两种方式来获取网络中的相关数据信息，一种是对浏览页输入相应请求，并下载网页代码，通过技术解析后形成所需信息界面；另一种是发送请求至模拟浏览器，请求的相关数据被提取和存放到数据库中。因此，网络爬虫技术针对数据获取的特点和方式具体应用的设计流程为：
第一步，筛选的网页URL 经过选取后放入待抓取的队列当
中，之后在队列中抓取URL ，并下载相应的网页。相关的搜索请求通过http 发向目标站点，被发送出去的请求事物由两部分内容组成：请求头和请求体。
第二步，若服务器对发出的请求产生及时的响应，就会产生一个答复，这个答复主要由视频、html 以及图片等组成。
第三步，通过利用数据解析模块来完成html 的数据解析，主要包含json 数据以及二进制数据的内容解析。
第四步，分析并整理网页中的数据信息，利用正则表达来提取用户感兴趣的数据信息，并将数据传输给数据清洗模块，清洗后调用存储模块，数据库会自动存储相关的数据信息。
第五步，遵照用户输入搜索引擎中的需求，筛选出数据库中的爬虫结果，并对其进行读取，以文字、图表、图片的形式向用户展示。2.2  网络爬虫技术图片获取应用
首先，准备工作。网络爬虫技术在从网络中获取图片的应用过程中需做好以下准备工作：为了便于检查字符串，爬虫技术需对re 库进行导入，检查与模式是否匹配，因为re 库中包含Python 语言的正则表达式，所以爬虫技术对re 库的导入能够实现获取用户所需数据信息的根本目的。
其次，抓取图片。当网络爬虫程序对互联网中的图片进行抓取时，需要充分了解网页的编码方式，在随后的源程序中，参照编码方式对数据的格式进行字符串匹配，并将成功匹配后的网址以字符串的形式存储在字典当中。
第三，图片存储。当网络爬虫程序对互联网中的图片进行抓取之后，利用相关的函数打开特定的文件，文件如果不存在，则需新建文件，并将抓取的图片写入到文件当中，文件的位置定义可设置成为可变模式，图片的写入可以通过t 的方式，这种情况主要是考虑到存入图片数量较多的情况。
3    网络爬虫技术应用设计中的关键问题
基于Python 语言下的网络爬虫技术在应用设计过程中应当注意正则表达式、模拟浏览器以及伪装请求等三个关键问题。
首先，Python 语言下的网络爬虫技术需借助re 库来使用正则表达式，字符串在进行搜索匹配的过程中可依托列表类型，进而实现正则表达式匹配结果的分割；其次，模拟浏览器客户端的图形渲染要求会导致执行效率低下，往往利用无GUI 界面浏览器来解决这一问题，Python 语言下的网络爬虫技术在应用设计过程中可以有效利用GUI 浏览器；第三，在网络中，许多网站不会对浏览器以外的请求进行回应，因此，Python 语言下的网络爬虫技术在应用设计过程中要对发送的请求进行伪装，以自定义的方法在爬虫代码中加入所需内容即可。
综上所述：在网络信息技术高速发展的今天，网络爬虫技术在互联网中获取数据信息得到了广泛的应用，在Python （转下页）
基于Python 语言下网络爬虫的技术特点及应用设计
李杰秦
（云南轻纺职业学院，昆明  650300）
摘要：当今社会网络信息技术正处于持续发展的黄金时期，互联网技术的变革使得数据的获取形式发生了翻天覆地的变化，为了获取数据变得更加便捷，越来越多的人将关注的目光集中在Python 语言下的网络爬虫技术的设计和应用。本文通过了解网络爬虫的概念、相关构架以及设计的基本流程，深入分析基
于Python 语言下的网络爬虫技术，以爬虫技术的特点作为切入点，分析Python 语言下网络爬虫技术的具体应用设计，为促进网络爬虫技术的发展和完善提供可行性参考意见。
关键词：Python 语言；网络爬虫技术；设计与应用doi ：10.3969/J.ISSN.1672-7274.2020.01.166中图分类号：TP311.13；TP391.3    文献标示码：A    文章编码：1672-7274（2020）01-0209-02作者简介：
李杰秦，男，1983年生，云南嵩明人，本科，讲师，研究方向为计算机网络技术及人工智能。
应用
Technology Application
D
I G I T C W 技术
210DIGITCW
2020.01
（接上页）语言条件下的网络爬虫技术具有十分优越的技术特点，其强大的兼容性能和广阔的应用空间都给网络爬虫技术的改进和优化创造了良好的条件，如果能够切实解决好关键性的问题，就会拥有十分广阔的发展前景。参考文献
[1]  潘巧智，张磊.浅谈大数据环境下基于python 的网络爬虫技术[J].网络安全技术与应用，2018（05）：44-45.
[2]  刘顺程，岳思颖.大数据时代下基于Python 的网络信息爬取技术[J].电子技术与软件工程，2017（21）：170.
[3]  钱程，阳小兰，朱福喜.基于Python 的网络爬虫技术[J].黑龙江科技信息，2016（36）.
0  引言
为提高故障定位准确性[1]，解决传统故障指示器无法准确定位故障区段的问题，减轻运维人员现场工作压力，可在配网10kV 线路加装暂态录波型故障指示器，通过实施录波监测及故障定位装置现场布点，实现有效检测故障区段，并可以通过手机APP 或电脑线上及时查看线路实时运行状况。
1    在线监测系统组成
由录波故障指示器、通信终端、系统智能分析主站组成了故障定位系统。其中录波故障指示器由一台汇集单元和三台采集单元共同组成，采集单元获取暂态零序电流等信号，并通过无线通信将信息传输给汇集单元，汇集单元通过无线公网等通信手段将信息传输到主站系统[2]，根据主站系统的智能软件再对故障进行计算、定位，实现故障就地精准检测、定位。通信终端采用太阳能和免维护电池进行供电，录波故障指示器可以高精度地实时采集配网线路中的电流，对线路状态发生异常时记录相关变化和数据，对线路的运行状况提前预警，大大提高了定位准确率。
2    短路故障定位原理
当线路发生短路故障时，从变电站到故障点之间的故障路径上会流过比较大的短路电流，同时变电站会跳闸。此时，安装在线路上的故障录波型故障指示器会检测到电流有效值I ，它会从一个正常运行的电流值产生一个突然的上升ΔI （达到设定的故障电流值），最后由于线路跳闸导致电流降至0。只要电流电经过的故障指示器检测到有这样波形的电流，经过检测到这样的电流变化的波形故障指示器就能确定出故障的区段，检查到故障后会立刻向主站上报整个故障事件及类型（短路过流），主站系统依据上报的事件和信号会进行故障定位并发出相关的告警、故障信号。
3    单相接地故障定位原理
线路正常运行的情况下，无接地或者过流故障[3]，是检测不
到零序电压或零序电流值的；如果发生单相接地故障就地的就会产生这样的现象：故障的一相电压骤降但是非故障的其他相相地电压反而会增大，这个时候就会出现有一个工频零序电压，此外还会产生一个时间很短的（持续的时间一般不超过20毫秒）暂态高频零序电流。发生这个暂态的过程之后，就会发展为稳态过程，和刚刚我们描述的暂态零序电流幅度不一样，稳态工频的零
序电流的幅值是很小的。从上述过程我们可以得到结论，通过检测暂态高频零序电流信号可以对小电流接地故障的检测是更加可靠和准确的。
结合上段说的特点及理论和实际的分析结果，我们可以得出小电流接地配电网单相接地过程中高频暂态零序电流的一些特征：正常区段和故障区段的的零序电流信号是不一致的、线路故障发生前和发生后也是不一致的，但是发生故障的线路它从故障点到电源之间的故障路径上经过的故障指示器采集到的信号又非常相似。故障定位系统就是依据此特点进行单相接地故障检测定位，故障指示器在监测点触发录波，通过取得线路上安装的各组设备的高频暂态零序电流情况，主站系统就可以分析和计算出故障具体位于哪一个区段了。
4    试点运行情况python爬虫开发
为提升故障查效率，提升运维智能水平，本单位在4回公线上安装了录波型故障指示器，可以选择在主线重要分段、支线T 节点、长支线分段处、故障频发地段都进行故障指示器安装布点，每回线路安装1
0组。经过三个月时间的监测，共监测到9起短路故障、3起接地故障（含瞬时故障），故障告警与定位均准确，试用情况良好，能够有效指导运维人员进行故障巡视和快速复电工作。
5    结束语
通过加装录波型故障指示器，结合GPRS 通信技术，实现了故障检测与定位。试点线路上安装的指示器，动作准确率较高，能够协助现场运维的工作人员迅速排查出设备或者线路的情况，不在故障范围内的线路能够先恢复用电，总体来说对运维人员提升它们的工作效率及进一步优化供电可靠性有较大的帮助及作用。故障指示器显示的一些瞬时接地频发等信号，运维人员应加强巡线工作，保证线路安全。参考文献
[1]  王帅等.暂态录波型故障指示器在10kV 配网中的应用[J].山东工业技术，2018.
[2]  吕立平.基于暂态录波型故障指示器的应用分析[A].会议论文，2017.[3]  王勤等.基于暂态录波技术的线路故障在线监测系统在配网中的应用[J].电力与能源，2018（3）.
在线录波故障指示器应用与分析
林丽红
（惠州惠阳供电局，惠州  516211）
摘要：近年来，配网故障指示器大量应用于中压线路中，它投资小、见效快、安装不需停电，能够有效协助运维人员提升快速复电效率。本文介绍了在线录波故障指示器的系统组成、原理及应用情况，录波故障指示器相对于传统的故障指示器更加高效、准确，减少了停电时间，提高供电可靠性。
关键词：暂态；录波；故障指示器；故障定位doi ：10.3969/J.ISSN.1672-7274.2020.01.167中图分类号：TM73    文献标示码：A    文章编码：1672-7274（2020）01-0210-01

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。