图1 网页URL图
图2 网页内容图
同样的方式打开用户的主页,如图3所示,可以到在主页的右上方有一份关于用户的个人信息的简单补充。
图3 用户主页内容图
2.3 反爬虫措施的应对
针对爬虫,很多网站都有了反爬虫手段,而建立网络爬虫的第一原则是:所有信息都是伪造的[3]。本文主要采用了四种方式来应对反爬虫措施:
图4 影评主页csv数据图
3 数据分析系统设计
3.1 数据清洗
检测数据中存在冗余、错误、不一致等噪声数据,
用各种清洗技术,形成“干净”的一致性数据集合,而数据
mysql数据库隔离级别清洗技术包括清除重复数据、填充缺失数据、消除噪声数
据等[4]。常用数据清洗函数:排序,搜索np.sort函数;从小
到大进行排序np.argsort函数;返回的是数据中从小到大的索
引值np.where;可以自定义返回满足条件的情况np.extract
返回满足条件的元素值。
图5 影评词云展示图
通过对于用户的常居住地的处理和清洗之后,
python请求并解析json数据、更直观的呈现不同地区的差异,借助Python
Basemap库,可以获取到中国各省份的区分图,如图
能够发现不同地区的人对电影的讨论热度的差异。
high low 50
(
图6 地区热力图展示图
define在c中的用法将无线通信技术应用于温室中,是温室环境监测和控制从有线到无线的一次变革和新的尝试。无线通信技术在温室中的应用主要涉及蓝牙,ZigBee,GPRS,GS等模块。从实际的应用状况来看,ZigBee无线技术具有价格相对较低、功自组网能力强等诸多优点,其应用比较广泛。实现了温室大棚环境数据的远程监测和控制,提高了监测系统的可
稳定性、可扩展性。总之,从测试效果来看,能够满足现代温室大棚的发展和需求,具有较好的实用性。
,陈正宇.嵌入式系统Web服务器的移植与CGI 金陵科技学院学报,2019,35(2):40-43.
,胡国强.基于6LoWPAN和WLAN的温室大棚智
单片机与嵌入式系统应用,2016,16(12):70-73.
CHEN B Y,ZHANG F H. Plant Nutrient Solution Detection System Based on ZigBee Wireless Technology [J].Journal of Computer and Communications,2018,6(6):61-68.
[4] 余欢.基于ZigBee技术的温室监测系统的设计与实现
上海:上海应用技术大学,2016.
[5] 王子维.基于zigbee技术的智能温室大棚监控系统设计与实现 [D].武汉:华中师范大学,2016.
[6] 李晓娟,徐君鹏,秦国庆.基于ZigBee
协调器节点设计[J].河南科技学院学报(自然科学版
(4):67-73.
[7] 周素茵,章云,曾斌.无线通信技术在我国现代温室中的应用综述 [J].传感器与微系统,2011,30(12):
首创奥莱阿玛尼[8] 周健,罗杰.一种远程分布式温室环境监测系统设计
微型机与应用,2014,33(22):11-13+16.
作者简介:李佳辕(2000—),男,汉族,四川广安人
在读;研究方向:物联网;刘彬(1982—),男,汉族
网络安全高级工程师,讲师,硕士,研究方向:计算机科学与技术
图3 系统主界面常量元素和宏量元素
Chrome的开发者查看源代码我们可以直观的看到不同的内容在网页上的位置,而利用Python编写的程序可以帮助我们解析URL网页。在网页上获取到所需要的内容,针对爬取到的数据存在着格式不规范,内容有数据出错等情况,需要在使用之前进行数据的清洗与
对数据运用不同的分析方法,最后借助图表的方式来清晰直观的展现出所要呈现的结果,由结果可以看出观众对于本文电影的感受是受到了非常大的历史震撼的,而北京和上海的用户对于本文电影的内容在豆瓣网上的评论较多。网络安全技术与应用,2018(4):38-39.
[2] 成文莹,李秀敏.基于Python的电影数据爬取与数据可视化分析研究 [J].电脑知识与技术,2019,15(31
[3] XIE D X,XIA W F. Design and implementation of the topic-focused crawler based on scrappy [J].Advanced Materials Research 2014(850-851):487-490.
[4] 孔钦,叶长青,孙赟.大数据下数据预处理方法研究
计算机技术与发展,2018,28(5):1-4.
[5] 祝永志,荆静.基于Python语言的中文分词技术的研究[J].通信技术,2019,52(7):1612-1619.
[6] 涂小琴.基于Python爬虫的电影评论情感倾向性分析
现代计算机(专业版),2017(35):52-55.
作者简介:高雨菲(1999.07—),女,汉族
>计算机二级c语言题库用什么软件
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论