75
0 引言
近年来,我国政府对于大数据的挖掘、分析工作的重视程度不断上升,并为这一情况安排了相应的部署工作,在现有基础上,进一步完善相关工作的业务流程,全力完
善相关工作年的体制结构,实现数据共享、数据深度开发。Python近年来在数据统计这一方面得到了广泛应用。相较于传统数据统计中应用的SAS、SPSS等统计工具,Python 是一种基于现代化、信息化、网络化、科学化背景下的新型统计工具,相较于传统统计工作,该工具具有简单易学,操作便利,可深入挖掘数据的相关信息等优点。因此,在大数据的挖掘、分析中应用Python是非常有必要的。
1 数据挖掘技术简述
数据挖掘技术其实是一门新兴交叉学科,涉及人工智能、数理统计、知识工程等多个领域的相关技术与相关知识,也囊括一套完成、连续的过程。简单的说,数据挖掘技术其实是利用多种复杂计算方法,
在多种未加工的数据中,发现并挖掘有效知识以及数据间的潜在关系。通过挖掘出来的有效数据,从而完成相应的数据统计工作,并通过统计结果完成相应领域的工作。因为数据挖掘技术能够真实、准确的反映某一领域、某一方向的相关信息,因此近年来数据挖掘技术在金融业、医疗业、电信业以及零售业等行业中广泛应用,并获得了相对显著的成果。
2 Python的功能与特点
Python近年来在游戏开发、图形用户界面开发、数据开发以及网路开发等多个领域中广泛应用。从实际应用情况可以看出,Python具有功能强大、可满足不同工作需求等特点。详细功能与特点如下[1]:
(1)网络开发:从实际应用可以看出,Python内部中有很多常见网络协议库,因此可作为网络编程工具参与相应的网络开发工作中。(2)网络爬虫:Python本身自带
框架,这个框架能够获取相应的网站信息以及网页内容,
可利用正则表达式达到分析、提取所需数据的目的。(3)游戏开发:Python本身自带编程方式,用于游戏开发工作,可有效提高其开发便捷性。再者,在游戏开发工作中,游戏会员的登录注册系统、交换游戏装备系统以及战斗攻防系统等等都可以利用Python,实现进一步优化,进一步提高游戏开发工作的效率与质量。(4)GUI:Python 能够在短时间内迅速完成创建GIU应用程序的工作,而且能够和Java形成
相应的Jython数据库。(5)人工智能:人工智能是近年来的新发展方向,在实际社会实践过程中,有很多类型不同的智能项目在设计、开发过程中需要Python的参与,譬如谷歌的无人驾驶以及百度大脑、微软的小冰等等。(6)物联网终端:Python本身的功能还可在多个不同方面体现出来,譬如阿里巴巴、脸书、新浪等等方面中。可以说,在现今物联网中,Python是无处不在的,各个领域均有Python的应用。这种情况进一步体现了Python的实际应用价值,并且能够进一步推动物联网终端升级发展。
3 Python在大数据挖掘、分析中的实际应用情况
从Python的实际应用情况可以看出,Python本身具有强大的适应性功能与普及性功能,可在大数据的挖掘、分析等工作中广泛应用。在大数据背景下利用Python完成数据分析功能,能够获取很多具有一定真实性、准确性优点的信息,可充分发挥大数据本身的应用价值,也能够为相
收稿日期:2020-06-19
作者简介:方骥(1978—),男,江苏南通人,硕士,讲师,研究方向:软件工程。
Python 在大数据挖掘和分析中的应用研究
方骥1 谢慧敏2
(1.常州大学阿里云大数据学院,江苏常州 213015;2.常州大学信息科学与工程学院公共基础部,江苏常州 213015)
摘要:本文探讨了数据挖掘技术简述,分析了Python的功能与特点,研究了Python在大数据挖掘、分析中的实际应用情况。关键词:P y t h o n ;大数据;挖掘;分析中图分类号:TP311.13
文献标识码:A
文章编号:1007-9416(2020)09-0075-02
DOI:10.19695/jki12-1369.2020.09.29
应用研究
Copyright©博看网 www.bookan. All Rights Reserved.
76
第 38 卷 数字技术与应用 www.szjsyyy
关工作的研究、进展提供更多具有显著应用价值的参考信息。总的来说,Python在大数据挖掘、分析中
应用,具有显著的应用价值,实际价值如下[2]:
3.1 数据分析库
Python本身具有数据分析库的作用。现在是一个大数据时代,只有相对功能全面、简单好操作、数据分析速度快的数据编程工具,才能够满足大数据背景下的数据分析需求。因此,Python本身具备的数据分析库功在实际数据分析中应用,可在保证数据分析的基本效率基础上,进一步提高数据分析的效率与质量。Python中有应用频率较高的数据分析库,如Pandas以及Numpy,第一个数据分析库具有DataFrame以及Series两类数据框,在数据框中,囊括很多标准数据模型,操作者可根据实际需求,数据模型的应用价值,使用所需的数据模型完成大型数据的分析工作。比如,如果操作者须在短时间内完成千万行CVS数据处理,可利用传统数据分析工具字典进行处理,只需要2分钟,然后转变为Python处理,则只需要10秒不到的时间。第二个数据分析库更适合在数组以及矩阵的数据分析中应用,操作十分方便,可在科学领域中进行有效计算。也就是说,采用Python完成数据分析处理工作,可有效缩短工作时间的同时,还可有效提升工作效率,并且能够保证数据分析结果本身的有效性。若能充分掌握Python的数据分析库应用方法,Python便会成为当下最适合在大数据分析中应用的方法。除去以上简单讲解的Python数据库分析功能,Python还具有人工智能以及神经网络等多种资源方式。同时,利用一些服务器平台,实施Python数据库分析,也能够达到C语言的目的。从实际应用情况可以看出,不同的数据库具有不同的应用价值,在不同方面的应用价值也存在新竹差异。因此,想要充分
发挥Python数据库分析的价值,操作者必须深入了解Python,掌握Python数据库分析的相应功能。
3.2 数据挖掘能力
相较于R语言(传统数据处理、计算、制图软件),Py-thon本身含有多项产品建构功能。对于操作人员而言,学习Python,难度较小,更容易上手。但学习R语言,学习难度较高,不容易上手。再者,随着Python的不断更新换代,Python本身的编程语言排名顺序不断升高。比如,在统计分析工作中,现在Python的排名已经比R语言更高。从临床实践调查结果可以看出,在2016年时,实际应用R语言的人数远远高于应用Python的人数。但是从2017年的统计数据可以看出,应用Python的人数明显高于应用R语言的人数。也就是说,随着Python的应用,越来越多的人认识到Python本身的应用价值,因此应用Python的人数越来越多。
应用Python人数的持续增多,为数据挖掘工作人员带来了新的发展方向。主要是因为Python编程语言本身的数据挖掘能力比较高,能够在自动化方式以及智能技术基础上,有效减少工作人员的数据挖掘工作实际工作量。这一特点导致操作人员在应用Python编程语言后,可用更短的时间完成更多的数据挖掘工作,可进一步提升数据挖掘的全面性,可结合实际工作需求,完成相应的数据挖掘工作。再者,在完成数据挖掘工作后,还可在无需切换Python的基础上,进一步对所挖掘的数据进行有效分析,可充分发挥大数据时代背景下的实效性特点,可更好的适
应时代发展。
3.3 程序包和平台
Python本身具有PyPI技术支持,含有Python模块与脚本资源库。Python本身内部资源丰富,可直接被程序调用。再者,在大数据挖掘、分析工作中应用Python,可通过丰富的数据交流区,达到使用数据、使用文档等功能的目的。Python其实属于开源性质,必须通过长时间设计、开发、完善,才能在平台应用Python的过程中,保证平台能够稳定运行,跨平台运行稳定。为满足Py-thon在大数据挖掘、分析中的有效应用,市场必须不断提高Python人员的专业性,才能保证Python的应用价值被充分挖掘出来,才能降低大数据的挖掘、分析成本,才能让获取的数据可视化。再者,Python能够促进2D图表、3D突变更为便利快捷的创作。只要在Python专属库基础上,完成最初简单的Python代码编写,可及时输出可视化结果,可辅助操作人员更快发现数据的实际应用按机制,才能优化相应工作,满足实践过程中挖掘、分析大数据的目的。
4 结语
综上所述,在大数据挖掘、分析工作中应用Python,可有效提高相关工作的效率与质量,具有显著的应用价值。
参考文献
[1] 肖乐.基于python 的Web 大数据采集和数据分析[J].电脑知识与技术,2018(22):9-11.
[2] 龚莎.基于Python 的可配置自动化爬虫系统的设计与实现[J].电脑迷,2018(10):203.
······下转第81页
Copyright©博看网 www.bookan. All Rights Reserved.
81
2020年第 9 期
Application Research of Python in Big Data Mining and Analysis
FANG Ji 1, XIE Hui-min 2
(1.Alicloud College of Big Data, Changzhou University, Changzhou Jiangsu 213015;
2.Department of Public Foundation, School of Information Science and Engineering, Changzhou University, Changzhou Jiangsu 213015)
Abstract:This paper discusses the brief introduction of data mining technology, analyzes the functions and characteristics of python, and studies the practical application of Python in big data mining and analysis.
Key words:python; big data; mining; analysis
Application of Internet of Things Technology in Aquaculture
YANG Yi-xia
(Gansu Industry Polytechnic College, Tianshui Gansu 741025)
Abstract:This paper discusses the application of Internet of things technology in aquaculture, analyzes the problems in the application of Internet of things technology in aquaculture, and puts forward suggestions for the development of internet of things technology in aquaculture.
Key words:aquaculture; internet of things technology; applied research
Research on Barcode Recognition Technology
LI Sheng-lin
(Guangdong Polytechnic Institute, Guangzhou Guangdong 510091)
Abstract:At present, the development speed of science and technology is increasing rapidly, its manifestation in automatic identification technology is also very obvious, and its work efficiency has also been steadily improved. Among them, bar codes are applied in many fields as a new technology. Therefore, it is necessary to study the coding, decoding and image processing technologies. The main problems that may be encountered at present are the bar code images. When collecting, the imaging results may be unsatisfactory due to the influence of the outside world. For this reason, subsequent processing needs to be performed to ensure the usability of the barcode in this way.
Key words:barcode; recognition technology; image processing; decoding
python大数据就业前景······上接第76页
······上接第78页
李盛林:关于条形码识别技术的研究
Copyright©博看网 www.bookan. All Rights Reserved.
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论