２０２０年１０月１０日第４卷第１９期
现代信息科技
Modern Information Technology
Oct.2020 Vol.4 No.19
收稿日期：2020-08-26
基金项目：重庆市教育教学改革项目（1820 96）
依托阿里云数加的网络招聘大数据分析系统
黄小冬
（重庆工商职业学院，重庆  401520）
摘  要：网络招聘已成为市场招聘的主流方式，网络招聘的岗位数据可以反映市场对人才的真实需求。为培养社会需要的人才，高校普遍对网络招聘的大数据分析需求强烈，但往往受到技术条件与成本的困扰。云计算的普惠发展，为高校的岗位招聘需求大数据分析提供了便利。文章通过对网络招聘大数据分
析系统进行需求分析，依托阿里云数加，设计并实现了网络招聘大数据分析系统，助力高校人才培养内容优化。
关键词：阿里云数加；网络招聘；大数据分析中图分类号：TP311
文献标识码：A
文章编号：2096-4706（2020）19-0014-04
python 爬虫教学
Ｂｉｇ　Ｄａｔａ　Ａｎａｌｙｓｉｓ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｏｎｌｉｎｅ　Ｒｅｃｒｕｉｔｍｅｎｔ　Ｂａｓｅｄ　ｏｎ　Ａｌｉｂａｂａ　Ｃｌｏｕｄ　Ｄａｔａ　Ｐｌｕｓ
HUANG Xiaodong
（Chongqing Technology and Business Institute ，Chongqing  401520，China ）
Abstract ：Online recruitment has become the mainstream way of market recruitment ，and the job data of online recruitment can
reflect the real demand for talents in the market. In order to cultivate talents needed by society ，colleges and universities generally have
a strong demand for big data analysis of online recruitment ，but they are often troubled by technical conditions and costs. The inclusive development of cloud computing has facilitated big data analysis of jo
b recruitment needs in universities. Based on the demand analysis of the online recruitment big data analysis system ，and relying on Alibaba cloud data plus ，the article designs and implements the online recruitment big data analysis system to help optimize the content of talent training in universities.
Keywords ：Alibaba cloud data plus ；online recruitment ；big data analysis
0  引  言
大数据在化解大学生就业困难具有重要作用[1]。高校应对照岗位职业素质要求，构建学生综合素质培养体系，才能提升学生的职业综合素质[2]。对高校教学工作者而言，其对网络招聘文本数据的分析需求是强烈的。但是网络招聘数据体量巨大，且处于不断更新中。数据的获取需要实现自动化、周期性执行，需要流式的大数据分析技术支持。云计算发展带来的普惠性，较好地弥补了高职院校的大数据分析底层技术支持不足，依托云计算数据分析产品进行网络招聘数据的分析成为可能。本文基于作者主持的“依托阿里云DataWorks 的大数据分析技术在高职实训教学质量监控中的应用研究及实践”（重
庆市教育教学改革项目）项目研究，设计并实现了依托阿里云数加的网络招聘大数据分析系统。
阿里云大数据平台简称数加，是阿里云计算的普惠大数据产品，旗下包含一系列的大数据产品及服务，极大地方便了教学研究人员，在大数据时代快速拥有企业级大数据分析条件[3]。阿里云数加平台数据开发套件包括：
（1）大数据开发：集成可视化开发环境，可实现数据
开发、调度、部署、运维，及数据仓库设计、数据质量管理等功能；
（2）报表工具：海量数据的实时在线分析、丰富的可视化效果，所见即所得；
（3）机器学习工具：集数据处理、特征工程、建模、离线预测为一体的机器学习平台，提供算法汇集，可视化编辑。
1  网络招聘大数据分析系统需求分析
网络招聘大数据分析系统的功能需求主要包括网络招聘大数据自动化获取需求、网络招聘大数据的分析需求、网络招聘大数据分析结果的展示需求。
1.1  网络招聘大数据自动化获取需求
网络招聘大数据从主流互联网招聘网站获得。为了使数据反映市场真实情况，数据应尽可能全面详尽，但互联网招聘网站的信息往往存在过期机制，即一段时间后该招聘信息可能不再存在。这也就意味着一次性的获取历史招聘数据是不可行的，网络招聘数据获取需要持续进行，必须依靠爬取程序自动化周期性进行。
因此，需要一个统一的招聘数据结构模式，统一不同数据来源的招聘数据。同时，需要实现一个容错机制好、可持续运行的爬虫。此外，在保证低频次爬取数据的同时，也需要准备一个代理IP 池，保证数据爬取效率。原始数据获取后，进行简单加工即可提供给大数据分析平台进行分析。
DOI:10.19850/jki.2096-4706.2020.19.003
容器服务
DataWorks
MaxCompute 机器学习mongoDB
python
1  总体设计
数据采集设计
为了方便异常日志查询与服务的快速重建加工完成拆分MaxCompute 薪酬范围统计
图4  岗位招聘数薪酬走势图
第19期岗位的关键技能点提取效果亦达到预期。以Java岗位为例，实现效果如表3所示。
序号Zhipin_jobid Zhipin_jobcategory core_req weight
1100101Java计算机相关专业312.00000000000005 2100101Java喜欢钻研309.39999999999999 3100101Java责任心强284.25000000123123 4100101Java学习能力强269.99999999999998 5100101Java Hibernate247.95858585885858 6100101Java本科及以上学历206.64285714285728 7100101Java会使用Linux操作系统188.12820512820512 8100101Java具有较强的系统分析能力180.28571428571408 9100101Java熟悉JavaSE179.84999999999997 10100101Java Java基础知识扎实176.00000000000003 11100101Java熟练使用MySQL和Oracle172.31618069933296 12100101Java注重团队合作162.52063492063505 13100101Java熟悉常用设计模式157.54838709677412 14100101Java Spring156.42857142757412 15100101Java并会SQL性能调优156.19785575048721 16100101Java对业界技术敏感154.28571428571433 17100101Java对分布式结构和微服务熟悉153.59133126934987
表3  岗位关键技能点
4  结论
本文通过对网络招聘大数据系统的自动化获取、分析、展示的需求进行分析，依托阿里云数加进行了总体设计，数据加工与分析设计以及数据展现设计，实现了月度岗位招聘的发布数与薪酬范围趋势的直观展示以及岗位关键需求的获取，在此基础上通过添加更多的关键词过滤后可直接为高校技术技能人才的培养内容提供参考。
参考文献：
[1] 陈钧.大数据时代条件下大学生就业促进论析 [J].继续教育研究，2017（5）：98-100.
[2] 赵建，程丹.高职人才培养与企业需求匹配度研究——基于珠江三角区域的实证分析[J].教育评论，2015（12）：103-106.
[3] 阿里云.飞天大数据平台 [EB/OL].（2020-05-07） www.aliyun/product/bigdata/apsarabigdata.
[4] 陈敬静，马明栋，王得玉.MongoDB负载均衡算法优化研究 [J].计算机技术与发展，2020，30（3）：88-92.
作者简介：黄小冬（1986—），男，汉族，江西赣州人，讲师，硕士研究生，研究方向：教育学、教育信息化。
[6] 马飒飒，陈自力，李冰.无人机飞控软件测试技术研究 [J].无线电工程，2004（10）：32-34+54.
[7] 徐小杰，陈盛德，周志艳，等.植保无人机主要性能指标测评方法的分析与思考 [J].农机化研究，2018，40（12）：1-10.
[8] 吕晓林，朱文来.无人机可靠性评估方法研究 [J].宇航计测技术，2012，32（6）：77-79.
[9] 刘宇清.小型无人机综合性能测试台的设计与优化[D].西安：西安建筑科技大学，2009.
[10] 储久良.Web前端开发技术课程教学改革与实践[J].计算机教育，2014（14）：12-15.
作者简介：徐小杰（1992—），女，汉族，湖北黄冈人，助教，硕士，研究方向：无人机性能测试；余松威（1995—），男，汉族，广东广州人，学士学位，研究方向：无人机性能评测系统研发。
（上接13页）
黄小冬：依托阿里云数加的网络招聘大数据分析系统

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。