数据分析师⼈才需求的分析报告
⼀、背景
政治(Politics):⽬前全国有⼆⼗多各地区出台了⼤数据相关的政策,⽽且很多地区都设⽴了专门的⼤数据管理机构。
经济(Economy):据相关数据统计显⽰,中国⼤数据产业受宏观政策环境、技术进步与升级、数字应⽤普及等众多利好因素影
响,2018年整体规模达到4384.5亿元,较2017年同⽐增长24%,预计到2020年规模将达到6605.8亿元。
社会(Society):数据分析师⼏乎覆盖了所有的⾏业,从数据类公司、咨询公司到物流、传媒公司等,⽆⼀不渗透着数据分析的内容。在被视为“数据元年”的今天,数据分析师曾被Times时代杂志誉为“21世纪最热门五⼤新兴⾏业”,国内数据分析⾏业专业⼈才每年以千位数⾮速增长着,未来中国对数据分析师的需求更是呈井喷之势。
技术(Technology):⼀些已经较为成熟的数据分析处理技术,例如商业智能技术和数据挖掘技术,已经在多个⾏业领域⾥得到⼴泛和深⼊的应⽤。但对于像Hadoop、⾮结构化数据库、数据可视化⼯具以及
个性化推荐引擎这样的新技术,其较⾼的技术门槛和⾼昂的运营维护成本使得国内只有少数企业能够将其运⽤到深⼊分析⾏业数据中。
⼆、理解项⽬、提出问题
项⽬描述:对国内数据分析岗位的⼈才需求进⾏⼤致了解,分析招聘⽹站上和数据分析相关的职位信息,确定需要分析的指标,提出如下问题:
1. 哪些城市对数据分析师职位的需求量⽐较⼤,统计不同城市的职位数量;
2. 数据分析师总体薪资情况,以及不同城市的平均薪资对⽐;
3. 到数据分析师⼯作需要的⼯作年限、学历;
4. 哪些⾏业招聘数据分析师,统计不同⾏业的职位数量。
利⽤爬⾍技术从招聘⽹站上爬取数据,保存到Excel表格。
三、清洗数据
1.选择⼦集
countif函数求占比在Excel表格的所有字段中“标题链接”对分析问题的意义不⼤,可以选择隐藏。需要⽤的字段有职位名称、公司名称、⼯作地点、薪资、⼯作年限学历⼈数、⼯作职责、职能类别、关键字、公司性质、公司规模、⾏业。
2.⼀致化
(1)职位名称
职位名称字段的在数据集中的格式各异,该字段的数据项除了职位名称,还有很多多余的描述,例如职位ID、薪酬和待遇的描述、有关职责内容的相关标记,给数据⼀致性带来了很⼤不便。
总之考虑到以下原因,决定不从职位名称维度做分析:⼀各公司的职位名称以及职位ID本⾝就各不相同,基本上不可能做到⼀致;⼆职位名称包含的信息具有迷惑性,有可能职位名称和岗位职责并不相符,并不严格属于数据分析岗位;三该字段的补充描述的信息可以在其他字段,如薪资、职能类别、⼯作地点中到。
(2)⼯作地点
经观察,⼯作地点字段可以分隔成两部分,⼀部分是⼯作城市/省份,⼀部分是具体的城区,这部分有些是缺省的。
利⽤FIND、LEFT、RIGHT、MIND函数截取字符,城市/省份=IF(ISNUMBER(FIND("-",D2)),LEFT(D2,2),D2),城区
=IF(ISNUMBER(FIND("-",D2)),MID(D2,4,5),"")。
(3)薪资
薪资字段的标准化主要需要解决两⽅⾯的问题:⼀是单位不⼀致的问题,出现的单位有千/⽉、万/⽉、万/年、元/天;⼆是有⼀些数据项使⽤范围表⽰,⽆法参与运算。
为解决以上问题,⾸先把“以上”、“以下”的描述删除,获得⼀个确切的数字。
其次,将使⽤数值范围表⽰的薪资数据项,分为最低薪资、最⾼薪资,之后求平均得到平均薪资;若薪资数据项⽤确切的值表⽰,则认为最⾼薪资、最低薪资、平均薪资均是相等的。具体做法:
最低薪资=IF(ISNUMBER(FIND("-",G2)),LEFT(G2,FIND("-",G2)-1),""),
最⾼薪资=IF(ISNUMBER(FIND("-",G2)),MID(G2,FIND("-",G2)+1,FIND ( “/” , G2) -FIND ("-",G2)-2),""),
平均薪资=(最⾼薪资+最低薪资)/2
筛选出最低薪资字段为空⽩,薪资字段不是空⽩的记录,
最⾼薪资=最低薪资=平均薪资=MID(G5,1,FIND("/",G5)-2),
通过以上步骤将⽂本类型转化为数值类型之后,统⼀单位为千/⽉,最低薪资=IF(N2=“千/⽉”,H2,IF(N2=“万/⽉”,H210,IF(N2=“万/年”,H210/12,IF(N2=“元/天”,H2*30/1000,""))))。
(4)⼯作年限学历⼈数
从中提取出“学历”这⼀字段,=IF(ISNUMBER(FIND(“硕⼠”,O9)),“硕⼠”,IF(ISNUMBER(FIND(“本科”,O9)),“本
科”,IF(ISNUMBER(FIND(“⼤专”,O9)),“⼤专”,IF(ISNUMBER(FIND(“⾼中”,O9)),“⾼中”,IF(ISNUMBER(FIND(“博
⼠”,O9)),“博⼠”,IF(ISNUMBER(FIND(“中专”,O9)),“中专”,""))))))。
从中提取出“⼯作年限”这⼀字段,=IF(ISNUMBER(FIND(“经验”,O505)),MID(O505,FIND(“经验”,O505)-4,3),"")。但有⼀些数据项会出现问题,⼿动调整⼯作年限为“10年以上经验”。
3.删除重复值
“标题链接”字段具有唯⼀性,对该字段进⾏重复值识别,具体做法为突出显⽰单元格格式-重复值,再把填充颜⾊为深红⾊的单元格筛选出来,把重复值删除,⼀共删除⼗⼀条重复的数据。
4.异常值处理
在数据集中⼀些岗位和数据分析并没有关联,例如招聘银⾏客服专员、⾦融客服等,因此对数据进⾏筛选,筛选出职位名称、职能类别、关键字中含有“客服”、“催收”的数据,再根据职位描述进⾏判断和删除,删除重复值后保留5732条数据。
四、具体分析
本⽂分析主要运⽤数据透视表,以及可视化,回顾之前想要分析的问题:
1. 哪些城市对数据分析师职位的需求量⽐较⼤?
从地图上可知,数据分析岗位需求主要集中在⼴东、北京、上海等区域。
使⽤数据透析表,筛选出出现次数前10%的城市,定义为热门城市,包括北京、成都、⼴州、杭州、合肥、南京、上海、深圳、苏州、武汉、西安、重庆⼀共⼗⼆个城市。
下图可以看出⼀、⼆线城市是对数据分析⼈才需求旺盛的城市,尤其是四⼤⼀线城市——北上⼴深,数据分析岗位的职位数⽬远超其他城市。
2. 数据分析师在不同城市的平均薪资对⽐
(1)各个薪资阶段的占⽐
使⽤COUNTIF函数,分别计算不同薪资范围的职位数⽬
从下图可以看出数据分析岗位的薪资分布,6-10千/⽉和10-20千/⽉薪资的职位数量是最多的,说明整体看来数据分析属于较⾼薪的岗位,未来发展前景良好。其中不少职位的薪资处于20-50千/⽉,甚⾄50千/⽉以上,数据分析岗位有很多是⾯向⾼端⼈才进⾏招聘。也有不少职位的薪资处于0-4千/⽉,这些职位有⼀些是兼职、实习岗位,有⼀些从事的是数据录⼊、数据对⽐等简单的⽂职⼯作。
(2)热门城市的平均薪资
计算⼗⼆个热门城市的平均薪资,从下图可以看出,数据分析岗位平均薪资最⾼的城市为北京,其次为上海、深圳。
整体来看最⾼平均薪资和次⾼的平均薪资相差较远,提出假设:北京⾼端数据分析师⽐例较⼤,因此拉⾼了平均值。
统计⼗⼆个热门城市各个薪资⽔平的职位数⽬:
上图可以看出,在北京薪资为20~50千/⽉的数据分析岗位的占⽐,明显⽐上海、深圳这⼀薪资的占⽐要⾼。⽽且,可以明显看出,排名靠前的城市⾼薪职位的占⽐⽐排名靠后城市的要⾼,且越往后占⽐逐渐呈下降趋势;排名靠后的城市低薪职位的占⽐⽐排名靠前城市的要⾼,且越往后占⽐逐渐呈下降趋势。
(3)薪资和公司规模的关系
总体看来,随着公司规模的增⼤,平均薪资逐步升⾼。公司规模10000以上的企业数据分析职位的薪资明显⾼于其他规模的公司。
3. 哪些⾏业招聘数据分析师?
(1)统计不同⾏业的职位数量
统计各个⾏业的职位数⽬,筛选出职位数⽬最多的前15个⾏业,如下图所⽰。图中可知,互联⽹/电⼦商务⾏业对数据分析岗位⼈才的需求量远超其他⾏业,计算机软件、⾦融/投资/证券⾏业对数据分析⼈才的需求量也很⼤。
(2)哪些⾏业平均薪资会⽐较⾼
计算各个⾏业的平均薪资并排序,平均薪资最⾼的前10类⾏业如下图,其中计算机硬件⾏业的数据分析岗位平均薪资最⾼,其次为餐饮业、⽯油/化⼯/矿产/低质、银⾏。
4. 到数据分析师⼯作需要⼯作年限、学历、技能?
(1)数据分析岗位的⼯作年限要求
从上⾯饼图可以看出,0-4年⼯作经验的需求占绝⼤多数,数据分析岗位对应届⽣/在校⽣的需求占⽐为16%。
(2)哪些⾏业对职位分析岗位的⼯作年限要求⽐较⾼?
由于⾏业的种类达60类之多,可以选择出现次数最多的前10个⾏业,统计各个⼯作年限的占⽐。图中可以看出计算机服务、互联⽹/电⼦商务、计算机软件、通信/电信/⽹络设备⾏业需要较长时间的⼯作经验;制药/⽣物⼯程、⾦融/投资/证券⾏业相对来说所要求的⼯作经验较短。
(3)数据分析岗位的学历要求
图中可以看出学历要求的分布情况,本科学历占⽐最多,达到66%;⾼中、博⼠、中专学历的占⽐很少,说明绝⼤多数的数据分析岗位本科、⼤专学历即可担任。
(4)哪些⾏业对职位分析岗位的学历要求⽐较⾼?
同样对出现次数最多的前15个⾏业,统计不同学历的占⽐。图中可以看出,制药/⽣物⼯程、教育/培训/院校、专业咨询⾏业对数据分析⼈才的学历要求相对较⾼,批发/零售、服装/纺织/⽪⾰⾏业对数据分析⼈才的学历要求相对较低。
(5)数据分析岗位需要哪些技能对职能类别字段做词云分析,得出下图的词云,数据分析岗位要求熟练使⽤excel等分析⼯具和sql等数据库语⾔;熟悉业务,具有良好的沟通能⼒、团队合作能⼒;本科以上学历,具有⼀定的⼯作经验。
五、总结
⼀线城市对数据分析⼈才需求最为旺盛,薪资⽔平也更⾼,这是因为⼀线城市中⾼薪职位的占⽐很⾼。
数据分析岗位薪资⼤多集中在6-20千/⽉的区间范围之内,且更⼤规模的企业趋向于提供更⾼的薪资。
互联⽹/电⼦商务、计算机软件、⾦融/投资/证券⾏业对数据分析岗位需求巨⼤,计算机硬件⾏业的数据分析岗位平均薪资最⾼,另外⼀些传统⾏业,如餐饮业、⽯油/化⼯/矿产/地质、银⾏等⾏业的数据分析岗位薪资⽔平相对更⾼。
数据分析岗位⼤多需要0-4年的⼯作经验,以及⼤专、本科以上学历。计算机服务、互联⽹/电⼦商务、计算机软件、通信/电信/⽹络设备等⾏业需要较长时间的⼯作经验;制药/⽣物⼯程⾏业对⼯作经验的要求较宽松,但对学历要求很⾼。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论