八爪鱼数据抓取器教程,八爪鱼数据抓取详细教程

  

  2020年是艰难的一年,让我转行做数据分析的人也多了起来。为了帮助大家更好的了解数据分析岗位的要求,薪资待遇,发展问题,特意用八爪鱼捕捉到了无忧未来的数据分析岗位。   

  

     

  

  抓取的数据包括多个维度,即城市、职位名称、公司名称、公司规模、公司类型、经验要求、学历要求、语言要求、专业要求、福利和行业。   

  

  数据清洗的第一步是数据清洗,因为是关键词抓取,所以任何与数据分析相关的东西都会被抓取。但是很多工作并不是数据分析,只是因为工作中需要数据分析,所以要先清理爬取的数据。   

  

  选择包括数据分析、分析师和数据操作在内的职位,然后删除重复的职位,只保留唯一的数据。   

  

  至于工资,因为对实习生有工资要求,比如200元/天,所以实习生的工资都被筛选出来删除了。   

  

     

  

  数据标准化主要是对薪酬和所属行业进行标准化:薪酬有年薪和月薪两种,最低1500。在这个统计中,工资中最高值和最低值的平均值作为计算数据,但是当只有一个值时,最高值和最低值都是这个值。   

  

  同时也有需要标准化的行业。行业抓取的结果用“,”分隔,所以先分类,再单独定义维度。   

  

  1、城市分布分析数据分析   

  

     

  

  除了大家熟知的北上广,从图中可以看出,沿海城市对数据分析岗位的需求比较大。大数据是近年来的热门话题,数据分析岗也因此受到重视。但这种体现在沿海城市比较明显,也体现了沿海城市经济发展的先进。   

  

  捕捉数据的时间是2月底,也就是春节假期结束,公司开始招聘新的一年,所以这个时候需求高。这也是春招的开始。有些公司以春招为主,不会在招聘软件上发布。所以实际需求远大于这个数据。   

  

  2、城市平均工资分析   

  

     

  

  看看排行榜的前几名。北京深圳等一线城市排在前面,平均工资优越。宜昌和抚顺更出乎意料。查资料发现,宜昌和抚顺都只有一个岗位需求,使得平均工资很高。所以看城市平均工资不能只看最终结果,还要看岗位基数。岗位数量少,代表不了这个城市的平均水平。   

  

  3、公司规模分析   

  

     

  

  表中数据按平均工资排序。可见,平均工资越大,公司工资越高。有些数据没有捕捉到公司的规模。公司越大,数据分析这个岗位的职责越明确,要求的技能越专业,工资也越高。   

  

  至于需求,发现越大的公司,需求越高,但是处于发展阶段的公司。数据分析的岗位会更加迫切,数据分析对公司的发展方向和规划有着重要的作用。   

  

  4、学历分析   

  

     

  

  数据分析岗位的学历要求一般是大专和本科,硕士很少。对于硕士和博士来说,很多都是更高级的数据分析,更倾向于数据挖掘和算法工程师。对低学历要求较少。   

  

  而且通过对经验需求的数据分析发现,高中、中专等低学历的需求也相对较低。通常没有经验要求,也没有1-2年的经验,他们做的都是一些基础工作,或者说是“表格”“表亲”。   

  

  而且要求的经验越高,会要求本科和专科的基本学历,不会向上要求学历,因为以后经验会更重要。对学历要求低,经验要求高的少。   

  

  数据不一定很准确,但从图中还是可以看出,学历越高,工资越高。这里只有博士学历、初中及以下一个岗位要求,所以平均值比较单一,不能代表这两个学历的高低。   

  

     

  

  对于没有经验要求的数据分析岗位,要看你的实力,只能看学历,所以学历越高工资越高。越有经验,越看重自己的经验。   

  

  5、经验要求分析   

  

  

正处于校招阶段,所以相对无工作阶段的要求比较高。招聘需求随着经验的增多而减少,可能是因为现在很多的数据分析岗位,只需要简单的分析一下,就是所谓的“表哥表姐”,不需要丰富的经验,而有经验的数据分析师,很难求。

  

除去抓取数据时的一些小误差,大体可以看出,经验越高,工资越高。

  

6、公司类型分析

  

  

发现民营的需求最多,其次就是上市公司、国企和合资企业。

  

  

事业单位最高,是因为岗位需求不多,一两个岗位拉高了整体的水平,不能断定事业单位的工资高。在相对比较高的就是国企、上市公司和创业公司了。民营公司的需求比较高,但是相对平均工资却比较低。

  

所以,选公司可以选择一些国企和上市公司,岗位需求比较多,工资也比较高。其次就是创业公司和外资(非欧美)。

  

7、专业和语言分析

  

  

  

对于语言的要求,有要求英语的,有要求日语的,还有普通话的,而对于要求英语的公司中,民营和外资企业占比重比较多,所以如果英语比较好的,可以去民营和外资公司,而前边结论显示民营企业的平均工资不算高,所以,考虑外资公司比较好。

  

8、所属行业分析

  

  

招聘数据分析相关的行业如图,互联网、电子商务、计算机软件、零售等现在比较火的行业对数据分析的需求是最多的,岗位是应时代的要求而火起来的,所以,选行业的时候,可以根据现在比较火的行业下手,有发展,而且现在是互联网的时代,传统行业在慢慢的淘汰和转型,所以,可以选择互联网相关的行业。

  

9、行业平均工资分析

  

  

如图,蓝色柱状图为所属行业的招聘岗位比较多的公司的数量,而红色的为平均工资。上面的图中,比较多的需求的行业的工资却不是很高,由下面的图可以看出行业的平均工资,银行和公共市场远高于其他行业,是因为岗位需求不多,个别的工资带高了整个行业。

  

在BI中,通过交互,可以看出,计算机、互联网、电子商务、金融、通信等行业的工资处于中上等,而且需求也比较高,可以考虑这些行业。

  

10、专业要求分析

  

  

如图,专业要求几乎跟数学、统计学和计算机有关,剩下的就是和公司岗位所处理的业务有关。通过学历作为筛选器,发现学历越是高,对专业有要求的公司所占的比例越高。但是随着经验的增加,对专业的要求的公司在慢慢的变少。

  

看到这里可能如果你对于数据分析行业还是很迷茫,不要紧,可以看我关于数据分析职业规划解析的直播回放,收藏转发本文,后台私信回复“直播”即可观看

  

相关文章