八爪鱼采集器采集完怎么导出,八爪鱼采集的文章如何导出

  

  在一个工作交流群里,一个朋友说想转行做数据分析师,然后很多人开始讨论,半路出家能找到工作吗?做一名数据分析师需要哪些知识和技能?   

  

  今天就来说说商业数据分析师的七类岗位,以及基本功。要了解数据分析业务,进入容易,掌握难。必须有工具。   

  

     

  

  一、商业数据分析的7类岗位   

  

  1.商业统计学家   

  

  了解企业数据,发现业务问题,开发预测模型,帮助企业做出更好的信息决策。   

  

  2.数据挖掘人员   

  

  发现和积累知识,需要熟悉各种数据挖掘算法,可以进行深度的客户识别和画像,满足营销、风控和客户关系管理的需求。   

  

  3.大数据分析师   

  

  处理海量异构数据,用其他工具收集、存储和清理数据。同时配合数据挖掘者、报表制作者、业务统计分析师完成工作。   

  

  4.业务支持   

  

  创建业务报告或进行业务分析。   

  

  5.报告制作者   

  

  编写SQL程序来查询和生成报告。   

  

  6.数据管理人员   

  

  为需要的人提供便捷的数据访问服务。   

  

  7.数据架构师   

  

  处理、模型开发和数据质量管理设计所需的架构和方法;平台人员:负责企业管理平台的安装、配置、管理和维护。   

  

     

  

  什么是数据分析?   

  

  数据分析是基于商业目的,对数据进行收集、整理、加工和分析,提炼有价值的信息并指导实践的过程。数据分析的三大功能是状态分析、原因分析和预测分析。该过程主要包括六个阶段:确定分析的目的和框架、数据收集、数据处理、数据分析、数据展示和报告撰写。   

  

  1、明确分析目的和框架。   

  

  一个分析项目,它的数据对象是谁?商业目的是什么?你想解决什么业务问题?数据分析师要清楚这些,然后整理分析框架和分析思路。   

  

  比如减少新客户流失,优化活动效果,提高客户回复率等。每个项目都有不同的数据要求和不同的分析方法。(本文第三部分将详细介绍四种常见的分析框架。)   

  

  2.数据收集   

  

  数据收集是数据分析的基础。根据确定的分析框架,有目的地收集和整合相关数据。   

  

  3.数据处理   

  

  数据处理是指对收集的数据进行处理和分类。是数据分析前必不可少的阶段,也是整个数据分析过程中花费时间最多的阶段。耗时的程度取决于整个项目对数据仓库和数据质量的要求。   

  

  数据处理的常用方法有:数据清洗、数据转换等。   

  

  4.数据分析   

  

  在定义了分析的目的和框架,收集和处理了数据之后,我们就可以开始分析数据了。我们需要通过特定的手段、各种方法和行业技巧对数据进行挖掘,发现因果关系、内容联系和商业规律等。从而为商业目的提供参考。   

  

  在这个阶段,如果你想能够控制数据并进行分析工作,你需要使用工具和方法。   

  

  在分析方法上,最基本的是要知道方差、回归、因子、聚类、分类、时间序列等概念,以及它们的原理、适用范围、优缺点;在分析工具方面,数据分析师一般偏好Excel,使用一个专业的分析软件,比如数据分析工具SPSS/SAS/Matlab,方便一些专业的统计分析和数据建模。   

  

  5.数据显示   

  

  俗话说,文字不如表格,表格不如图片。借助数据呈现手段,数据分析师可以更直观地表达自己想要呈现的信息、观点和建议。一般来说,数据分析的结果是以图表的形式呈现的。   

  

  常用的图表有饼图、折线图、柱形图/条形图、散点图、雷达图、金字塔图、矩阵图、漏斗图、排列图等。   

  

  6.写报告   

  

  最后一个阶段是写数据分析报告,这是整个数据分析结果的呈现。通过分析报告,完整呈现数据分析的目的、过程、结果和方案,为商业目的提供参考。   

  

  Tips:一份好的数据分析报告,首先需要一个好的分析框架,并且图文并茂,层次清晰,能让读者一目了然。结构清晰,重点明确,能使读者正确理解报告内容;插图可以使数据更加生动,提高视觉冲击力,帮助读者更加形象直观地看到问题和结论,从而产生思考。   

  

  另外,数据分析报告需要有明确的结论、建议和解决方案,不仅要找出问题所在,而且后者更重要。否则不能称之为好的分析,也失去了报告的意义。数据的初衷是为了商业目的去分析,不能舍本求末。   

  

     

  

  三、4种常用分析框架   

  

  从管理和商业的角度   

角度提出的分析框架,指导着后期数据分析工作的开展。

  

营销方面的理论模型有:4P、用户使用行为、STP理论、SWOT等。

  

管理方面的理论模型有:PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等。

  

本文主要说明:5W2H、逻辑树、4P、用户使用行为这4个比较实用的理论。

  

1、5W2H

  

定义:何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何做(How)、何价(How much)

  

适用范围:用户行为分析、业务问题专题分析、营销活动等。

  

优点:广泛应用于企业营销、管理活动,对于决策和执行性的活动措施非常有帮助,也有助于弥补考虑问题的疏漏。

  

2、逻辑树

  

定义:逻辑树,又称问题树、演绎树或分解树等。它将问题的所有子问题分层罗列,从最高层开始,并逐步向下扩展。

  

适用范围:业务问题专题分析

  

优点:逻辑树的作用主要是帮你理清自己的思路,避免进行重复、无关的思考。逻辑树能保证解决问题的过程的完整性,能将工作细分为便于操作的任务,确定各部分的优先顺序,明确地把责任落实到个人。

  

缺点:涉及的相关问题可能有遗漏,虽然可以用头脑风暴把涉及的问题总结归纳出来,但还是难以避免存在考虑不周全的地方。所以在使用逻辑树的时候,尽量把涉及的问题或要素考虑周全。

  

使用逻辑树必须遵循以下3个原则:

  

要素化:把相同问题总结归纳成要素。

  

框架化:将各个要素组织成框架,遵守不重不漏的原则。

  

关联化:框架内的各要素保持必要的相互关系,简单而不孤立。

  

3、4P

  

定义:4P,即产品(Product)、价格(Price)、渠道(Place)、促销(Promotion)

  

适用范围:主要用于公司整体经营情况分析。

  

4、用户使用行为

  

用户使用行为,即用户为获取、使用物品或服务所采取的各种行为。

  

用户使用行为的完整过程

  

通常情况下,用户对产品首先需要有一个认知、熟悉的过程,然后试用,再决定是否继续消费使用,最后成为忠诚用户。在这个锅层中,我们可以利用用户使用行为理论,梳理产品分析的各关键指标之间的逻辑关系,构建符合公司实际业务的产品分析指标体系。

  

它的缺点是用途较为单一,就是用于用户行为的研究分析。

  

数据分析师的发展前景普遍如何?本文,我们收集了目前国内主流招聘网站的一些相关数据,通过可视化的方式来看看这一岗位的现状。

  

分析目的

  

基于招聘网站的相关数据,通过可视化分析,探究以下问题:

  

哪些行业对数据分析师需求量最大?

  

招聘企业普遍处于哪个阶段(融资情况,上市情况)?

  

数据分析岗位学历要求?

  

数据分析岗位工作经验要求?

  

数据分析岗位薪水情况?

  

数据整理

  

我们随机采集了目前较为主流的几个招聘网站有关“数据分析”岗位的数据,包括拉勾网、智联招聘、猎聘网以及BOSS直聘。

  

采集字段为:职位、公司、薪水、经验要求、学历要求、所属行业、企业融资情况

  

分析工具

  

首先使用八爪鱼数据采集工具(免费版,可从官网http://www.bazhuayu.com下载),添加搜索网址,并选择我们所需的字段,开始采集。对于新手来说,八爪鱼数据采集工具是不错的选择,可以没有任何代码基础,也不需要写正则等采集规则(火车采集器会复杂一点,需要写正则)。

  

然后我们将采集到的数据导出,导出格式为Excel,由于各招聘网站字段有出入,需要使用Excel工具进行简单的整理。

  

数据分析工具我们使用DataHunter数据可视化分析平台Data Analytics,同样也是因为Data Analytics相比于Excel等产品更为简单易用,拖拽式的操作即可完成分析过程。对于个人用户,Data Analytics完全免费,可通过在官网(http://www.datahunter.cn)注册即可使用。

  

  

分析结果

  

这里并未把所有行业都显示出来,只选择了占比较高的一些。数据结果显示,金融行业、数据服务、游戏这三个行业对数据分析师的需求更为强烈,医疗、信息安全、生活服务、社交等行业也在招聘数据分析相关岗位。其它行业还包括了计算机硬件、广告营销、文化娱乐等。

  

与数据分析相关的岗位占比,可以看到,绝大部分企业在招聘数据分析师,其它岗位还包括数据分析工程师、数据分析经理、数据分析专家以及数据分析实习生,尽管都是与数据打交道,但不同岗位对技能的要求还是有一些区别的。

  

薪水方面,我们也只是显示了占比较多的薪水区间。可以看出,数据分析岗位的薪水普遍在10K-20K的区间,10K以下的岗位也有一定的占比,当然,从整体数据来看,数据分析岗位的薪水跨度区间还是很大的,实习生工资最低只有3K左右,而最高薪可以达到80K-100K。

  

我们可以看到,绝大部分岗位都需要有一定的工作经验,其中,3-5年占比最多,其次是1-3年。当然,还有部分企业要求有5-10年的工作经验。而学历方面,本科占比最多,有部分要求较高的职位,还要求具备博士、硕士学历。

  

在所有招聘数据分析相关岗位的企业中,可以看到不少互联网巨头对于数据分析师都有强烈的需求,提供的岗位也比较多,其中包括了京东、美团、饿了么、近日头条、58同城、搜狐、联想等。另外,可以看到,大部分企业均已拿到融资或上市,也有部分企业还处于未获得融资状态或不需要融资。

  

  

  

相关文章