#校园V计划# 　　

　　爬行动物科普入门 　　

　　我们为什么需要爬行动物？ 　　

　　大数据时代，数据才是真正的宝藏。智慧医疗、无人驾驶、零售电商、智慧城市等与“智慧”或“人工智能”挂钩的事物，都离不开大数据的支撑。当你要做研究报告或者学术研究的时候，你肯定会先想好。数据从哪里来？ 　　

　　以往的数据往往是从人工问卷、专家访谈、公共数据库中找到的，可能会出现问卷数据不真实不完整、数据处理过程复杂、专家访谈量小、公共数据库数据与自己的研究调查方向匹配性差等问题。现在只要有爬虫，就能轻松获得获取数据的快乐。 　　

　　爬行动物有多受欢迎？ 　　

　　通过百度指数“爬虫”的搜索趋势可以看出，2015年以后，爬虫的热度趋于线性增长，热度至今没有消退。 　　

　　爬行动物索引 　　

　　对比“爬虫”和“问卷调查”可以看出，“问卷调查”的需求相对稳定，从2016年开始“爬虫”的需求逐渐超过“问卷调查”。做研究的时候可以选择一个获取数据，也可以两者互补。 　　

　　爬虫与问卷索引比较 　　

　　看地域分布，爬行动物热也在广东、北京、江苏、浙江、上海等经济活力较高的地区居高不下。尤其是因为互联网和人工智能的发展，各行各业对数据的需求异常强烈，更何况大数据在经济发达地区可以极大地促进当地经济的发展。 　　

　　地区需求 　　

　　什么是爬行动物？ 　　

　　爬虫又称web spider，可以想象一个网页上附着了很多相关的链接，然后互联网地址相互连接形成一个大网，蜘蛛在这个大网上爬行，最后得到所有的网页链接和相关信息。 　　

　　如果想得到实际数据来分析今日头条高阅读量、高评论量文章的特点，首先要得到这些文章的数据，比如标题、作者、头条号是否黄色、发布时间、阅读量、评论量、赞量等等。这时候你可以使用爬虫获取数据，但是要记得遵守“爬虫协议”(就是网站和爬虫之间的协议，放在web服务器上，告诉网络蜘蛛哪些页面可以获取，哪些页面不可以获取)，限制你的爬虫行为，不给目标网站造成麻烦，不要游走在法律的边缘去试探。 　　

　　图片来自钟涛官网 　　

　　怎么爬？ 　　

　　目前爬行的方式有很多种。第一，利用现有的工具，比如soking、Octopus等网页收集器，有免费版和付费版。根据自己的需求选择；二是自编码，可以按照发送网页请求、网页解析、获取并返回网页数据、将数据存储在本地的流程进行编程。目前流行的编程语言是Python，常用的爬虫框架是Scrapy。相比之下，前者教程简单，操作界面直观，有利于新手和小白入门；后者需要一点时间去学习，但是自由度更高。 　　

　　爬虫框架 　　

　　当你学会使用爬虫获取你想要的合法数据，你就能从中获得快乐！