大数据在规划行业被炒的热火朝天，但是大多数人还是处于不知所以然的程度，应用于日常和工作更是遥遥无期。
关键的大数据被互联网巨头、手机运营商、政府机构所垄断，获取难之又难。
再看网上免费的数据接口，比如聚合数据，阿里数据，大部分都是收费的，想用于非商业的研究用途，大部分人还是用不起的。
所以，想要获取有质量并且还要保证数量的数据就要靠我们自己了。
当然如果编程能力强的话可以自己写程序来爬取，我这里就偷个懒，直接用人家写好的了。。。
这里我使用的是火车采集器的免费版，我以爬取大众点评的数据为例。
下面是我爬取到的一些数据
大数据在规划行业被炒的热火朝天，但是大多数人还是处于不知所以然的程度，应用于日常和工作更是遥遥无期。
关键的大数据被互联网巨头、手机运营商、政府机构所垄断，获取难之又难。
再看网上免费的数据接口，比如聚合数据，阿里数据，大部分都是收费的，想用于非商业的研究用途，大部分人还是用不起的。
所以，想要获取有质量并且还要保证数量的数据就要靠我们自己了。
当然如果编程能力强的话可以自己写程序来爬取，我这里就偷个懒，直接用人家写好的了。。。
这里我使用的是火车采集器的免费版，我以爬取大众点评的数据为例。
下面是我爬取到的一些数据
展开全文
一、网站分析
首先我们要分析大众点评的URL
首页 ：http://www.dianping.com/
选择邯郸： http://www.dianping.com/handan
点击美食：http://www.dianping.com/handan/food
选择任意商业区：http://www.dianping.com/search/category/27/10/r12577
选择一个商户：http://www.dianping.com/shop/22057739
我们发现这些URL都是非常有规律的，这些规律将帮助我们爬取数据！
我们再来审查任意页面的源码
首先我们要分析大众点评的URL
首页 ：http://www.dianping.com/
选择邯郸： http://www.dianping.com/handan
点击美食：http://www.dianping.com/handan/food
选择任意商业区：http://www.dianping.com/search/category/27/10/r12577
选择一个商户：http://www.dianping.com/shop/22057739
我们发现这些URL都是非常有规律的，这些规律将帮助我们爬取数据！
我们再来审查任意页面的源码
我们观察每个部分的分布位置，会缩小我们的爬取范围，加快爬取速度。
二、网址采集
打开火车采集器软件。
新建任务。
我们观察每个部分的分布位置，会缩小我们的爬取范围，加快爬取速度。
打开火车采集器软件。
新建任务。
我们发现第一步就是设置网址采集规则，这是很重要的一步，这将会关系到我们采集到数据的数量。
我们发现我们爬取的数据都在商户详情页面：
我们发现第一步就是设置网址采集规则，这是很重要的一步，这将会关系到我们采集到数据的数量。
我们发现我们爬取的数据都在商户详情页面：
所以，我们要想办法到达这个页面！
这里我选择分商业区进行爬取（这样可以细化数据，还可以根据行政区，商户类型，甚至不选择条件进爬取）
我们选择一个商业区作为起始爬取地址。
所以，我们要想办法到达这个页面！
这里我选择分商业区进行爬取（这样可以细化数据，还可以根据行政区，商户类型，甚至不选择条件进爬取）
我们选择一个商业区作为起始爬取地址。
我们会发现，这个页面上有15个商户！
我们会发现，这个页面上有15个商户！
每个商户会对应一个连接，如果我们是选择单一连接，我们只会爬取到15条数据，所以我们要想办法解决分页的问题。
我们观察第二页，第三页的连接：
http://www.dianping.com/search/category/27/10/r12593p2
http://www.dianping.com/search/category/27/10/r12593p3
很明显，前面的 http://www.dianping.com/search/category/27/10/r12593p 是唯一不变的，而后面的页码是在变化的。
点击 向导添加 >> 批量网址
每个商户会对应一个连接，如果我们是选择单一连接，我们只会爬取到15条数据，所以我们要想办法解决分页的问题。
我们观察第二页，第三页的连接：
http://www.dianping.com/search/category/27/10/r12593p2
http://www.dianping.com/search/category/27/10/r12593p3
很明显，前面的 http://www.dianping.com/search/category/27/10/r12593p 是唯一不变的，而后面的页码是在变化的。
点击 向导添加 >> 批量网址
将页码设置成地址参数，选择从2开始，每次递增1次，共14项。
我们在下面的阅览就能看到我们想看到的链接。
点击网址采集测试，就会得到以下的结果：
将页码设置成地址参数，选择从2开始，每次递增1次，共14项。
我们在下面的阅览就能看到我们想看到的链接。
点击网址采集测试，就会得到以下的结果：
我们采集了15个页面，每页采集到了15条数据。这就是我们所想要的！
三、内容采集
第二部我们要设置内容采集规则。
这里我们要采集的数据是：经度，纬度，商户名称，位置信息，口味，环境，服务，点评数量，人均消费。分别进行设置。
我们首先观察每个部分在源码中的特征，然后填入开头字符串，结尾字符串即可。
注意我们最好要保证开头字符串是唯一的，否则将选取第一个进行截取。
我们先看这一段ＪＳ包括了大部分的数据。
我们采集了15个页面，每页采集到了15条数据。这就是我们所想要的！
第二部我们要设置内容采集规则。
这里我们要采集的数据是：经度，纬度，商户名称，位置信息，口味，环境，服务，点评数量，人均消费。分别进行设置。
我们首先观察每个部分在源码中的特征，然后填入开头字符串，结尾字符串即可。
注意我们最好要保证开头字符串是唯一的，否则将选取第一个进行截取。
我们先看这一段ＪＳ包括了大部分的数据。
经度
经度
商户名称
商户名称
位置信息
位置信息
再来看下面几处比较有特点的源码
再来看下面几处比较有特点的源码
口味
口味
点评数量
点评数量
人均消费
人均消费
这里内容采集规则基本设置完成了，我们来测试一条数据：
这里内容采集规则基本设置完成了，我们来测试一条数据：
测试成功！
四、内容发布
内容发布就是将采集好的数据导出来，这里免费版的只支持导出到txt。
为了转成excel方便，我们设置如下规则：
标签建均以英文逗号分隔，每一条数据加一个换行。
测试成功！
四、内容发布
内容发布就是将采集好的数据导出来，这里免费版的只支持导出到txt。
为了转成excel方便，我们设置如下规则：
标签建均以英文逗号分隔，每一条数据加一个换行。
基本设置完成，点击右下角保存并退出。
开始数据采集并导出！
基本设置完成，点击右下角保存并退出。
开始数据采集并导出！
txt转换成excel
下面是我们导出得到的txt数据
txt转换成excel
下面是我们导出得到的txt数据
看起来杂乱无章，也不方便使用，所以我们将它保存成excel
打开excel，点击打开文件，选择所有文件，找到我们的txt
选择 分隔符 >> 逗号分隔
看起来杂乱无章，也不方便使用，所以我们将它保存成excel
打开excel，点击打开文件，选择所有文件，找到我们的txt
选择 分隔符 >> 逗号分隔
点击完成，就得到我们想要的数据格式！
点击完成，就得到我们想要的数据格式！
有了这些数据，我们就可以开始我们的数据可视化之旅了！
有了这些数据，我们就可以开始我们的数据可视化之旅了！