如何利用百度地图爬虫搜集数据 下载本文

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

如何利用百度地图爬虫搜集数据?

什么是地图数据? 旅游路线? 酒店信息?

它还有商家信息你知道吗?

以下是一个利用八爪鱼搜集地图数据的示例,大家可做参考。

本文介绍使用八爪鱼采集百度地图(成都-火锅)的方法 采集网站:http://map.http://www.32336.cn// 一、创建采集任务 八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

1)进入主界面,选择“自定义采集”

2)将要采集的网站URL复制粘贴到输入框中,点击“保存网址”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

二、输入采集信息

1)在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。点击地图上的输入框,然后在右侧操作提示框中,选择“输入文字”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

2)在操作框提示中,输入想要查询的文本。这里输入“成都 火锅”。输入完成后,点击“确定”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

3)“成都 火锅”会自动填充到输入框。先点击“搜索”按钮,然后在右侧操作提示框中,选择“点击该按钮”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

由于此网页涉及Ajax技术,我们需要进行一些高级选项的设置。选中“点击元素”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

注:AJAX即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不重新加载整个网页的情况下,对网页的某部分进行更新。

表现特征:a、点击网页中某个选项时,大部分网站的网址不会改变;b、网页不是完全加载,只是局部进行了数据加载,有所变化。

验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。

三、创建翻页循环

1)我们可以看到,页面出现了“成都 火锅”的搜索结果。将结果页面下拉到底部,点击“下一页”按钮。在右侧的操作提示框中,选择“循环点击下一页”,以创建一个翻页循环

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

由于此网页涉及Ajax技术,我们需要进行一些高级选项的设置。选中“点击元素”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒” Ajax技术在上述已经提到

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

四、创建循环列表并提取数据

1)移动鼠标,选中页面里第一条商家信息区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

2)系统会自动识别出页面中的其他10组同类元素,在操作提示框中,选择“选中全部”,以建立一个翻列表循环

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

3)我们可以看到,页面中景点信息区块里的所有元素均被选中,变为绿色。选择“采集以下数据”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

4)选中不需要的字段,点击垃圾桶图标,可将其删除

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后,点击左上角的“保存并启动”,启动采集任务

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

6)选择“启动本地采集”

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

五、数据采集及导出 1)采集完成后,会跳出提示,选择“导出数据”,选择“合适的导出方式”,将采集好的数据导出

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

2)这里我们选择excel作为导出为格式,数据导出后如下图

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

以上就是一个采集百度地图数据的完整示例,大家可作参考。大家如果想要采集百度地图上的数据,可按照步骤来配置规则,注意在步骤2的时候,按需输入要查询、采集的文本信息即可。

相关采集教程: 百度地图坐标内容采集(简易采集):

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

http://www.bazhuayu.com/tutorialdetail-1/bddtzbcj.html 高德地图数据采集:

http://www.bazhuayu.com/tutorialdetail-1/gddtsjcj.html 百度地图商家地址和电话采集:

http://www.bazhuayu.com/tutorialdetail-1/jymsbddtcj.html 腾讯地图采集器:

http://www.bazhuayu.com/tutorialdetail-1/txdt.html 58号码采集:

http://www.bazhuayu.com/tutorialdetail-1/58phonecj.html

qq群号码采集:

http://www.bazhuayu.com/tutorialdetail-1/qqqunhmcj.html

八爪鱼——90万用户选择的网页数据采集器。

1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。

八爪鱼·云采集网络爬虫软件

www.bazhuayu.com

2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。

3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。

4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。