八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件如何使用
网站上有海量的文字信息，有时我们想提取采集下来。有没有可以让工作简单的网站抓字软件供大家使用呢？ 下面给大家教一款软件是如何实现这个功能的。
八爪鱼是一款通用的网页数据采集器，可采集互联网上的公开数据。用户可以设置从哪个网站爬取数据，爬取那些数据，爬取什么范围的数据，什么时候去爬取数据，爬取的数据如何保存等等。
言归正传，本文将以搜狗微信的文章正文采集为例，讲解使用八爪鱼采集网页文章正文的方法。文章正文采集，主要有两大类情况：一、采集文章正文中的文本，不含图片；二、采集文章正文中的文本和图片URL。
示例网站：http://weixin.sogou.com/ 使用功能点：
Xpath http://www.bazhuayu.com/search?query=XPath
判断条件 http://www.bazhuayu.com/tutorialdetail-1/judge.html 分页列表信息采集 http://www.bazhuayu.com/tutorial/fylb-70.aspx?t=1 AJAX滚动教程 http://www.bazhuayu.com/tutorialdetail-1/ajgd_7.html AJAX点击和翻页http://www.bazhuayu.com/tutorialdetail-1/ajaxdjfy_7.html
八爪鱼·云采集服务平台
www.bazhuayu.com
一、采集文章正文中的文本，不含图片 具体步骤：
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
网站抓字软件使用步骤1
2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤2
步骤2：创建翻页循环
1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“热门”文章。下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤3 2）选择“循环点击单个元素”，以创建一个翻页循环
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤4
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤5
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。具体请看
AJAX点击和翻页教程：http://www.bazhuayu.com/tutorialdetail-1/ajaxdjfy_7.html
观察网页，我们发现，通过5次点击“加载更多内容”，页面加载到最底部，一共显示100篇文章。因此，我们设置整个“循环翻页”步骤执行5次。选中“循环翻页”步骤，打开
八爪鱼·云采集服务平台
www.bazhuayu.com
“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确定”
网站抓字软件使用步骤6
步骤3：创建列表循环并提取数据
1）移动鼠标，选中页面里第一条文章链接。系统会自动识别相似链接，在操作提示框中，选择“选中全部”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤7 2）选择“循环点击每个链接”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤8
3）系统会自动进入文章详情页。点击需要采集的字段（这里先点击了文章标题），在操作提示框中，选择“采集该元素的文本”。文章发布时间、文章来源字段的采集方法同理
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤9
4）接下来开始采集文章正文。先点击文章正文的第一段，系统会自动识别页面内的同类元素，选择“选中全部”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤10 5）可以看到，所有的正文段落均被选中，变为绿色。选择“采集以下元素文本”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤11
注意：在字段表中，可进行字段的自定义修改
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤12
6）经过如上操作，正文就会被全部采集下来（默认为每一段正文为一个单元格）。一般而言，我们希望采集的正文，合并为同一个单元格。点击“自定义数据字段”按钮，选择“自定义数据合并方式”，勾选“同一字段多次提取合并为一行，即追加到同一字段，例如正文分页合并”，再点击“确定”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤13 “自定义数据字段”按钮
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤14
选择“自定义数据合并方式”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤15
如图进行勾选
步骤4：修改Xpath
1）选中整个“循环步骤”，打开“高级选项”，可以看到，八爪鱼默认生成的是固定元素列表，定位的是前20篇文章的链接
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤16
2）在火狐浏览器中打开要采集的网页并观察源码。我们发现，通过此条Xpath： //DIV[@class='main-left']/DIV[3]/UL/LI/DIV[2]/H3[1]/A，页面中所需的100篇文章均被定位了
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤17 3）将修改后的Xpath，复制粘贴到八爪鱼中所示位置，然后点击“确定”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤18 步骤5：修改流程图结构
我们继续观察，通过5次点击“加载更多内容”后，此网页加载出全部100篇文章。因而我们配置规则的思路是，先建立翻页循环，加载出全部100篇文章，再建立循环列表，提取数据
1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。如果不进行此项操作，那么将会出现很多重复数据
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤19
拖动完成后，如下图所示
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤20
步骤6：数据采集及导出
1）点击左上角的“保存”，然后点击“开始采集”，选择“启动本地采集”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤21
2）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤22
3）这里我们选择excel作为导出为格式，数据导出后如下图
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤23
4）如上图，部分文章的正文没有采集到。那是因为，系统自动生成的文章正文的循环列表的Xpath：//[@id=\，定位不到此篇文章的正文。将Xpath修改为：//[@id=\，所有的文章正文均可被定位到。再次启动采集，所有文章的正文内容，均被采集到了
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤24 修改Xpath前
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤25
修改Xpath后
经过如上操作，目标网址中的微信文章正文中的全部文本被采集下来。如果还需采集图片，则需往已有的规则中，加入一个判断条件。
二、采集文章正文中的文本和图片URL 接一中的步骤6
八爪鱼·云采集服务平台
www.bazhuayu.com
步骤7：增加判断条件
经过前6个步骤，我们仅采集了微信文章里的文本内容，并不包括文章里的图片。如果需要采集图片，则需往规则里加入一个判断条件：对文章内容列表进行判断，如果包含img元素（图片），则执行图片采集分支；如果不包含img元素（图片），则执行文本采集分支。
同时，在八爪鱼中，默认对左侧分支，设置判断条件，满足此判断条件，则执行左侧分支；默认最右侧分支为“不判断，总是执行该分支”，即当不满足左侧分支的判断条件时，则执行最右侧分支。
回到此规则，即对左侧分支设置条件：如果包含img元素（图片），则执行左侧分支；如果不满足左侧条件分支的条件（即不包含img元素），则执行右侧分支。具体操作如下： 1）从左侧工具栏，往流程中拖入一个“判断条件”步骤（选定图标拖住不放，拖入箭头所示的绿色加号位置）
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤26
2）流程图中出现判断条件。我们将“提取数据”步骤，移动到右侧分支中（绿色加号处）。再点击右侧分支，在出现的结果页面（分支条件检测结果-检测结果总是True）点击“确定”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤27
将“提取元素”步骤，拖入右侧分支
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤28 右侧分支-检测结果总是True
3）点击左侧分支，在出现的结果页面（分支条件检测结果-检测结果总是True）点击“确定”。然后对其设置判断条件：勾选“当前循环项包含元素”，输入元素Xpath：//img（代表图片），再点击“确定”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤29 点击左侧分支
八爪鱼·云采集服务平台
www.bazhuayu.com
对左侧分支，设置判断条件 网站抓字软件使用步骤30
4）左侧分支条件设置完毕后，再进行提取数据步骤。从左侧工具栏，拖入一个“提取数据”步骤，到流程图中的左侧分支中（绿色加号处），然后选中页面内一张图片，在操作提示框中，选择“采集该图片地址”
八爪鱼·云采集服务平台
www.bazhuayu.com
拖入新的“提取数据”步骤，到左侧分支
网站抓字软件使用步骤31
八爪鱼·云采集服务平台
www.bazhuayu.com
采集图片地址 网站抓字软件使用步骤32
5）选中右侧分支的“提取数据”步骤，点击“自定义数据字段”按钮，选择“自定义定位元素方式”，将红框中的“元素匹配的Xpath”：
//*[@id=\与“相对Xpath”：/span[1]，记录下来
八爪鱼·云采集服务平台
www.bazhuayu.com
自定义定位元素方式 网站抓字软件使用步骤33
八爪鱼·云采集服务平台
www.bazhuayu.com
元素匹配的Xpath、“相对Xpath”
网站抓字软件使用步骤34
6）选中左侧分支的“提取数据”步骤，点击“自定义数据字段”按钮，选择“自定义定位元素方式”，参照右侧分支相同位置的Xpath进行修改：“元素匹配的Xpath”改为：//*[@id=\，“相对Xpath”改为：/img[1]，然后点击“确定”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤35
7）选中左侧分支的“提取数据”步骤，点击“自定义数据字段”按钮，选择“自定义数据合并方式”，如图进行勾选。勾选后，多次提取的正文将追加为一个字段
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤36
8）注意，在八爪鱼中，判断条件里各分支中的“提取数据”步骤中的字段名需相同，字段个数需一致。这里，我们将左右两个分支中，提取的字段名均改为“正文”（判断条件教程，请参考：http://www.bazhuayu.com/tutorialdetail-1/judge.html） 八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤37
9）如上，整个判断条件设置完毕。点击左上角的“保存”并“开始采集”。我们发现，在导出的excel表格中，图片地址为一堆乱码。这是为什么呢？继续观察网页——搜狗微信文章正文里的图片，需下拉滚动，才能加载出来，加载出来后才能采集到正确的图片地址。因而，在打开文章后，需对其进行设置“页面加载完成后向下滚动”。在这里，设置滚动次数为“30次”，每次间隔“2秒”，滚动方式为“向下滚动一屏”
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤38 微信文章正文里的图片，需下拉滚动，才能加载出来
八爪鱼·云采集服务平台
www.bazhuayu.com
设置“页面加载完成后向下滚动”
网站抓字软件使用步骤39
注意：这里的滚动次数、时间、方式的设置，会影响采集数据的速度、质量。本文仅做参考，大家可按需设置
可参考AJAX滚动教程：http://www.bazhuayu.com/tutorialdetail-1/ajgd_7.html
10）重新启动采集，并导出数据，数据导出后如图所示：
八爪鱼·云采集服务平台
www.bazhuayu.com
网站抓字软件使用步骤40
导出数据
八爪鱼·云采集服务平台
网站抓字软件使用步骤41
数据示例
说明：因搜狗微信文章中的图片，需经过下拉滚动，方可加载出来。在采集过程中，大量时间用在等待图片加载，因而采集速度较慢。如果没有采集图片的需求，直接使用文本采集，无需等待图片加载，采集速度会快很多。
相关采集教程： BBC英文文章采集
www.bazhuayu.com
http://www.bazhuayu.com/tutorial/englisharticlecj
网易自媒体文章采集
http://www.bazhuayu.com/tutorial/wyhcj
新浪博客文章采集
http://www.bazhuayu.com/tutorial/sinablogcj
uc头条文章采集
http://www.bazhuayu.com/tutorial/ucnewscj 八爪鱼·云采集服务平台
www.bazhuayu.com
百家号爆文采集
http://www.bazhuayu.com/tutorial/bjharticlecj
自媒体文章怎么采集
http://www.bazhuayu.com/tutorial/zmtwzcj
爆文采集方法
http://www.bazhuayu.com/tutorial/baowencj
百度文库采集
http://www.bazhuayu.com/tutorial/bdwkxq
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。
2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。
八爪鱼·云采集服务平台
www.bazhuayu.com
3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。 4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。