基于DOM的维普文献信息智能提取系统设计与实现 下载本文

4.1.3. 配置管理模块

配置管理模块与任务管理模块相似,不同点在于配置管理模块中包含了正则配置子模块。

可对不同主配置进行详细的正则表达式子配置。

图 4-3 web配置管理效果图

4.1.4. 添加任务效果图

添加任务只需要填写关键字,选择相应的配置(也就是搜索模式),再填写周期、单次数量、过期日期保存即可。通过简单的填写就可以完成一个任务的添加,添加成功之后会刷新任务列表,于此同时如果爬虫到达了指定的监测周期,就会拉取任务进行执行,管理端可以看到当前任务状态。如果没有可用配置,点击添加按钮之后会提示请先添加配置。

30

图 4-4 web添加任务效果图

4.1.5. 添加配置效果图

添加配置相对复杂一点,分两步,第一步先按照规则填写配置信息,点击保存之后回根据配置生成配置记录、记录存储表、以及默认内容详细正则。成功之后点击进入正则配置,配置相应的正则筛选规则。

1) 添加配置

31

图 4-5 web添加配置效果图

2) 配置详细正则

32

图 4-6 web添加正则配置效果图

4.1.6. 导出记录效果图

在任务管理面板,点击对应任务后面的查看记录按钮,即可进入记录管理模块;之后在面板右上角文本框中填写导出记录信息,点击导出即可。

图 4-7 web导出记录效果图

4.1.7. 爬虫设置效果图

点击导航栏的爬虫设计按钮即可加载设置窗口。

33