火车头/高铁采集器怎么使用,新手保姆级教程

最近在抓取一些比较有价值的网站资源,用于训练AI写作系统,保证AI能在我采集的庞大数据库中学会利用一个命题就可以创作高质量原创文章。对!我说的是原创文章,不是伪原创。至于这个AI写作的系统将会在我成功后与大家展开更为细致的分享,今天我们的主题是,如何通过火车头采集器批量采集网站文章。

一、准备

软件:火车头采集器/高铁采集器

使用环境:PC端

二、采集

1.获取列表页数据

进入待采集网站,打开需要采集的栏目或者待采集的关键词搜索列表。

图片
图片

确定这个栏目的文章页数,翻到底部发现总页数为15,确定采集页数为15。

图片
图片

跳转到下一页,确定网页的起始网址格式,变量基本是.html前面的序号,所以我们先直接复制下来。

进入高铁采集器,点击+按钮跳出任务设置页面。

图片
图片

点击网页采集规则页面的起始网页右边的第一个按钮进入向导,填入复制下来的页面地址,并将页面的变量替换成右边的地址参数,直接删掉原页码然后点击按钮插入就可以。

图片
图片

最终会自动生成一个采集列表文章的链接,但这只是采集页面数据,并没有将需要的内容精确地采集到。

图片
图片

因为需要让机器知道我们要采集哪些数据,所以我们要在网页代码中找到开头和结尾的标志,以便机器采集。

右击网页空白处查看网页源代码

图片
图片

由于源码大多是一行显示,所以我们需要勾选源码顶部的“换行”复选框。

图片
图片

Ctrl+F 搜索源代码中包含列表页的第一条数据的标题,并寻找与该标题临近的一个唯一标签。

图片
图片
代码语言:javascript
复制
<h1><span>产品运营</span></h1> </div> <div class="sec-panel-body">

在这段代码中,我选择了 “<divclass=”sec-panel-body”>” 作为识别开头的代码。

同样的方式,我搜寻列表页的最后一条数据的标题,找到了识别结尾的代码。

是否是唯一且能识别到的代码,我们也可以通过 Ctrl+F 去查找,只要搜索数据是唯一的就是了。

图片
图片

填入写好的起始和结束代码后,点击右下角的网页测试按钮测试采集数据是否正常。

图片
图片

让机器采集一部分列表页数据就可以停止了,然后看到采集的数据是比较多的,有些数据不是我们需要的数据页,所以我们需要将其排除。

查阅到内容页的地址为/n/(*).html,所以我们可以用网页格式去锁定采集地址。

图片
图片

在链接过滤处选择链接包含并填入刚才的格式

图片
图片

接下来发现内容页地址采集正常。

图片
图片

2.获取内容页数据

接下来我们就需要写内容页的采集规则,这里比较复杂,需要认真看。在最近的测试中,发现对于新手来说也并不是难事,因为逻辑一样的,多去调试就行了。

进入内容采集规则页面,内置有标题和内容,这里我多加两条数据“作者”和“日期”,以便大家更深理解。

图片
图片

我们在采集过程中可能需要更多的数据,基本上都可以按照我说的操作采集出来。

同样,在文章页面右击调出源代码,我按标题、作者、时间、内容的顺序教大家写采集规则。

首先,我们查找到文章标题的位置,确定位置在<h1>标签内,起始大部分的页面都是<h>标签,只是里面的样式不同而已。

图片
图片
代码语言:javascript
复制
<h1 class="entry-title">标题</h1>

接着直接看后面的代码,通过一些标志,看到作者和时间,这时候就确定了时间和地址。

图片
图片
代码语言:javascript
复制
<a class="nickname url fn j-user-card">作者</a> </span> <span class="dot">•</span> <time class="entry-date published" datetime="2022-10-31T08:17:06+08:00" pubdate> 2022年10月31日 08:17:06 </time>

然后再看接下来的内容,去找找内容的代码。

通过文章内容找到旁边的div标签是唯一识别的标签(经验之谈,一般在class中包含content),咱们就可以确定内容的开始标签。

图片
图片
代码语言:javascript
复制
<div class="entry-content text-indent">

同样的方法,找到结尾词旁边的标签为:

代码语言:javascript
复制
<div class="entry-readmore">

这就确定了标题、作者、时间、内容了,接下来需要去软件内写清楚规则。

①标题

我们提取标题优先选择正则提取,并将复制的所有变量在匹配内容中用[参数]代替,在组合结果中直接点击[参数1]。

图片
图片

②作者

同样我也选择用正则提取,由于某些数据是变量且不需要,我们直接用(*)代替即可,需要的内容用[参数]替代,并在组合结果中选择[参数1]。

图片
图片

③日期

因为我想给大家讲一下为什么有[参数1]、[参数2]、[参数N],所以我使用多个参数进行举例。

在这里,我把标签中的参数作为我的结果,将标签中的内容直接丢掉了,但是获取的结果是一样的。

图片
图片

所以在写规则的时候也不一定要中规中矩按别人教你的来,只要保证数据准确就行。

④内容 这里不需要多说,因为前面我们分析过,前后截取的代码已经知道,直接填进去。

图片
图片

但是要考虑到不同页面中的开头和结尾可能是变量,所以我们要多打开一些文章去查看网页代码,毕竟某些页面开头有引言,有的结尾有版权声明。

三、测试

现在规则写好了,我们需要找个页面测试下,我们发现数据采集是正确的,现在基本的采集就完成了。

图片
图片

对于我来说,AI写作训练不需要标签,所以我需要在采集的时候直接过滤掉,所以我在内容标签下的数据处理中,选择html标签过滤,直接全选了所有标签。为了阅读方便,我取消了换行和所有标签,当然我们也可以通过对数据的处理输出我们需要的内容。

图片
图片
图片
图片

四、输出

我们不设置内容发布规则的话,会导致文章采集了无法输出。

由于我只需要将数据输出为文档供AI学习,包括web在线发布和导入数据库都包含比较复杂的对应关系,所以输出这里我只讲保存本地文件这一项。

图片
图片

我们将本地文件保存打开,以txt文件格式输出为例,我们选择txt,并设置保存位置为自定义位置,文件模板我使用的是:

图片
图片

把它保存为txt文件,并将文件模板选择为这个文件,软件就会按照这个格式去输出文章了。

所有设置都配置好了之后就直接保存并退出,然后进入主页面,勾选任务右边的“采网址”、“采内容”、“发布”复选框,右击任务并选择开始即可,如果看到运行日志中运行正常就可以让它静默采集了,如果有提示错误,分析错误产生原因,然后对症下药就行了。

图片
图片

以下是输出的案例:

采集到的内容
采集到的内容

五、注意事项

我们在采集中一定不会像我说的这么简单,所以我把我遇到的坑提前告知大家,以免大家走弯路。

1.数据为空

采集的数据为空白有一部分原因是原文就是空白的,比如网页上面的问答,如果没有回答,他的内容就是空的。还有就是采集规则不适用于所有页面,重新制定新的规则,保证所有数据能够输出为止。

有时候我们采集的数据是全空,这大概率是因为网速问题或者是网站问题,重新采集即可,因为没有采集到的数据会标注未采和未发。

2.输出数据相同

由于某篇文章在不同的标签或者板块下,软件不会直接帮你过滤,但是我们可以通过设置标签下的内容过滤,勾选“采集内容不得为空重复”的按钮。(勾选“采集内容不得为空”也可以解决问题1)

图片
图片

3.替换部分数据

这里我们在采集后会发现有很多版权词或者一些需要过滤的词,不必重新设置采集规则,而是在本地数据中,选择所有数据,并对特定标签中的特定内容直接进行替换或者过滤即可。

图片
图片

以上原创教程仅用于学术交流,请勿搬运或用于不法用途,大佬请直接关闭本文。

关于火车头/高铁采集器怎么使用,新手保姆级教程的相关内容;如有侵权,请联系老文删除。

赞 (1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2024年7月31日 上午11:45
下一篇 2024年7月31日 下午1:02

相关推荐

  • 移动宽带光猫光信号闪红灯?应该怎么解决

    很多朋友发现自家使用的光猫光信号灯闪红灯,不知道是怎么回事,更不知道该如何解决,本篇文章结合通信运营商给出的规则,说说与其相关的知识。 光猫光信号闪红灯室内故障原因 当用户光猫光信号灯闪红光时,代表光猫无法接收到光信号,而导致这种情况的原因有很多。如下图: 1,在出现此类故障之前,小区或居民单元楼停过电,该情况会导致小区内的分光器设备断电、光猫断电,重启光猫…

    2023年1月14日
    1.4K
  • 相机错误0xa00f4244无法使用怎么办?

    用户使用电脑的摄像头可能会遇到一些情况,比如提示错误代码0xa00f4244,导致无法使用,该如何解决?今天小编就专门为大家带来相机错误0xa00f4244无法使用的解决办法,感兴趣的用户一起来看看。   方法一 1、先查看摄像头有没有开启,随后进入windows设置,点击“隐私—>摄像机”;   2、如果还是出现错误代码就右击此电脑选择“管理”; 3…

    2023年1月24日
    531
  • Win7系统防火墙打不开如何修复?

    Win7系统自带有防火墙功能,可以防止病毒入侵,一般情况下,新安装的Win7系统有些是默认关闭,需要手动打开。点击控制面板发现Win7系统防火墙打不开,如何修复此问题呢?遇到Win7系统防火墙打不开的问题怎么办?下面大家一起来看看具体修复方法吧。 解决方法一: 1、用Win+R打开”运行对话框“,并输入services.msc,然后按下Enter键; 2、在…

    2023年1月28日 • 电脑网络
    210
  • 浏览器内核有几种?

      浏览器内核有几种? 浏览器内核介绍: 1、Trident内核代表产品Internet Explorer,又称其为IE内核。Trident(又称为MSHTML),是微软开发的一种排版引擎。使用Trident渲染引擎的浏览器包括:IE、傲游、世界之窗浏览器、Avant、腾讯TT、Netscape 8、NetCaptor、Sleipnir、GOSURF、Gre…

    2021年9月29日
    439
  • 三星台式机怎么设置u盘启动

    我们在使用三星台式机电脑的时候,如果想要对自己的操作系统进行重新安装的话,那么对于使用U盘安装的方式,很多小伙伴一定想知道三星台式机怎么设置u盘启动吧,首先我们需要在电脑开机的时候等到画面上出现品牌logo,再点击相应的快捷键即可进入bios设置。详细步骤就来看下小编是怎么说的吧~ 三星台式机怎么设置u盘启动 1、开机不停点按F12键即可进入快速启动界面,选…

    2023年1月17日 • 电脑网络
    235