火车头/高铁采集器怎么使用,新手保姆级教程

最近在抓取一些比较有价值的网站资源,用于训练AI写作系统,保证AI能在我采集的庞大数据库中学会利用一个命题就可以创作高质量原创文章。对!我说的是原创文章,不是伪原创。至于这个AI写作的系统将会在我成功后与大家展开更为细致的分享,今天我们的主题是,如何通过火车头采集器批量采集网站文章。

一、准备

软件:火车头采集器/高铁采集器

使用环境:PC端

二、采集

1.获取列表页数据

进入待采集网站,打开需要采集的栏目或者待采集的关键词搜索列表。

图片
图片

确定这个栏目的文章页数,翻到底部发现总页数为15,确定采集页数为15。

图片
图片

跳转到下一页,确定网页的起始网址格式,变量基本是.html前面的序号,所以我们先直接复制下来。

进入高铁采集器,点击+按钮跳出任务设置页面。

图片
图片

点击网页采集规则页面的起始网页右边的第一个按钮进入向导,填入复制下来的页面地址,并将页面的变量替换成右边的地址参数,直接删掉原页码然后点击按钮插入就可以。

图片
图片

最终会自动生成一个采集列表文章的链接,但这只是采集页面数据,并没有将需要的内容精确地采集到。

图片
图片

因为需要让机器知道我们要采集哪些数据,所以我们要在网页代码中找到开头和结尾的标志,以便机器采集。

右击网页空白处查看网页源代码

图片
图片

由于源码大多是一行显示,所以我们需要勾选源码顶部的“换行”复选框。

图片
图片

Ctrl+F 搜索源代码中包含列表页的第一条数据的标题,并寻找与该标题临近的一个唯一标签。

图片
图片
代码语言:javascript
复制
<h1><span>产品运营</span></h1> </div> <div class="sec-panel-body">

在这段代码中,我选择了 “<divclass=”sec-panel-body”>” 作为识别开头的代码。

同样的方式,我搜寻列表页的最后一条数据的标题,找到了识别结尾的代码。

是否是唯一且能识别到的代码,我们也可以通过 Ctrl+F 去查找,只要搜索数据是唯一的就是了。

图片
图片

填入写好的起始和结束代码后,点击右下角的网页测试按钮测试采集数据是否正常。

图片
图片

让机器采集一部分列表页数据就可以停止了,然后看到采集的数据是比较多的,有些数据不是我们需要的数据页,所以我们需要将其排除。

查阅到内容页的地址为/n/(*).html,所以我们可以用网页格式去锁定采集地址。

图片
图片

在链接过滤处选择链接包含并填入刚才的格式

图片
图片

接下来发现内容页地址采集正常。

图片
图片

2.获取内容页数据

接下来我们就需要写内容页的采集规则,这里比较复杂,需要认真看。在最近的测试中,发现对于新手来说也并不是难事,因为逻辑一样的,多去调试就行了。

进入内容采集规则页面,内置有标题和内容,这里我多加两条数据“作者”和“日期”,以便大家更深理解。

图片
图片

我们在采集过程中可能需要更多的数据,基本上都可以按照我说的操作采集出来。

同样,在文章页面右击调出源代码,我按标题、作者、时间、内容的顺序教大家写采集规则。

首先,我们查找到文章标题的位置,确定位置在<h1>标签内,起始大部分的页面都是<h>标签,只是里面的样式不同而已。

图片
图片
代码语言:javascript
复制
<h1 class="entry-title">标题</h1>

接着直接看后面的代码,通过一些标志,看到作者和时间,这时候就确定了时间和地址。

图片
图片
代码语言:javascript
复制
<a class="nickname url fn j-user-card">作者</a> </span> <span class="dot"></span> <time class="entry-date published" datetime="2022-10-31T08:17:06+08:00" pubdate> 2022103108:17:06 </time>

然后再看接下来的内容,去找找内容的代码。

通过文章内容找到旁边的div标签是唯一识别的标签(经验之谈,一般在class中包含content),咱们就可以确定内容的开始标签。

图片
图片
代码语言:javascript
复制
<div class="entry-content text-indent">

同样的方法,找到结尾词旁边的标签为:

代码语言:javascript
复制
<div class="entry-readmore">

这就确定了标题、作者、时间、内容了,接下来需要去软件内写清楚规则。

①标题

我们提取标题优先选择正则提取,并将复制的所有变量在匹配内容中用[参数]代替,在组合结果中直接点击[参数1]

图片
图片

②作者

同样我也选择用正则提取,由于某些数据是变量且不需要,我们直接用(*)代替即可,需要的内容用[参数]替代,并在组合结果中选择[参数1]

图片
图片

③日期

因为我想给大家讲一下为什么有[参数1]、[参数2]、[参数N],所以我使用多个参数进行举例。

在这里,我把标签中的参数作为我的结果,将标签中的内容直接丢掉了,但是获取的结果是一样的。

图片
图片

所以在写规则的时候也不一定要中规中矩按别人教你的来,只要保证数据准确就行。

④内容 这里不需要多说,因为前面我们分析过,前后截取的代码已经知道,直接填进去。

图片
图片

但是要考虑到不同页面中的开头和结尾可能是变量,所以我们要多打开一些文章去查看网页代码,毕竟某些页面开头有引言,有的结尾有版权声明。

三、测试

现在规则写好了,我们需要找个页面测试下,我们发现数据采集是正确的,现在基本的采集就完成了。

图片
图片

对于我来说,AI写作训练不需要标签,所以我需要在采集的时候直接过滤掉,所以我在内容标签下的数据处理中,选择html标签过滤,直接全选了所有标签。为了阅读方便,我取消了换行和所有标签,当然我们也可以通过对数据的处理输出我们需要的内容。

图片
图片
图片
图片

四、输出

我们不设置内容发布规则的话,会导致文章采集了无法输出。

由于我只需要将数据输出为文档供AI学习,包括web在线发布和导入数据库都包含比较复杂的对应关系,所以输出这里我只讲保存本地文件这一项。

图片
图片

我们将本地文件保存打开,以txt文件格式输出为例,我们选择txt,并设置保存位置为自定义位置,文件模板我使用的是:

图片
图片

把它保存为txt文件,并将文件模板选择为这个文件,软件就会按照这个格式去输出文章了。

所有设置都配置好了之后就直接保存并退出,然后进入主页面,勾选任务右边的“采网址”、“采内容”、“发布”复选框,右击任务并选择开始即可,如果看到运行日志中运行正常就可以让它静默采集了,如果有提示错误,分析错误产生原因,然后对症下药就行了。

图片
图片

以下是输出的案例:

采集到的内容
采集到的内容

五、注意事项

我们在采集中一定不会像我说的这么简单,所以我把我遇到的坑提前告知大家,以免大家走弯路。

1.数据为空

采集的数据为空白有一部分原因是原文就是空白的,比如网页上面的问答,如果没有回答,他的内容就是空的。还有就是采集规则不适用于所有页面,重新制定新的规则,保证所有数据能够输出为止。

有时候我们采集的数据是全空,这大概率是因为网速问题或者是网站问题,重新采集即可,因为没有采集到的数据会标注未采和未发。

2.输出数据相同

由于某篇文章在不同的标签或者板块下,软件不会直接帮你过滤,但是我们可以通过设置标签下的内容过滤,勾选“采集内容不得为空重复”的按钮。(勾选“采集内容不得为空”也可以解决问题1)

图片
图片

3.替换部分数据

这里我们在采集后会发现有很多版权词或者一些需要过滤的词,不必重新设置采集规则,而是在本地数据中,选择所有数据,并对特定标签中的特定内容直接进行替换或者过滤即可。

图片
图片

以上原创教程仅用于学术交流,请勿搬运或用于不法用途,大佬请直接关闭本文。

关于火车头/高铁采集器怎么使用,新手保姆级教程的相关内容;如有侵权,请联系老文删除。

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2024年7月31日 上午11:45
下一篇 2024年7月31日 下午1:02

相关推荐

  • i7-13700K处理器参数评测大全

    i7-13700K也是十三香中的佼佼者,一开始大家都以为是英特尔挤牙膏的,但是结果却出人意料,这款处理器也是拥有较强性能的,我们带来详细的数据,能让大家看看到底哪里强。 i7-13700K参数评测大全评测: 1、i7-13700K的主频为5.3ghz,e核主频是4.2ghz,超越上一代很多,因此真的很香。 2、ddr4可以提升到3200mhz,ddr5最高能…

    2023年1月16日 电脑网络
    104
  • 低电压cpu天梯图高清

    我们在挑选笔记本的时候,最需要我们注意的就是硬件设备的CPU处理器。处理器作为一个决定了整个系统性能的重要部件,我们就要在市面上众多品牌型号中进行筛选。为了节省大家的时间和精力,小编在这里为大家提供了最新的2020笔记本低电压cpu天梯图,希望可以帮助到大家~ 低电压cpu天梯图高清 CPU标压和低压如何选择 1、什么是CPU标压低压? 顾名思义,这里的“压…

    2023年1月22日 电脑网络
    271
  • Win7电脑进程CPU占用100%怎么办?

    Win7电脑偶尔会出现CPU占用率100%的问题,但是引起这个现象的原因有很多,比如运行跑分软件、开着无数在线视频游戏等极端操作。CPU使用率达到100%的情况,那么,碰到类似这种情况,怎么处理?下面,系统部落小编就来跟大家分享Win7电脑进程CPU占用100%的处理技巧。 电脑进程CPU占用100%怎么办 按下键盘的“Ctrl+alt+del”组合键,打开…

    2023年1月26日 电脑网络
    88
  • 电脑回收站打不开 电脑回收站不见了怎么办

    我们在使用电脑的时候难免会遇到一些问题的时候,例如电脑回收站打不开,下面小编就和大家分享回收站打不开的解决方法,来欣赏一下吧。 这是回收站,图标上能够看到里面有不少的文件。不过双击回收站之后并不会弹出窗口。 打开计算机,然后单击工具菜单,弹出子菜单之后直接单击文件夹选项。 文件夹选项弹出来之后,在窗口里面的文件夹栏目和隐藏文件之间直接选中隐藏的文件、文件夹以…

    2021年9月29日
    795
  • Win7系统如何关闭Windows Update提示?

    Win7如何关闭开关机时Windows Update提示?Win7关闭开关机时弹出的Windows Update提示的方法   左键单击电脑左下角的“开始”按钮,找到“控制面板”左键点击打开,如下图所示:   接着在弹出的页面找到“Windows Update”,点击左键打开,如下图所示:   随即弹出修改页面,如下图所示:   找到“更改设置”,如下图所示…

    2023年1月26日 电脑网络
    88