通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • DUX大前端主题 菜单栏添加导航菜单字体图标方法

    很多朋友刚刚接触大前端Dux主题的时候,想要在短时间内折腾出一个漂亮大气的网站博客,也并不是那么容易,因为大前端Dux主题的功能真的很多很多,你自己都不知道从那里下手。今天老文跟小伙伴们说说大前端Dux主题如何添加导航菜单字体图标,Dux主题是默认加载font-awesome(字体图标),只要我们在菜单名称前添加字体图标的代码就可以了。 大前端Dux主题如何…

    2021年10月7日
    698
  • 推荐三个方法来关闭 WordPress 自动更新

    推荐三个方法来关闭 WordPress 自动更新 # 方法一 推荐!编辑 WordPress 网站目录下的 wp-config.php 文件,添加如下代码: define( ‘AUTOMATIC_UPDATER_DISABLED’, true ); # 方法二 编辑当前主题的 functions.php 配置文件(仪表盘 – 外观 –…

    2023年8月22日
    423
  • zblog提示“授权文件非法“的终极解决办法

    最近一段时间有很多的用户遇到了这个“授权文件非法”的提示,这是由于zblog的应用中心插件调整了规则导致的。 之前本站写过一篇“zblog报错“授权文件非法”的错误原因和解决办法”的文章,但是还是有用户反应按照教程操作了之后还是提示“授权文件非法”。 这个时候请用本文所介绍的终极解决办法,一次解决“授权文件非法“问题: 1、打开你网站后台–插件管…

    2021年11月18日
    684
  • 宝塔面板设置又拍云备份出现“API资料效验失败,请核实“提示的解决办法以及原因

    今天在宝塔面板设置备份网站,由于又拍云是有免费备份的存储空间的,所有就用又拍云备份网站,但是设置的时候出现了提示:“API资料效验失败,请核实“(如下图),倒腾了半天,后来找出了原因!下面博主来说说宝塔面板设置又拍云备份出现“API资料效验失败,请核实“提示的解决办法以及原因。 原因1:如果你是外网服务器,请关闭宝塔面板防火墙里面的禁止“国外访问”。 原因2…

    2021年8月12日
    1.1K
  • wordpress程序中使用的Gravatar头像被墙及解决方案

    今天网站发现Gravatar应该是彻底被墙了,根本无法访问了,可能是最近大会或者什么其他原因吧,还有人因为什么被抓起来了,太多东西也不好评价。我Gril Friend Wall 果然是天下无敌。 年纪大了折腾的精力就不如从前了,只想用最简单的方法解决问题,我采用了第一种方法,直接调用官方的数据,理论上应该是最稳定的了(没被墙的前提下)。 调用ssl 头像链接…

    2021年8月18日
    479