通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • WordPress开启HTTPS后正文图片改为HTTPS两种方法

    WordPress 站点开启 HTTPS 后,文章中引用的图片就很有必要把 HTTP 统一改为 HTTPS,要不然会地址栏上的绿锁就会有黄色的三角,感觉是很不爽的。为了解决这个问题,我们有两种方法:一个是治标不治本的办法,就是在主题的  functions.php 文件中加入字符替换语句,这样读者在每次访问的时候会相应的把图片的 http 链接替换为 htt…

    2021年9月28日
    794
  • WordPress网站标题的分隔符-被转义为&#8211的解决办法

    最近不少用户给我反馈在使用WordPress主题时,在SEO设置中的分隔符自定义成英文特殊字符横杠”-“后,会被转义成HTML字符&#8211 原因是这一切都是WordPress想的太过周到的锅,默认情况下,它会调用函数wptexturize来执行这个转换。 解决办法1:停止使用wptexturize转义任何字符 ad…

    2021年11月7日
    800
  • WordPress程序网站更换域名后文章图片不显示的解决方法

    最近换了域名,发现网站图片不显示,经过一番折腾研究,把Wordpress更换域名后文章图片不显示的问题解决了,先把解决方法总结如下。  插件修改解决 1)安装插件 在Wordpress管理后台 ——》 插件 ——》 安装插件 ——》 搜索插件 ”Velvet Blues Update URLs“ ——》 安装 ——》 启用 2)修改解决 在左侧”工具“ ——…

    2022年3月3日
    867
  • wordpress怎么降级(使用插件将wordpress升/降到指定版本)

    最近有用户的网站出现了程序需要降级的需求,那么我们就用最简单的办法,插件实现wp程序的降级; 后台插件搜索:WP Downgrade | Specific Core Version 这是一个可以轻松实现升/降级的插件(任何致命性操作之前,请先本分各种数据!程序/数据库) ①准备升级或降级的WP程序版本号 ②这里可以将准备升降机的源程序放到本地服务器内,这样升…

    2023年8月22日
    193
  • Nginx常用屏蔽规则,让网站更安全

      引言 Ng­inx (en­gine x) 是一个高性能的 HTTP 和反向代理服务,目前很大一部分网站均使用了 Ng­inx 作为 WEB 服务器,Ng­inx 虽然非常强大,但默认情况下并不能阻挡恶意访问,这里有一份常用的 Ng­inx 屏蔽规则,希望对你有所帮助。 在开始之前,希望您已经熟悉 Ng­inx 常用命令(如停止、重启等操作)及…

    2021年8月25日
    750