通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • 没有备案的国际域名申请QQ互联的方法

    没有备案的国际域名申请QQ互联的方法 目前亲测 .com后缀域名都可以,其他国际域名也可以试试,正常是可以的。 QQ互联官网 https://connect.qq.com/index.html 1、先去QQ互联申请网站应用 网站北岸号填写:【海外网站/国际网站】 非国内网站申请QQ互联登陆(国际域名) 2、下载表格,填好表格 给腾讯发送申请邮件 参考:htt…

    2021年10月9日
    682
  • 比较热门的域名 XYZ域名和COM的域名的区别和选择建议

    如今COM域名新注册和续费成本越来越高,有朋友开始动摇准备选择其他后缀域名做网站。比如有网友提到用.XYZ域名后缀做网站成本低,有服务商首年还甚至免费。对于XYZ和COM域名的选择和区别我们简单的介绍。 第一、XYZ和COM域名介绍 1、XYZ域名 .xyz是一种通用顶级域名,于2014年推出。旨在提供一个简单、独特且广泛适用的域名选项。.xyz域名在开始时…

    2023年9月18日
    541
  • 如何解决WordPress 上传图片“抱歉,您无权上传此文件类型”?

    如果您在WordPress媒体库中上传特殊文件时遇到”抱歉,您无权上传此文件类型”或”抱歉,出于安全原因,不允许使用此文件类型”的提示,这可能是由于WordPress默认设置限制了某些文件类型的上传。 为了解决这个问题,您可以考虑以下几种方法: 使用插件 您可以安装并激活适当的插件来扩展WordPress允许上传的文件类型。一些常用的插件包括”Enable …

    2024年8月9日
    705
  • WordPress 纯代码实现页面锚文本链接(免插件)

    WordPress 纯代码实现页面锚文本链接 WordPress 实现页面锚文本链接的方法很多,由于装插件比较繁琐,所以这里老文笔记介绍一个WordPress 纯代码实现页面锚文本链接方法,在网站主题目录找到该文件 functions.php,具体路径:网站根目录:wp-content/themes/主题目录/ functions.php //自动TAG转内…

    2021年10月8日
    479
  • WP-CDN-Yes WordPress 自动清除CDN插件

    插件概述 WP-CDN-Yes是我开发的一款WordPress插件,其主功能是在启用全站CDN的情况下,自动清除CDN节点缓存。 对网站进行全站CDN缓存能有效优化网站部署在低配置服务器的访问速度,同时也带来了一些繁琐问题,比如每次发布文章都要手动刷新CDN缓存,此插件就是为解决这些麻烦而诞生的。 插件下载 当前最新版本:2.1.0 直接在WP后台搜索WP-…

    2022年4月13日 • 建站知识
    491