通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.logaccess.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • 软件卸载工具(绿色软件)

    该工具特点:进行深度和快速扫描,并删除所有遗留物,保持你的电脑清洁,外观漂亮,功能令人惊讶。40+种语言在手!即时启动。输入搜索,立即找到一个应用程序。快速遗留物扫描。对顽固和损坏的程序使用强制删除。在Windows 8/8.1/10上卸载Windows Store应用程序。单一和小型EXE在任何32和64位Windows上运行,不需要安装,绿色软件,将单个…

    2021年8月29日
    436
  • wordpress网站免插件安装sitemap地图

    有时候因为装多了插件导致网站很卡,今天小编来说说纯代码免插件制作站点地图的方法。 对于一些有一定技术基础的站长来说,总是使用插件感觉与自己的身份不匹配,总想着自己写一些代码出来炫耀一下。那就使用下面的免插件制作站点地图吧。 使用Dreamweaver CS6软件新建一个空白的HTML页面;将以下的代码粘贴到HTML页面里(一定要在代码模式下粘贴噢); &lt…

    2021年9月2日
    379
  • zblog提示“授权文件非法“的终极解决办法

    最近一段时间有很多的用户遇到了这个“授权文件非法”的提示,这是由于zblog的应用中心插件调整了规则导致的。 之前本站写过一篇“zblog报错“授权文件非法”的错误原因和解决办法”的文章,但是还是有用户反应按照教程操作了之后还是提示“授权文件非法”。 这个时候请用本文所介绍的终极解决办法,一次解决“授权文件非法“问题: 1、打开你网站后台–插件管…

    2021年11月18日
    586
  • 如何为WordPress设置自定义静态首页?

    首先我们设置一个php文件,文件名和代码都可以自定义,如show.php及下方代码为例: 代码语言:javascript 复制 <!DOCTYPE HTML> <html> <head> <meta http-equiv=”Content-Type” content=”text/html; charset=utf-8…

    2024年7月31日
    170
  • 宝塔面板创建的ftp登陆无法连接解决办法?

    宝塔面板创建的ftp登陆无法连接解决办法? 一:问题描述: 阿里云服务器安装了宝塔linux面板,创建了ftp,利用xftp选择ftp协议连接不上问题? 二:解决方法: 登陆阿里云服务器,在阿里云服务器安全组中放行端口21,并且被动端口(39000 – 40000)也需要处于放行状态,进入宝塔Linux面板中的软件管理,找到Pure-Ftpd 1…

    2021年9月21日
    626