网站抓取频次下降的原因及分析

2015-06-11
  • 3496
  • 0
        什么是抓取频次,即Baiduspider每天访问你的网站的次数,可以通过百度站长平台查看最新抓取频次数据。如果发现网站的抓取频次大幅度下降,该如何分析其原因?该如何恢复抓取频次?下面我就这两个问题,给予解答。
        网站抓取频次下降的原因分析一般步骤如下:
        1、 通过网站服务器监控工具,查看最近的可用率和响应时间。且尽快让相关人员给予排查,解决服务器问题后,然后重新抓取诊断中“报错”,再提高抓取频次。
        2、 查看站长平台信息提醒中是否有邮件提醒“Baiduspider 通过解析到IP,无法正常抓取网站”,如有提醒请参考上面步骤“1”进行排查。
        3、 通过日志分析,查看抓取总数、各个页面类型抓取量、抓取状态码等等。找出抓取异常的页面类型。
        4、 了解网站最近改版动态及Robots文件书写规则是否有误,是否有误屏蔽蜘蛛操作。
        5、 查看百度站长平台官方报道,确认百度内部是否做调整。如果百度有调整,则持续监控一段时间。
        6、 如上述均没有异常,可在百度站长平台进行问题反馈。
        以上是个人一些操作经验,步骤的先后顺序可按实际情况进行调整,一般影响抓取问题的有以下几点:服务器连接错误、url规范、重定向错误、robots封禁问题、DNS问题等等。