我们优化网站时，对网站服务器日志进行分析是非常重要的一个环节，网站服务器日志完整的记录了搜索引擎蜘蛛在网站爬行情况和页面访问状态，当网站出现流量、收录等数据异常时，通过网站日志分析可以快速查找出问题所在，下面为大家简单介绍下网站日志需要分析哪些数据。
        统计不同搜索引擎蜘蛛的访问状态，特别是对网站页面的抓取数量和停留时间。而且可以分析蜘蛛的IP分布以及来访时间，如果在一天24小时蜘蛛对网站上的页面进行不间断的抓取，说明蜘蛛认为这个网站上有价值的内容比较多，这点对网站的收录和快照更新频率影响比较明显。
        搜索引擎会凭借自己的技术能力来不断的抓取网站信息。很多情况下，我们可以通过日志发现蜘蛛在不断的抓取相同的URL地址，而且频率较高，如果出现这种情况，我们就需要思考是否需要重新对网站链接结构进行调整了。
        通过分析日志，还可以快速了解蜘蛛都对哪个类型的页面感兴趣，以及哪个搜索引擎的蜘蛛抓取频率最高。如果蜘蛛对一些数据量比较大的页面，抓取频率和数量都非常低，就说明我们需要对这类页面进行必要的SEO调整了。