网站服务器日志，完整记录了蜘蛛在本网站的爬行情况和页面访问状态，特别是当网站一些SEO参数出现异常的时候，通过日志分析来查找问题所在，就显得尤为重要。多数情况下，需要分析以下几方面的数据。
        统计不同搜索引擎蜘蛛的访问状态，特别是对网站页面的抓取数量和停留时间。而且可以分析蜘蛛的IP分布以及来访时间，如果在一天24小时蜘蛛对网站上的页面进行不间断的抓取，说明蜘蛛认为这个网站上有价值的内容比较多，这点对网站的收录和快照更新频率影响比较明显。
        搜索引擎会凭借自己的技术能力来不断的抓取网站信息。很多情况下，我们可以通过日志发现蜘蛛在不断的抓取相同的URL地址，而且频率较高，如果出现这种情况，我们就需要思考是否需要重新对网站链接结构进行调整了。
        通过分析日志，还可以快速了解蜘蛛都对哪个类型的页面感兴趣，以及哪个搜索引擎的蜘蛛抓取频率最高。如果蜘蛛对一些数据量比较大的页面，抓取频率和数量都非常低，就说明我们需要对这类页面进行必要的SEO调整了。
        搜索引擎蜘蛛在抓取页面的时候，同时会返回抓取状态码。我们需要注意返回码是301、404、和5开头的页面，其中以5开头的页面最为严重，可以直接导致此类页面流量急剧下降，出现大量404页面，要及时通过百度站长平台向搜索引擎递交。