搜索引擎通过蜘蛛爬行抓取网页，通过分析网站日志，可以了解蜘蛛在网站中的抓取规律，以及网站在结构、收录、内容更新等方面存在的不足。

在进行日志分析时，一个可以事半功倍的工具是必不可少的，例如光年日志分析工具、逆火日志分析工具、Excel、SQL，在这些所有的工具里，excel是用到的次数最多的，所以可以到Excelhome学习一些必要的数据拆分整理技能。

本篇文章主要侧重一些分析维度的介绍，如果有机会，会对以下主要维度做实例演示分析。初级的日志分析可以掌握以下维度的分析，高级的日志分析需要将日志数据与产品数据、流量数据、SEO的基础数据做结合进行分析。以下是一些经常用到的分析维度：

1、总访问次数

蜘蛛对网站的访问次数可以间接反映网站的权重，为了有效提升蜘蛛访问次数，需要在服务器性能、深层外链建设、层级结构、入口添加等方面进行分析优化

2、总停留时间

蜘蛛停留时间与网站结构、服务器响应时间、网站简洁的代码、网站内容更新等有很密切的关系

3、总抓取量

蜘蛛抓取量与网站结构、网站内容更新、服务器cookie设定等有密切的关系。蜘蛛抓取量与网站的收录直接相关，抓取量越大意味着网站收录可能越多

4、单次访问抓取量

蜘蛛单次抓取的页面数量多，说明网站有价值内容多，并且网站结构利于搜索引擎蜘蛛的抓取

5、单页抓取停留时间

单页抓取停留时间与页面加载速度、页面内容信息量、页面代码简洁度等有密切关系，提高网页加载速度，减少蜘蛛单页停留时间，提升蜘蛛总抓取，进而增加网站收录，提升网站整体流量

6、目录抓取

蜘蛛主要抓取的目录应该与网站的重点栏目一致，为了提升重点栏目的收录、权重及关键词排名，需要从外链、内链等角度调整SEO策略；针对不需要收录或者抓取的栏目，需要使用robots禁止抓取

7、页面抓取

蜘蛛在网站停留时间有限，搭建良好的网站结构，为重点页面建设入口，减少页面的重复抓取率，将蜘蛛引入更多不同的页面，有利于提升网站的收录

8、状态码

清除页面中的死链，有利于蜘蛛顺利爬行页面，提升搜索引擎友好度