促进蜘蛛爬行网站的技巧

 发表于 2013-02-04

一、确保服务器工作正常

要时常查看服务器的日志,查看是否有存在异常情况,比如是否阶段性存在大量500错误,是否存在大量304状态或者是在抓取的时候,平时间隔很短,这段时间突然间隔很长时间才抓取一次页面等等基本问题,然后根据具体的问题,做具体的针对性分析。比如,最近收录下降了,那么首先要检查,是不是抓取的次数减少了;如果最近的更新收录速度慢了,那么检查一下抓取的频度是不是降低了;如果用户日志没有异常,而爬虫日志中存在大量500错误,那么就要查看一下服务器维护记录,是不是有做过防火墙或者其他防攻击的安全部署,如果没有,那么还要查看,是不是网卡的全双工和半双工配置存在问题,又或者是不是交换机的buffer缓存溢出等问题导致的数据丢包引起的500错误状态。

二、使页面尽量简洁,确保打开速度快 

对于这一点来说,行业网站确实很难把握,既要网站功能又要漂亮的UI/交互界面,只有在网站代码的编写上多注意,DIV可以,表格也可以,但有一点,就是如果要搜索引擎自动动态引用页面内容部分作为动态描述生成,应当注意标签嵌套的控制。另外,对于样式和JS等脚本尽量代码复用,样式方面,一定要减少页样式和行内样式,通过MVC模式开发使网页在后期维护方面,减少麻烦。对于页面内图片请求,模版涉及到的图片,尽量使用精灵图片(CSS sprites),以最大限度降低页面中的图片请求数量,减少请求时间,提高页面加载速度。如果是大量图片的页面,建议使用瀑布流方式加载和呈现,减少等待时间。

三、检查并去除死链接

网站建立好之后,应该对全站链接进行检测,排除错误链接和死链接,减少蜘蛛对死链接的抓取,减少错误页面的抓取时间给予其他页面,来保证每次都能够抓取尽可能多的页面。常用的工具有,GOOGLE的网站管理员工具,网站地图工具SiteMapBuilderXENU

四、有规律的文章更新

每天更新多少量没有一定之规,但是合理的专题周期是非常有必要的,规律性的新内容更新,在一段时间之后,蜘蛛会获取并统计这个更新的规律,有规律的来进行内增内容抓取,使得你的文章更新后,能够尽可能短的时间内被抓取到,只要保证文章质量,那么文章的收录是没有问题的。

五、为站点制作网站地图并优化站内结构

网站地图的制作有HTML的也有XML的格式,相信有心做行业网站的站长都会注意到,不同的用途,格式也是不同的,网站地图的制作比较简单,网站地图包含整个网站的结构同时也是一个页面,但是却很重要!当然你如果做个地图给蜘蛛看,那我建议你还是用工具好,这样格式不会出错误。另外,站内结构尽量逻辑结构扁平化,是的搜索引擎蜘蛛可以一次尽可能多的发现更多的页面。

六、尽量多从正规和相关站点获得反向链接

定期检查网站的反向链接,添加链接,不管是友情链接还是软文链接,通过这个操作可以提高网站的权重,在一定周期之后,会发现,权重的增加,能够影响到每次抓取的停留时间和抓取数量。

评论 促进蜘蛛爬行网站的技巧

版权所有,未经许可,请勿转载,违者追究法律责任