禁止搜索引擎收录

 发表于 2014-04-15

        提升收录是SEO工作当中非常重要的一个指标,收录越高往往预示着能获取到更多的潜在流量。然而,在工作当中,有时也需要禁止一些页面的收录甚至抓取。
        在讲解为何要禁止搜索引擎收录之前,我们先来看一个真实的事例。2013年3月份,在谷歌搜索支付宝用户名或其它支付宝用户特征信息,就能看到用户的详细转帐信息,包括收款方、金额、付款方、备注信息等等核心的交易数据。此事件一出,立刻引发了帐户泄露恐慌,支付宝遭受到来自各方的舆论压力。
        通过上面的例子,我们明白了为什么要禁止页面的收录。现在我们简单来了解下搜索引擎的工作原理:搜索引擎通过蜘蛛程序抓取网页,识别网页内容,然后根据各项算法对网页进行索引排序。其中,在抓取网页环节,各大搜索引擎蜘蛛会根据网站的Robots协议来决定是否抓取某一类型的URL。为什么支付宝的用户交易信息会被谷歌收录呢?就是因为谷歌蜘蛛来到支付宝网站上抓取网页时,这些交易信息页面没有写入robots的禁止抓取协议中,所以谷歌收录了大量的这类型页面。
        知道了搜索引擎抓取网页的基本原理,及遵循的协议之后,我们只要根据我们的需要,将不想被搜索引擎抓取与收录的网页写入robots.txt文件或 meta robots标签中,即可达到禁止收录的目的。

评论 禁止搜索引擎收录

版权所有,未经许可,请勿转载,违者追究法律责任