提升收录是SEO工作当中非常重要的一个指标，收录越高往往预示着能获取到更多的潜在流量。然而，在工作当中，有时也需要禁止一些页面的收录甚至抓取。
        在讲解为何要禁止搜索引擎收录之前，我们先来看一个真实的事例。2013年3月份，在谷歌搜索支付宝用户名或其它支付宝用户特征信息，就能看到用户的详细转帐信息，包括收款方、金额、付款方、备注信息等等核心的交易数据。此事件一出，立刻引发了帐户泄露恐慌，支付宝遭受到来自各方的舆论压力。
        通过上面的例子，我们明白了为什么要禁止页面的收录。现在我们简单来了解下搜索引擎的工作原理：搜索引擎通过蜘蛛程序抓取网页，识别网页内容，然后根据各项算法对网页进行索引排序。其中，在抓取网页环节，各大搜索引擎蜘蛛会根据网站的Robots协议来决定是否抓取某一类型的URL。为什么支付宝的用户交易信息会被谷歌收录呢？就是因为谷歌蜘蛛来到支付宝网站上抓取网页时，这些交易信息页面没有写入robots的禁止抓取协议中，所以谷歌收录了大量的这类型页面。
        知道了搜索引擎抓取网页的基本原理，及遵循的协议之后，我们只要根据我们的需要，将不想被搜索引擎抓取与收录的网页写入robots.txt文件或 meta robots标签中，即可达到禁止收录的目的。