如果网站一些页面不想被搜索引擎抓取和收录，我们会用到robots文件，里面设置搜索引擎的抓取规则。这种情况常用于新网站上线并处于测试阶段或者网站页面新增。
有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，robots屏蔽搜索引擎后，为什么还是被收录？
先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。
个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，最后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。