用 robots.txt 文件的好处是什么

搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，robots.txt 用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。只有在需要禁止抓取某些内容时，写 robots.txt 才有意义。robots 文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。有的服务器设置有问题，robotx 文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这可能使搜索引擎错误解读robots 文件信息，所以建议就算允许抓取所有内容，也要建一个空的 robots.txt 文件，存放在根目录下。使用 robots.txt 文件可以让搜索引擎看网站更规范和权威。用 robots.txt 文件的好处主要有四方面。

1、用 robots.txt 屏蔽死链接。死链接就是原来存在，后来因为改版或更新等缘故删除了的链接和网页，可以用 robots.txt 屏蔽。

2、用 robots.txt 屏蔽相似的页面或没内容的页面。我们知道，搜索引擎收录网页后，会对网页进行“审核”，当网页的相似度很高时，会删除其中一个。

3、用 robots.txt 屏蔽多余的链接，当动态和静态共存时，一般去掉动态的。网站中经常会存在多个链接指向同一个页面，这种情况普遍存在时，会让搜索引擎对网站的权威性产生怀疑。通过 robots.txt 把非主要的链接去掉。

4、用 robots.txt 屏蔽可能存在的“被 K”外部链接。很多网站允许用户放自己的网站链接，但因为过多的“被 K”外部链接可能连累自己。所以，我们把所有外部链接放入一个链接目录下，然后通过robots.txt 统一屏蔽。