一、屏蔽死链、空链。
在robots文档中设置屏蔽之后，搜索引擎蜘蛛就不会去抓取死链和空链，否则让搜索引擎蜘蛛爬到网站的死链、空链的话，搜索引擎就会认为你的网站设置有问题，用户体验度太差，从而给网站差评，留下不好的印象，而robots设置屏蔽之后就不会出现这种情况。
二、避免搜索引擎蜘蛛抓取无意义内容。
搜索引擎抓取无意义的内容不仅会浪费时间，还可能抓到无意义内容之后就放弃继续抓取，导致网站的那些优质文章没有被抓取到。比如网站中的各种脚本、css样式等。
三、保护网站部分隐私。
不同的网站用途也不同，有些网站是以销售为目的的，这类网站有可能会有用户注册信息，这些东西搜索引擎蜘蛛爬到了也没意义，反而会让消费者觉得自己的信息泄露不再信任该网站，所以在robots中设置一下还是很有必要的。