1、设置一个Robots文件限制网站的全部网页或者部分目录下网页不被百度收录。具体写法，参见：如何撰写Robots文件。
2、如何撰写Robots文件看到很多网站都冤铘讵柘没有robots文件，那么一个常规的robots.txt文件应该要这么写呢，小编明天给大家来说辔亿呶邂说robots.txt怎样写,robots文件常规的写法。下图是小编的robots文件，小编先给大家解释一下其中的写法。1、允许一切搜索引擎拜候 User-agent: * Allow:2、制止一切搜索引擎拜候 User-agent: * Disallow: /3、网站地图：Sitemap:哪些页下面要用robots.txt屏蔽明白怎样写了吗，但很多站长朋友还是不晓得哪些页下面需求屏蔽，让搜索引擎不被访问，其实很复杂，不想被搜索引擎抓取的页下面就屏蔽，那么哪些页下面是我们不想被搜索引擎抓取的呢。空白页下面：什么是空白页下面，比如注册页下面、联络我们、关于我们等页下面属于空白页下面，由于这种页下面在搜索引擎看来是没有意义的，没有人会搜索注册离开你的网站。后台页下面：后台是不被搜索引擎收录的，所以我们需求robots屏蔽后台登陆页下面。静态页下面：通常状况下，我们网站都会做伪静态，那么静态页下面我们会屏蔽掉。总结：robots文件有必要写，一来给搜索引擎做个更好的第一印象，其次是给搜索引擎做一个网站地图。
3、新的Robots文件一般在2天内生效如果您的网站在被百度收录之后才设置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。即网络爬虫不会检索屏蔽的页面内容
4、禁止收录以前百度已收录的内容需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。因为百度服务器有区域备份，多个服务器之间需一段时间才能完成同步更新。
5、拒绝被收录需求非常急迫如果您的拒绝被收录需求非常急迫，可以在反馈中心反馈，我们会尽快处理。以上信息是否解决了您的问题反馈中心网址：https://ziyuan.baidu.com/feedback#/
