1、文件头部规则：robots.txt文件的开头为User-agent:开头，用来指定搜索引擎蜘蛛，如果要针对百度搜索蜘蛛，可以输入User-agent:Baiduspider如果要对全体搜索引擎起作用，则输入User-agent:*
2、Disallow规则：Disallow: /abc表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。Disallow: /abc/表示仅禁止访问abc文件夹下的所有文件，但是不限制abc.php、abc.html文件。
3、Allow规则：Allow规则同Disallow。
4、Sitemap规则：Sitemap用来告诉搜索引擎网站地图的位置Sitemap: http://你的域名/sitemap.xml其中sitemap.xml是你的网站的网站地图文件。
5、为了避免收录WordPress系统文件：Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/pluginsDisallow: /wp-content/themes
6、为了避免收录重复的内容：Disallow: /feedDisallow: /articles/*/feed
7、为了正确引导搜索引擎找到网址地图（如果有的话）Sitemap: http://你的域名/sitemap.xml其中sitemap.xml是你的网站的网站地图文件。
8、总结全部的robots.txt全文如下：User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /feedDisallow: /articles/*/feedSitemap: http://你的域名/sitemap.xml现在，robots.txt做好了，然后就是将此文件上传至服务器。
9、使用Xftp连接服务器，并打开网站根目录。
10、如果服务器没有安装ftp服务，则先用Xshell连接服务器，再点击右上方的 文件夹 图标，进入xftp.
11、在xftp中将robots.txt上传至网站的根目录下。
12、在浏览器中输入http://你的域名/robots.txt如果能正常访问，则ok。
