1、百度提供robots检测工具根据提示，或许第一印象会感觉网站出了什么问题，那我们来检测一下吧，可以看到这些要允许或者禁止百度收录的页面/目录可以在这个智能检测工具里看到。
2、如果设置有错，解决方案可以在“检测robots.txt”工具旁边有个“生成robots.txt”，根据提示，选择抓取或不允许抓取，将目录写好；写好之后，上传到自己网站的根目录下（也就是网站的顶级目录，对应你顶级域名文件的目录，而非再往下的二级目录）；操作这步之后，下一步在百度站长工具中robots.txt工具做下更新
3、如果设置没错，解决方案1）有可能也会因为服务器对于频繁抓取的页面采取了屏蔽措施。2）有可能百度自身误检测的原因这些都很难判断，如果是自有服务器可以监控得到这些不正常的数据，并给予解决；如果确认设置没错，那么在“检测robots.txt”工具中检测完之后，拉到最底下；可以看到一个“网站robots.txt在百度的状态”，里面列明了robots的更新时间，这时只需点击“更新”即可了。其它就等着百度自己再去抓取。
4、“抓取诊断”站长工具如果对于网站一些检测有疑虑，可以通过百度站长工具的“网站分析”》“抓取诊断”，在里面输入页面，通过这种方式来检查百度的抓取情况。直接在域名后面输入你的文件名或网址，以此检测页面的情况。
5、“百度索引量”站长工具这个也很重要，尤其是我们提交的是网站地图，我们也要了解自己网站在百度的原始索引数据是多少，有增还是有减，提示“网站的重要目录对百度进行了封禁”前后是否有索引减少的情况。可以直接在“网站分析”》“百度索引量”里看到首页的索引情况；其实这个工具可以看到百度的数据收录情况，通过“新增规则”，将二级目录也添加进去，这样能够更明白是在哪些目录出现了问题。
