1、什么是搜索引擎蜘蛛？搜索引擎蜘蛛其实是搜索引擎的一个自动程序，像蜘蛛一样在网上爬来爬去，所以就称之为搜索引擎蜘蛛。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在搜索引擎中搜索到您网站的网页。因为现在互联网的发展速度很快，不可能再用人工去采集数据了。所以搜索引擎就用一些特定的程序到互联网上去抓取内容，来保证数据的实时性。
2、我们怎样才能看到网络蜘蛛来过自己的网站呢，都有哪些搜索引擎蜘蛛来过呢?这就需要去分析网站日志了。网站日志就是服务器在运行和处理请求的时候产生的记录文件，以logfile为文件名，存放在主机中。将它下载下来，打开后我们会发现是一大堆很杂乱的记录信息。哪些才是有价值的信息呢？这里借助逆火网站分析器来分析一下。先将日志文件（以某网站为例）导入到逆火网站日志分析器中。
3、 在分析报告中，我们可以看到搜索引擎蜘蛛的抓取记录。如下图： 上图，我们可以看到所有网络蜘蛛的抓取记录，wespe.despider抓取记录最多为14,435，占所有网络蜘蛛抓取记录的47.66%。上面还可以看出雅虎、百度、谷歌、搜搜等引擎蜘蛛的抓取记录。利用这款软件就可以轻松的知道，所有搜索引擎蜘蛛的抓取记录，而不用再去找网站日志中搜索引擎的的抓取记录了。在这款软件里网络蜘蛛的抓取排行、网络蜘蛛的IP以及没有被网络蜘蛛访问到得文件等都有详细的记录。
4、在逆火网站日志分析器中，还可以帮您了解到您网站流量有多少，搜索关键字是否合理，用户用什么样的浏览器、搜索引擎，在您的网页上停留了多久以及在访问中出现了哪些错误等等功能。借助它，您就可以轻松的知道网站的运行情况了。
