百度蜘蛛是如何爬取的
第一，百度蜘蛛极为活跃,经常看看你的服务器日志，你就怀发现百度蜘蛛抓取的频率和数量拎枋辏话都非常大。百度蜘蛛几乎每天都会访问我的论坛，并且至少抓取几十个网页。我的论坛只开通了不到一个月，网页数目还没有完善，但是百度蜘蛛的活动已经相当可观了。大量捕获是百度的强项，其他任何搜索引擎都没办法相比。但是百度中文网页数目并不是最大的，百度蜘蛛抓取的频率和网页更新情况有关。
第二，我注意了一下蜘蛛似乎更注重页面内的因素。与Google更加重视内部，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，--不相信你做100个页面，做得再漂亮，只要链接没有层次，哈哈，不好意思，你最多就孤零零的被收录可怜的一点点东西。
第四：百度排名算法是以网页为基础，比较少关注整个网站的主题。联系到上一点，这说明百度排名算法中比较注重内部结构缺少完整的语义分析。所以一些目前比较认同的关于site：之间那几个所谓关系到搜索质量的东西，并不是百度蜘蛛所最敏感的，
第五：充分利用百度的一个最大的优势--大家可能觉得它的优势对我们来说就是难事了嘛：呵呵，的确是可以利用的，百度收录速度可以用海量来形容，免费推广网正因为速度快，就给我们留下了可以利用的空间！虽然百度对优化并不感冒，但是只要你优化方式友好，还是能起到不错的效果，--我比较认同适量优化！
