文章

记录百度蜘蛛强盗般地抓取

/1 评论/在： /通过：

有一个网站，在分析日志的时候发现，百度蜘蛛在一天内访问超过了150万次，其中100万次左右是重复抓取其中几个静态文件。这也太疯狂了吧，这哪是在抓取收录啊，这简直就是强盗嘛。具体来看看是哪些百度蜘蛛的IP，还有看看是哪几个静态文件这么讨百度蜘蛛喜欢。

阅读更多 →

判断是否冒充百度蜘蛛(Baiduspider)的方法

/14 评论/在： /通过：

转载自 百度站长俱乐部的。 其实在 百度搜索帮助中心–关于 Baiduspider 也有说明。 如何判断是否冒充Baiduspider的抓取？

如有发现一些仿冒Baiduspider抓取的情况，可用下面两种方法判断是否为Baiduspider。 阅读更多 →