文章

记录百度蜘蛛强盗般地抓取

有一个网站,在分析日志的时候发现,百度蜘蛛在一天内访问超过了150万次,其中100万次左右是重复抓取其中几个静态文件。这也太疯狂了吧,这哪是在抓取收录啊,这简直就是强盗嘛。具体来看看是哪些百度蜘蛛的IP,还有看看是哪几个静态文件这么讨百度蜘蛛喜欢。

阅读更多

判断是否冒充百度蜘蛛(Baiduspider)的方法

转载自 百度站长俱乐部的。 其实在 百度搜索帮助中心–关于 Baiduspider 也有说明。 如何判断是否冒充Baiduspider的抓取?

如有发现一些仿冒Baiduspider抓取的情况,可用下面两种方法判断是否为Baiduspider。 阅读更多