记录百度蜘蛛强盗般地抓取


有一个网站,在分析日志的时候发现,百度蜘蛛在一天内访问超过了150万次,其中100万次左右是重复抓取其中几个静态文件。这也太疯狂了吧,这哪是在抓取收录啊,这简直就是强盗嘛。具体来看看是哪些百度蜘蛛的IP,还有看看是哪几个静态文件这么讨百度蜘蛛喜欢。

一天内共访问150万次

grep "Baiduspider" site.log|wc -l
1504957

百度蜘蛛大概有100个IP

在这150万次的访问中,大概有100个左右的IP,来看看IP段:

111.206.221.*IP段最多,将近70个IP
220.181.108.*
123.125.71.*

主要就是这3个IP段。

iconfont的文件

而在这150万次的访问中,其中有100万次是针对其中的几个静态文件,是iconfont的文件

.woff
.ttf

就是这2个后缀的文件,单个文件最多被访问36万次,总共合起来超100万次。

 

不过,当然也不能排除有人恶意伪造IP和user agent的行为。 不过这种奇葩行为,百度蜘蛛的可能性很大。

Baiduspider-render/2.0

再细查了一下,其中最主要的user agent是“Baiduspider-render/2.0”,找到了百度站长平台的一个公告:

来源:http://zhanzhang.baidu.com/wiki/990

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。

最新UA如下:

PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

 

公告的日期还是最近的,这个UA是3月24号增加的。

那么问题来了,现在CSS和JS要不要在robots.txt里面禁止百度蜘蛛的访问呢?有没有SEO大牛来解答?


一条回应:“记录百度蜘蛛强盗般地抓取”