判断是否冒充百度蜘蛛(Baiduspider)的方法
转载自 百度站长俱乐部的。 其实在 百度搜索帮助中心–关于 Baiduspider 也有说明。 如何判断是否冒充Baiduspider的抓取?
如有发现一些仿冒Baiduspider抓取的情况,可用下面两种方法判断是否为Baiduspider。
方法1——Linux环境下
您可以使用host ip命令反解ip来判断Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名,非*.baidu.com即为冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
方法2——windows环境下
开始->运行->nslookup 123.456.78.90 (即抓取您网站的IP地址),查看name信息,未标识为Baiduspider即为冒充。
(注:某些情况可能用 开始->运行->cmd->nslookup 123.456.78.90 这样会正常点。)
C:\Documents and Settings\Owner>nslookup 123.456.78.90Server: vrouterAddress: 172.16.2.254Non-authoritative answer:Name: 123.456.78.90Address: 59.37.71.88C:\Documents and Settings\Owner>nslookup 123.125.66.120Server: vrouterAddress: 172.16.2.254Name: baiduspider-123-125-66-120.crawl.baidu.comAddress: 123.125.66.120
看来上面的描述可能会有些误会。有些人可能还不知道怎样用,下面再补充一下:
- 这不关网站用什么虚拟主机的事。
- 第一步:查看网站的访问日记。 找到疑似冒充百度Baiduspider的IP。
- 再用上面提到的方法验证就行了。
- 上面提到的windows环境和Linux环境是指你本人用的电脑。
再加一个表:
Baiduspider的user-agent是什么?
百度各个产品使用不同的user-agent:
产品名称 | 对应user-agent |
---|---|
无线搜索 | Baiduspider-mobile |
图片搜索 | Baiduspider-image |
视频搜索 | Baiduspider-video |
新闻搜索 | Baiduspider-news |
百度搜藏 | Baiduspider-favo |
百度联盟 | Baiduspider-cpro |
商务搜索 | Baiduspider-ads |
网页以及其他搜索 | Baiduspider |
~完
有点相关的文章
- 记录百度蜘蛛强盗般地抓取 (1.000)
- 从苏囧处学来的 (0.500)
- 博百优总结:排名四剑客 (0.500)
- A5:站长网第四届搜索引擎优化大赛比赛结果 (0.500)
- 2011 PR值飞不起来 (0.500)
- 体验神马时代的神马搜索 (RANDOM - 0.500)
虚拟主机怎么查?
这不关虚拟主机的事。 你查看网站的访问日记。 找到疑似冒充百度Baiduspider的IP。 用上面的方法验证就行了。
上面提到的windows环境和Linux环境是指你本人用的电脑。
学习了,虽然不太明白的说。。。。。 [呲牙]
这。。说得很清楚了。。
一天两篇,柳城很勤奋呐 [呲牙]
谢谢博主的方法!
百度蜘蛛是该去的地方不去,不该去的乱去
学到不少 谢谢
这个方法没用过,试试先
这个东西目前用不到的
不错啊!区别开了 是不是冒充百度 又能怎么样呢?
学习了不少。。谢谢 大哥!··
mingling 命令记不住,需要来查就是了。
腕時計 店舗,正規販売店