判断是否冒充百度蜘蛛(Baiduspider)的方法

转载自 百度站长俱乐部的。 其实在 百度搜索帮助中心–关于 Baiduspider 也有说明。 如何判断是否冒充Baiduspider的抓取？

如有发现一些仿冒Baiduspider抓取的情况，可用下面两种方法判断是否为Baiduspider。

方法1——Linux环境下

您可以使用host ip命令反解ip来判断Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名，非*.baidu.com即为冒充。

$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.

方法2——windows环境下

开始->运行->nslookup 123.456.78.90 (即抓取您网站的IP地址)，查看name信息，未标识为Baiduspider即为冒充。

（注：某些情况可能用 开始->运行->cmd->nslookup 123.456.78.90 这样会正常点。）

C:\Documents and Settings\Owner>nslookup 123.456.78.90
Server:  vrouter
Address:  172.16.2.254
Non-authoritative answer:
Name:    123.456.78.90
Address:  59.37.71.88
C:\Documents and Settings\Owner>nslookup 123.125.66.120
Server:  vrouter
Address:  172.16.2.254
Name:    baiduspider-123-125-66-120.crawl.baidu.com
Address:  123.125.66.120

看来上面的描述可能会有些误会。有些人可能还不知道怎样用，下面再补充一下：

• 这不关网站用什么虚拟主机的事。
• 第一步：查看网站的访问日记。 找到疑似冒充百度Baiduspider的IP。
• 再用上面提到的方法验证就行了。
• 上面提到的windows环境和Linux环境是指你本人用的电脑。

再加一个表：

Baiduspider的user-agent是什么？

~完