判断是否冒充百度蜘蛛(Baiduspider)的方法


转载自 百度站长俱乐部的。 其实在 百度搜索帮助中心–关于 Baiduspider 也有说明。 如何判断是否冒充Baiduspider的抓取?

如有发现一些仿冒Baiduspider抓取的情况,可用下面两种方法判断是否为Baiduspider。

方法1——Linux环境下

您可以使用host ip命令反解ip来判断Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名,非*.baidu.com即为冒充

$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.

方法2——windows环境下

开始->运行->nslookup 123.456.78.90 (即抓取您网站的IP地址),查看name信息,未标识为Baiduspider即为冒充。

(注:某些情况可能用 开始->运行->cmd->nslookup 123.456.78.90 这样会正常点。)

C:\Documents and Settings\Owner>nslookup 123.456.78.90
Server:  vrouter
Address:  172.16.2.254
Non-authoritative answer:
Name:    123.456.78.90
Address:  59.37.71.88
C:\Documents and Settings\Owner>nslookup 123.125.66.120
Server:  vrouter
Address:  172.16.2.254
Name:    baiduspider-123-125-66-120.crawl.baidu.com
Address:  123.125.66.120

看来上面的描述可能会有些误会。有些人可能还不知道怎样用,下面再补充一下:

  • 这不关网站用什么虚拟主机的事。
  • 第一步:查看网站的访问日记。 找到疑似冒充百度Baiduspider的IP。
  • 再用上面提到的方法验证就行了。
  • 上面提到的windows环境和Linux环境是指你本人用的电脑。

再加一个表:

Baiduspider的user-agent是什么?

百度各个产品使用不同的user-agent:
产品名称 对应user-agent
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
网页以及其他搜索 Baiduspider
~完

14条回应:“判断是否冒充百度蜘蛛(Baiduspider)的方法”

    • 这不关虚拟主机的事。 你查看网站的访问日记。 找到疑似冒充百度Baiduspider的IP。 用上面的方法验证就行了。

      上面提到的windows环境和Linux环境是指你本人用的电脑。