安逸资源网小编给大家带来优悦娱乐网:怎么快速在自己网站中识别百度蜘蛛?

我们会经常听到一些开发者问，百度蜘蛛是什么？最近，百度蜘蛛来的太频繁了，服务器也被抓爆了！ 如果最近没有百度蜘蛛怎么办？ 有许多站点希望获得百度蜘蛛的IP细分并将IP添加到白名单，但IP地址范围的动态变化并没有得到固定，所以我们无法宣布。

那么如何识别正确的百度蜘蛛呢？ 如今的干货可让您分两步轻松识别百度蜘蛛：

第一、查看UA信息

如果UA信息不正确，则可以直接将其判断为非百度搜索蜘蛛。 目前，UA分为三种应用场景：移动，PC和小程序。  UA的三个渠道如下：

移动UA：

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

或者:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA：

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

或者:

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA：

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

第二、双向DNS解析认证

第一步：DNS反查IP

开发人员在日志中服务器的IP地址上进行反向DNS查找，以确定蜘蛛是否来自百度搜索引擎。  Baiduspider的主机名以* .baidu.com或* .baidu.jp的格式命名，而不是* .baidu .com或* .baidu.jp冒充。

验证方法因平台而异，各不相同。 例如，在linux/windows/os三种平台下的验证方法如下：

1、在Linux平台上，可以使用host ip命令来反解ip，以确定它是否从Baidupider进行了抓取。

2、在Windows平台或IBM OS / 2平台上，可以使用nslookup ip命令来反解ip，以确定它是否来自Baiduspider抓取。 打开命令处理器，然后输入nslookup xxx.xxx.xxx.xxx（IP地址）以解析ip，以确定是否从Baidupider的抓取。

3、在macos平台上，您可以使用dig命令来反解ip以确定它是否从Baidupider进行了抓取。 打开命令处理器，然后输入dig -x xxx.xxx.xxx.xxx（IP地址）就可以解析ip，以确定是否从Baidupider的抓取。

第二步：对域名运行正向DNS查找

在第一步中，通过命令检索的域名运行正向DNS查找，以验证该域名与日志中访问服务器的原始IP地址一致。 如果IP地址一致，则可以确认蜘蛛来自百度搜索引擎。不一致既为冒充。

示例：

> host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

> host baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

文章末结语：