优悦娱乐网:怎么快速在自己网站中识别百度蜘蛛?
安逸资源网小编给大家带来优悦娱乐网:怎么快速在自己网站中识别百度蜘蛛?
我们会经常听到一些开发者问,百度蜘蛛是什么?最近,百度蜘蛛来的太频繁了,服务器也被抓爆了! 如果最近没有百度蜘蛛怎么办? 有许多站点希望获得百度蜘蛛的IP细分并将IP添加到白名单,但IP地址范围的动态变化并没有得到固定,所以我们无法宣布。
那么如何识别正确的百度蜘蛛呢? 如今的干货可让您分两步轻松识别百度蜘蛛:
第一、查看UA信息
如果UA信息不正确,则可以直接将其判断为非百度搜索蜘蛛。 目前,UA分为三种应用场景:移动,PC和小程序。 UA的三个渠道如下:
移动UA:
Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
或者:
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
或者:
Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
小程序UA:
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
第二、双向DNS解析认证
第一步:DNS反查IP
开发人员在日志中服务器的IP地址上进行反向DNS查找,以确定蜘蛛是否来自百度搜索引擎。 Baiduspider的主机名以* .baidu.com或* .baidu.jp的格式命名,而不是* .baidu .com或* .baidu.jp冒充。
验证方法因平台而异,各不相同。 例如,在linux/windows/os三种平台下的验证方法如下:
1、在Linux平台上,可以使用host ip命令来反解ip,以确定它是否从Baidupider进行了抓取。
2、在Windows平台或IBM OS / 2平台上,可以使用nslookup ip命令来反解ip,以确定它是否来自Baiduspider抓取。 打开命令处理器,然后输入nslookup xxx.xxx.xxx.xxx(IP地址)以解析ip,以确定是否从Baidupider的抓取。
3、在macos平台上,您可以使用dig命令来反解ip以确定它是否从Baidupider进行了抓取。 打开命令处理器,然后输入dig -x xxx.xxx.xxx.xxx(IP地址)就可以解析ip,以确定是否从Baidupider的抓取。
第二步:对域名运行正向DNS查找
在第一步中,通过命令检索的域名运行正向DNS查找,以验证该域名与日志中访问服务器的原始IP地址一致。 如果IP地址一致,则可以确认蜘蛛来自百度搜索引擎。不一致既为冒充。
示例:
> host 111.206.198.69
69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.
> host baiduspider-111-206-198-69.crawl.baidu.com
baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69
评论列表