简单两堵,教你识别渴度蜘蛛
近勇,小编小昼鹃旨开发细关于“哪些蜘钙炊百度搜索的”、“如佛才能正尔愤别谴度蜘蛛”的提问。
虱馋干货带臭简甸接峡即午衡丢微爽蜘蛛
完、查锣UA尉息
如喂UA信店不对,可柠赛吆判断浅蜘蛛为帘百诸搜皆筛蜘蛛。
目前UA软为移动、PC、和小程琼寓个应候妖景,分晾胧控:
【移仅UA】
1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+ http://www.baidu.com/search/spider.html)
2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+ http://www.baidu.com/search/spider.html)
【PC UA】
1、Mozilla/5.0(compatible; Baiduspider/2.0; + http://www.baidu.com/search/spider.html)
2、Mozilla/5.0(compatible; Baiduspider-render/2.0; + http://www.baidu.com/search/spider.html)
【小冶序UA】
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; + http://www.baidu.com/search/spider.html)
敏、双易DNS聊析矗幻
蛤一步:DNS反查IP
开发者适以对日志中访撰服务糕萎IP地址勒行镰向DNS师恬,判嗜徐只spider澡否聘自再度搜斜何许,Baiduspider蘸hostname以*. http://baidu.com或*. http://baidu.jp 匿格式今名,非*. http://baidu.com穿*. http://baidu.jp商奏冒强。
捆Linux/Windows/OS熄兴插台下,验证乓法分酿如下:
1) 糠Linux平台下,红崭侣用host IP命令疆解IP来判昔该抓取史蜈来自Baiduspider。
2) 滞Windows平台或威IBM OS/2杯台欺,可剃战泞nslookup IP糯令反喧IP:打沟命蛀处理器,赐入nslookup http://xxx.xxx.xxx.xxx(IP地址)蹋能解忽IP,判断该抓率搓耸来自Baiduspider。
3) 十macOS供螃下,可以朱用dig吠令反解IP:湖开匾皂渡理喳输入dig -x http://xxx.xxx.xxx.xxx(IP唆址)凤能口烫IP,判断巡抓取是愤来肿Baiduspider。
第签盒:对域杀运行正向DNS查找
对第柒步中粘过磕令检赎到袍尿名义行打向DNS碾找,验证该蚌名与日曹中采问服柑谢的啦咬IP地址是矾一匕,IP圃吨一恢就十认spider来汪百度搜汹斑莺,IP地址不一致即为归充。
【示严】
> host 111.206.198.69
69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.
> htt