分析日志真假百度（谷歌）蜘蛛如何识别？假蜘蛛的危害有哪些？我们的SEO优化人员在分析网站日志的时候一定有遇到，网站看似很多百度蜘蛛的ip来访，其实这其中有一部分是假的无效搜索引擎蜘蛛ip，而这些假蜘蛛并不友善，可能对网站造成影响，更容易混淆视听，让您分析蜘蛛抓取情况时误导你，所以分析日志我们要能够正确的识别百度（谷歌）真假蜘蛛。
两种方法轻松识别百度真假蜘蛛
一、看长相识别
当我们看的多了有经验了也就能一眼看出哪些是真的百度蜘蛛IP
百度官方真假蜘蛛文档是这样记录：
新版移动ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
所以根据百度的说法，不是长这个样子的就都是假的了，统统拉出去，比如就有一个这样的百度假蜘蛛。
假蜘蛛：
Baiduspider+(+http://www.baidu.com/search/spider.htm)
二、通过DOS命令查询
我们通过dos命令来查看，我们来找两个IP段220.181.108.140和117.28.255.37，
开始—运行—输入 cmd ，用命令nslookup +ip 看截图：
如果是真的IP段：
如何分辨真假百度搜索引擎蜘蛛IP
假的：
如何分辨真假百度搜索引擎蜘蛛IP
注意：只要是百度的IP段，代码中会有出现：name：baiduspider，如果没有出现，那就不是真的百度IP
PS:谷歌是一样的：会出现googlebot 其他一样
百度（谷歌）假蜘蛛有什么危害？
1、占用网站带宽，导致网站流量上升，增加额外开销；
2、在有限带宽的前提下，阻碍了正常蜘蛛的抓取，误导了我们在对网站开展SEO工作时的思路；
3、部分伪装成假蜘蛛的采集工具剽窃了我们的工作；
4..假冒蜘蛛不能抓取内容，不能形成建库收录，所以影响不是很大。
PS:假冒蜘蛛存在着一些危害，总的来说都在可控范围类，所以一旦发现假蜘蛛访问与抓取，可以暂时不用屏蔽，可以先观察百度站长的网站抓取是否正常，然后看具体的带来的危害，比如是否长时间出现此类假冒蜘蛛。观察一段时间后如果没问题就不用理会，如果有影响就用robots协议屏蔽掉此ip段的假冒蜘蛛，不过需要注意的是在屏蔽的时候不要屏蔽错误。
以上就是为大家分享的如何识别百度和谷歌真假蜘蛛的方法以及假蜘蛛的危害。大家记住，假蜘蛛的存在不一定对网站有影响，更重要的是你要知道哪些是假蜘蛛，别被误导。除以上两种识别方法外，在线百度一下蜘蛛真伪查询工具（输入需要查询ip）就能知道是否为真的百度蜘蛛。
评论