如何识别假爬虫

我们在检查网站日志的时候，经常会遇到各种各样的爬虫。有的是正常的爬虫，例如：搜索引擎爬虫（百度搜索引擎爬虫、Google 搜索引擎爬虫，Bing 搜索引擎爬虫、YandexBot 等），还有一些各种功能的爬虫，可以在这里查看：list crawlers。

但是，互联网上并不是所有的爬虫都是有益的，有些爬虫为了极力隐藏自己，于是就会学习真实爬虫的一些特征。还有一些是假爬虫，也就是伪造那些搜索引擎的爬虫，会来抓取你网站的数据，虽然 User-agent 看起来与搜索引擎的无异，但是 IP 却不属于该搜索引擎的，这个时候据需要我们精准的识别这些假爬虫的 IP 地址。

通过爬虫 IP 查询工具，我们便可以很轻松的识别假爬虫，例如：

34.68.229.128 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

这个是我简化了的日志记录，前面是 IP 地址，后面是访问爬虫的 User-agent ，通过 User-agent 我们可以看出来他是一个 Google 搜索引擎的蜘蛛。

通过查询，我们可以看到这是一个假的 Google 蜘蛛，截图如下：

我们只需要输入假爬虫的 IP 地址，就可以看出来爬虫的一些信息。这样不管是真假李逵（真假爬虫）都逃不出我们的火眼金睛了。

同时如果我们想查看更多的假爬虫，可以到这里去：list crawlers fake bot，整理了互联网上常见的假爬虫。

总结

通过介绍什么是假爬虫，以及如何通过爬虫 IP 查询这个工具，精准识别假爬虫。