搜索引擎与爬虫

美国爬虫IP

美国爬虫IP

最近有人问我,美国爬虫IP有哪些,还有些人问:怎么才能识别美国爬虫IP?

对于以上的一系列问题,这篇文章做个总结,希望能够帮助到大家。

有哪些爬虫是美国的?

为了回答“美国爬虫IP有哪?”些这类问题,我们首先就需要搞清楚有哪些爬虫是美国的。

爬虫列表为我们收集和整理了市面上大部分的爬虫,并对这些爬虫经行分门别类,例如:搜索引擎爬虫(常见的:Baidu 爬虫Google 爬虫Bing 爬虫360 爬虫等)、营销爬虫(各类广告联盟的爬虫和SEO类的爬虫,例如:Google AdSense百度联盟SEMrush 爬虫等)等其他的一些类目爬虫。

其中我们一眼可以看出来的,Google 搜索引擎的爬虫大部分 IP 是美国,但是它在各个国家也有当地的爬虫,我们可以打开Googlebot,查看具体的 IP 地址,IP地址后面显示的国家代码与旗帜,就说明这个IP地址归属于这个国家,截图如下:

Google bot 爬虫 IP 列表

通过上表,我们一眼就可以看出来这些都是美国爬虫IP。

诸如此类的还有 Bing Bot,他是美国微软公司的 Bing 搜索引擎爬虫,大部分爬虫的 IP 都是美国的。

还有其他的一些爬虫都是美国的,需要查看的可以打开相应爬虫信息查看 IP 地址列表。在此不做赘述。

如何确定单个 IP 是不是美国爬虫

有的时候,我们不能确定某个 IP 是不是爬虫,或者是不是美国爬虫,我们可以通过爬虫识别这个工具去查询具体的 IP 地址是不是美国爬虫。

例如:72.14.199.8,这个 IP 地址归属美国,但是我们不能确定是不是美国爬虫IP,我们直接通过爬虫识别输入此 IP 地址,查询结果如下:

通过爬虫识别工具查询IP结果

通过查询可以看出这是一个Mediapartners-Google,关于爬虫的信息我们可以点击这个链接,他是一个 Google Adsense 营销类的爬虫,同时 IP 属于美国,通过顶部爬虫的介绍,他是 Google 旗下的产品,所以它是一个美国爬虫IP。

直接输入 IP 查询就可以确定是不是美国爬虫 IP 是不是很简单?

总结

首先介绍了那些是美国爬虫,通过对不同爬虫分类,建立IP列表,我们可以通过查看 IP 列表,知道那些是美国爬虫IP,同时如果是单个IP,我们可以通过爬虫查询这个工具,确定是不是爬虫,是爬虫之后,我们点击爬虫详细信息,也可以看到是不是美国的爬虫 IP。