搜索引擎与爬虫
google ip查询
Google 的产品众多,尤其是我们经常使用的 Android 和 Google 搜索引擎,都是它的产品,下图总结了 Google 所有产品的产品图:
我们在运营网站的时候,有很过 Google 产品所开发的爬虫来抓取网站内容,提供给用户。对于一些 Google 的爬虫,我们大部分是欢迎的,尤其是 Google 搜索引擎爬虫,由于受到广大站长的欢迎,同时市场份额又非常的大,所以经常会有一些伪造 Google 搜索引擎的爬虫恶意抓取我们网站上的内容。
如果伪造爬虫无节制的抓取网站内容,将会给服务器造成很大的压力,同时也给正常用户访问造成了不好的体验。
所以我们有必要识别 Google 的 IP 地址,防止伪造爬虫抓取我们网站内容。
Google 爬虫识别工具提供了此类功能,只需要输入 Google 的 IP 地址,即可识别出此 IP 具体是那个 Google 的产品。
例如:
-
72.14.199.6是 Mediapartners-Google(Google AdSense) 的爬虫 IP 地址;
-
66.249.79.101 是 Google 搜索引擎的爬虫 IP 地址;
-
72.14.199.8 是 Google Ads 的爬虫 IP 地址。
还有其他很多,在此不一一列举,需要查看更多内容,可以在爬虫列表 查看。
只需要这一个工具,即可将 Google 产品通过 IP 识别出来,是不是很方便。