搜索引擎与爬虫

爬虫 IP 查询

ip query

网站频繁被搜索引擎爬虫抓取,已经超过网站承受能力?但是你无法确定这个爬虫的 IP 是否是真正的搜索引擎爬虫,或则是伪造的搜索引擎爬虫?

这个时候,你可以试试爬虫识别这个网站。

首先,我们找到真假爬虫识别这一栏,具体位置截图如下:

Recognition of true and false crawlers

我们可以在查看更多里输入我们想要查询的 IP,我们可以得到所输入 IP 的查询结果,并以此来判断这个 IP 属于那个搜索引擎,以及是否恶意爬虫。示例是一个假冒百度的恶意抓取工具。

query ip

这样就杜绝了伪造爬虫蒙混过关,大量抓取网站的不道德行为。