搜索引擎与爬虫
爬虫 IP 查询
网站频繁被搜索引擎爬虫抓取,已经超过网站承受能力?但是你无法确定这个爬虫的 IP 是否是真正的搜索引擎爬虫,或则是伪造的搜索引擎爬虫?
这个时候,你可以试试爬虫识别这个网站。
首先,我们找到真假爬虫识别这一栏,具体位置截图如下:
我们可以在查看更多里输入我们想要查询的 IP,我们可以得到所输入 IP 的查询结果,并以此来判断这个 IP 属于那个搜索引擎,以及是否恶意爬虫。示例是一个假冒百度的恶意抓取工具。
这样就杜绝了伪造爬虫蒙混过关,大量抓取网站的不道德行为。