爬虫识别支持 IPv6 地址访问 了解详情
MRGbot 是 MRG Web Services 的桌面网络爬虫的名称。MRGbot 模拟用户在桌面上的浏览活动。
因此,您的日志可能会显示来自 mrg.ro 的多台机器的访问,所有这些机器都使用 MRGbot 用户代理。完全同意网络是完全不受控制的异构文档的巨大集合。MRGbot 的目标是在不占用服务器带宽的情况下从每个站点抓取几个页面。
MRGbot 仅通过 HTTP/1.1 进行爬网。
如果您想阻止 MRGbot 抓取您网站上的内容,您有多种选择。请注意阻止 MRGbot 抓取页面、阻止 MRGbot 索引页面以及阻止爬虫或用户完全访问页面之间的区别。
MRGbot/1.0 是 MRG 公司开发的爬虫程序,当前的 User-agent 是:Mozilla/5.0 (compatible; MRGbot/1.0; +https://www.mrg.ro/bot.html)
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 62.231.95.189 | 62-231-95-189.rdsnet.ro | RO | |
2 | 62.231.95.186 | 62-231-95-186.rdsnet.ro | RO |
MRGbot/1.0 是 MRG 公司开发的爬虫程序,当前的 User-agent 是:Mozilla/5.0 (compatible; MRGbot/1.0;
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 62.231.95.189 | 62-231-95-189.rdsnet.ro | RO |