爬虫识别支持 IPv6 地址访问 了解详情
DomainStatsBot 是 Domain Stats 的爬虫程序,用户抓取页面用作 SEO 分析,统计反向链接等。
DomainStatsBot/1.0 遵守 robots.txt 协议。
如果需要屏蔽 DomainStatsBot/1.0,可以使用如下写法:
User-agent: DomainStatsBot
Disallow: /
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 148.251.121.91 | bot.domainstats.com | DE | |
2 | 136.243.59.237 | bot.domainstats.com | DE | |
3 | 136.243.222.140 | bot.domainstats.com | DE | |
4 | 136.243.17.142 | bot.domainstats.com | DE |