爬虫识别支持 IPv6 地址访问 了解详情
Babbar.tech 正在运营一个名为 Barkrowler 的爬虫服务,它为我们的世界网络的图示提供动力和更新。这个数据库和我们计算的所有指标被用来为搜索引擎社区提供一套在线营销和参考工具。
我们在同一主机上的两个查询之间有 5 秒的间隔时间策略,在同一域的同一 IP 上的两个查询之间有 2.5 秒的间隔时间策略。您可以使用 robots.txt 文件延长抓取延迟:
User-agent: barkrowler
Crawl-Delay: [delayInSec]
请注意,抓取延迟只适用于特定的主机。如果同一台网站服务器托管着不同域名的网站,上述规则将适用。如果您的服务器托管了大量具有大量独立域名的网站,那么不太可能但也有可能在给定时间内有几个爬虫查询同一台服务器。
robots.txt 文件允许您使用 disallow 指令禁止 Barkrowler 抓取您网站的一部分或全部。例如,要防止 Barkrowler 访问 wordpress 管理部分:
User-agent: barkrowler
Disallow: /wp-admin/
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.113.194.94 | c094.babbar.eu | FR | |
2 | 217.113.194.93 | c093.babbar.eu | FR | |
3 | 217.113.194.97 | c097.babbar.eu | FR | |
4 | 217.113.194.96 | c096.babbar.eu | FR | |
5 | 217.113.194.92 | c092.babbar.eu | FR | |
6 | 217.113.194.101 | c101.babbar.eu | FR | |
7 | 217.113.194.100 | c100.babbar.eu | FR | |
8 | 217.113.194.99 | c099.babbar.eu | FR | |
9 | 217.113.194.98 | c098.babbar.eu | FR | |
10 | 217.113.194.95 | c095.babbar.eu | FR |