爬虫识别

爬虫识别支持 IPv6 地址访问 了解详情

Barkrowler

爬虫识别 - 资源 > 营销 > Barkrowler
BarkrowlerBarkrowler 概况

eXenSa

Barkrowler

Barkrowler status 活动

Barkrowler 说明

Babbar.tech 正在运营一个名为 Barkrowler 的爬虫服务,它为我们的世界网络的图示提供动力和更新。这个数据库和我们计算的所有指标被用来为搜索引擎社区提供一套在线营销和参考工具。

Barkrowler/0.9
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

如何增加 Barkrowler 查询之间的间隔?

我们在同一主机上的两个查询之间有 5 秒的间隔时间策略,在同一域的同一 IP 上的两个查询之间有 2.5 秒的间隔时间策略。您可以使用 robots.txt 文件延长抓取延迟:

User-agent: barkrowler
Crawl-Delay: [delayInSec]

请注意,抓取延迟只适用于特定的主机。如果同一台网站服务器托管着不同域名的网站,上述规则将适用。如果您的服务器托管了大量具有大量独立域名的网站,那么不太可能但也有可能在给定时间内有几个爬虫查询同一台服务器。

如何防止 Barkrowler 抓取我网站指定目录?

robots.txt 文件允许您使用 disallow 指令禁止 Barkrowler 抓取您网站的一部分或全部。例如,要防止 Barkrowler 访问 wordpress 管理部分:

User-agent: barkrowler
Disallow: /wp-admin/
IP 地址总数
279
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 217.113.194.94 c094.babbar.eu FR FR flag
2 217.113.194.93 c093.babbar.eu FR FR flag
3 217.113.194.97 c097.babbar.eu FR FR flag
4 217.113.194.96 c096.babbar.eu FR FR flag
5 217.113.194.92 c092.babbar.eu FR FR flag
6 217.113.194.101 c101.babbar.eu FR FR flag
7 217.113.194.100 c100.babbar.eu FR FR flag
8 217.113.194.99 c099.babbar.eu FR FR flag
9 217.113.194.98 c098.babbar.eu FR FR flag
10 217.113.194.95 c095.babbar.eu FR FR flag
注:最多只显示10个 IP 地址
返回顶部