爬虫识别

爬虫识别支持 IPv6 地址访问 了解详情

AhrefsBot

爬虫识别 - 资源 > 营销 > AhrefsBot
AhrefsBotAhrefsBot 概况

Ahrefs Pte Ltd

AhrefsBot

AhrefsBot status 活动

AhrefsBot 说明

AhrefsBot 是一个网络爬虫，它为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断地爬网，用新链接填充我们的数据库，并检查以前找到的链接的状态，为我们的用户提供最全面和最新的数据。

Ahrefs Bot 从网络收集的链接数据被全球数以千计的数字营销人员用于计划、执行和监控他们的在线营销活动。

AhrefsBot 遵守 robots.txt 协议，如果您要屏蔽所有 AhrefsBot 的爬虫，写法如下：

User-agent: AhrefsBot
Disallow: /

减慢 AhrefsBot 爬虫的抓取速度，写法如下：

User-agent: AhrefsBot
Crawl-Delay: [value]

value 的单位是秒，例如：您设置的是 5，也就是两次之间的抓取最低间隔 5 秒。

AhrefsBot/2.0
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
8
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 213.186.127.13 213.186.127.13.utel.net.ua UA UA flag
2 213.186.127.15 node.ukftp1.com UA UA flag
3 213.186.127.16 213.186.127.16.utel.net.ua UA UA flag
4 213.186.127.18 213.186.127.18.utel.net.ua UA UA flag
5 213.186.127.12 213.186.127.12.utel.net.ua UA UA flag
6 213.186.127.7 213.186.127.7.utel.net.ua UA UA flag
7 185.195.24.62 firstbyte-2.domengood.ru RU RU flag
8 94.250.254.92 vds2.domengood.ru RU RU flag
AhrefsBot/3.1
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/3.1; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
33
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 213.186.127.12 213.186.127.12.utel.net.ua UA UA flag
2 213.186.127.7 213.186.127.7.utel.net.ua UA UA flag
3 213.186.127.13 213.186.127.13.utel.net.ua UA UA flag
4 213.186.119.136 213.186.119.136.utel.net.ua UA UA flag
5 212.113.35.162 nano2.dc.ukrtelecom.ua UA UA flag
6 213.186.119.137 213.186.119.137.utel.net.ua UA UA flag
7 213.186.127.4 213.186.127.4.utel.net.ua UA UA flag
8 213.186.119.142 213.186.119.142.utel.net.ua UA UA flag
9 213.186.119.135 213.186.119.135.utel.net.ua UA UA flag
10 213.186.127.5 213.186.127.5.utel.net.ua UA UA flag
注：最多只显示10个 IP 地址
AhrefsBot/4.0
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
82
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 173.199.115.51 hosted-by.reliablesite.net US US flag
2 173.199.120.59 173.199.120.59.reliableservers.com US US flag
3 173.199.116.91 173.199.116.91.choopa.com US US flag
4 173.199.118.171 173-199-118-171.choopa.net US US flag
5 173.199.114.243 173.199.114.243.choopa.com US US flag
6 173.199.117.235 173-199-117-235.choopa.net US US flag
7 173.199.114.171 173.199.114.171.reliableservers.com US US flag
8 173.199.115.123 173.199.115.123.ahrefs.com US US flag
9 173.199.115.147 srvxx.com US US flag
10 173.199.117.243 173.199.117.243.constant.com US US flag
注：最多只显示10个 IP 地址
AhrefsBot/5.0
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
849
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 5.10.83.93 5d.53.0a05.ip4.static.sl-reverse.com NL NL flag
2 5.10.83.88 58.53.0a05.ip4.static.sl-reverse.com NL NL flag
3 5.10.83.82 52.53.0a05.ip4.static.sl-reverse.com NL NL flag
4 5.10.83.3 3.53.0a05.ip4.static.sl-reverse.com NL NL flag
5 5.10.83.75 4b.53.0a05.ip4.static.sl-reverse.com NL NL flag
6 5.10.83.49 31.53.0a05.ip4.static.sl-reverse.com NL NL flag
7 5.10.83.90 5a.53.0a05.ip4.static.sl-reverse.com NL NL flag
8 5.10.83.73 49.53.0a05.ip4.static.sl-reverse.com NL NL flag
9 5.10.83.79 4f.53.0a05.ip4.static.sl-reverse.com NL NL flag
10 5.10.83.39 27.53.0a05.ip4.static.sl-reverse.com NL NL flag
注：最多只显示10个 IP 地址
AhrefsBot/5.1
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
646
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 51.255.65.27 hydrogen025.a.ahrefs.com FR FR flag
2 51.255.65.94 hydrogen092.a.ahrefs.com FR FR flag
3 164.132.161.24 hydrogen122.a.ahrefs.com FR FR flag
4 51.255.65.68 hydrogen066.a.ahrefs.com FR FR flag
5 163.172.65.210 oxygen180.a.ahrefs.com FR FR flag
6 164.132.161.96 hydrogen194.a.ahrefs.com FR FR flag
7 51.255.65.2 hydrogen000.a.ahrefs.com FR FR flag
8 51.255.65.18 hydrogen016.a.ahrefs.com FR FR flag
9 163.172.64.229 oxygen062.a.ahrefs.com FR FR flag
10 51.255.65.12 hydrogen010.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/5.2
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1195
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 137.74.201.100 hydrogen288.a.ahrefs.com FR FR flag
2 164.132.162.160 hydrogen312.a.ahrefs.com FR FR flag
3 164.132.162.155 hydrogen307.a.ahrefs.com FR FR flag
4 164.132.162.153 hydrogen305.a.ahrefs.com FR FR flag
5 164.132.162.158 hydrogen310.a.ahrefs.com FR FR flag
6 164.132.161.92 hydrogen190.a.ahrefs.com FR FR flag
7 164.132.161.4 hydrogen102.a.ahrefs.com FR FR flag
8 164.132.161.21 hydrogen119.a.ahrefs.com FR FR flag
9 164.132.161.28 hydrogen126.a.ahrefs.com FR FR flag
10 164.132.161.46 hydrogen144.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/5.2 News
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/5.2; News; +http://ahrefs.com/robot/)
爬虫类别
营销
是否遵守 robots.txt 协议
遵守
IP 地址总数
27
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.149.224 ip224.ip-54-36-149.eu FR FR flag
2 54.36.149.213 ip213.ip-54-36-149.eu FR FR flag
3 54.36.149.210 ip210.ip-54-36-149.eu FR FR flag
4 54.36.149.202 ip202.ip-54-36-149.eu FR FR flag
5 54.36.149.198 ip198.ip-54-36-149.eu FR FR flag
6 54.36.149.197 ip197.ip-54-36-149.eu FR FR flag
7 54.36.149.182 ip182.ip-54-36-149.eu FR FR flag
8 54.36.149.181 ip181.ip-54-36-149.eu FR FR flag
9 54.36.149.178 ip178.ip-54-36-149.eu FR FR flag
10 54.36.149.170 ip170.ip-54-36-149.eu FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/6.1
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
417
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.148.171 hydrogen171-ext2.a.ahrefs.com FR FR flag
2 54.36.149.9 hydrogen265-ext2.a.ahrefs.com FR FR flag
3 54.36.149.47 hydrogen303-ext2.a.ahrefs.com FR FR flag
4 54.36.149.1 hydrogen257-ext2.a.ahrefs.com FR FR flag
5 54.36.148.102 hydrogen102-ext2.a.ahrefs.com FR FR flag
6 54.36.149.28 hydrogen284-ext2.a.ahrefs.com FR FR flag
7 54.36.149.39 hydrogen295-ext2.a.ahrefs.com FR FR flag
8 54.36.148.229 hydrogen229-ext2.a.ahrefs.com FR FR flag
9 54.36.148.77 hydrogen077-ext2.a.ahrefs.com FR FR flag
10 54.36.148.104 hydrogen104-ext2.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/6.1 News
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/6.1; News; +http://ahrefs.com/robot/)
爬虫类别
营销
是否遵守 robots.txt 协议
遵守
IP 地址总数
14
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.149.223 ip-54-36-149-223.a.ahrefs.com FR FR flag
2 54.36.149.220 ip-54-36-149-220.a.ahrefs.com FR FR flag
3 54.36.149.217 ip217.ip-54-36-149.eu FR FR flag
4 54.36.149.215 ip-54-36-149-215.a.ahrefs.com FR FR flag
5 54.36.149.214 ip-54-36-149-214.a.ahrefs.com FR FR flag
6 54.36.149.206 ip-54-36-149-206.a.ahrefs.com FR FR flag
7 54.36.149.205 ip-54-36-149-205.a.ahrefs.com FR FR flag
8 54.36.149.204 ip204.ip-54-36-149.eu FR FR flag
9 54.36.149.203 ip203.ip-54-36-149.eu FR FR flag
10 54.36.149.200 ip-54-36-149-200.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/6.1
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/6.1; http://ahrefs.com/robot/)
爬虫类别
营销
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 51.255.65.46 hydrogen044.a.ahrefs.com FR FR flag
AhrefsSiteAudit/6.1
User-Agent
Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
368
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.148.248 hydrogen248-ext2.a.ahrefs.com FR FR flag
2 54.36.149.64 hydrogen320-ext2.a.ahrefs.com FR FR flag
3 54.36.148.105 hydrogen105-ext2.a.ahrefs.com FR FR flag
4 54.36.149.6 hydrogen262-ext2.a.ahrefs.com FR FR flag
5 54.36.148.90 hydrogen090-ext2.a.ahrefs.com FR FR flag
6 54.36.148.114 hydrogen114-ext2.a.ahrefs.com FR FR flag
7 54.36.148.136 hydrogen136-ext2.a.ahrefs.com FR FR flag
8 54.36.148.62 hydrogen062-ext2.a.ahrefs.com FR FR flag
9 54.36.149.42 hydrogen298-ext2.a.ahrefs.com FR FR flag
10 54.36.149.2 hydrogen258-ext2.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/7.0
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
2984
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 51.222.253.18 proxy-ca017-ext2.a.ahrefs.com CA CA flag
2 51.222.253.20 proxy-ca019-ext2.a.ahrefs.com CA CA flag
3 51.222.253.7 proxy-ca006-ext2.a.ahrefs.com CA CA flag
4 51.222.253.8 proxy-ca007-ext2.a.ahrefs.com CA CA flag
5 51.222.253.10 proxy-ca009-ext2.a.ahrefs.com CA CA flag
6 51.222.253.17 proxy-ca016-ext2.a.ahrefs.com CA CA flag
7 51.222.253.5 proxy-ca004-ext2.a.ahrefs.com CA CA flag
8 51.222.253.11 proxy-ca010-ext2.a.ahrefs.com CA CA flag
9 51.222.253.4 proxy-ca003-ext2.a.ahrefs.com CA CA flag
10 51.222.253.16 proxy-ca015-ext2.a.ahrefs.com CA CA flag
注：最多只显示10个 IP 地址
AhrefsBot/7.0 News
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/7.0; News; +http://ahrefs.com/robot/)
爬虫类别
营销
是否遵守 robots.txt 协议
遵守
IP 地址总数
10
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.149.222 ip-54-36-149-222.a.ahrefs.com FR FR flag
2 54.36.149.221 ip-54-36-149-221.a.ahrefs.com FR FR flag
3 54.36.149.218 ip-54-36-149-218.a.ahrefs.com FR FR flag
4 54.36.149.216 ip-54-36-149-216.a.ahrefs.com FR FR flag
5 54.36.149.212 ip-54-36-149-212.a.ahrefs.com FR FR flag
6 54.36.149.211 ip-54-36-149-211.a.ahrefs.com FR FR flag
7 54.36.149.209 ip-54-36-149-209.a.ahrefs.com FR FR flag
8 54.36.149.207 ip-54-36-149-207.a.ahrefs.com FR FR flag
9 54.36.149.195 ip-54-36-149-195.a.ahrefs.com FR FR flag
10 54.36.149.192 ip-54-36-149-192.a.ahrefs.com FR FR flag
AhrefsBot/7.0 SA
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/7.0; SA; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
69
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.148.119 hydrogen119-ext2.a.ahrefs.com FR FR flag
2 51.222.253.8 ip8.ip-51-222-253.net CA CA flag
3 51.222.253.9 proxy-ca008-ext2.a.ahrefs.com CA CA flag
4 51.222.253.17 proxy-ca016-ext2.a.ahrefs.com CA CA flag
5 51.222.253.18 proxy-ca017-ext2.a.ahrefs.com CA CA flag
6 54.36.148.196 hydrogen196-ext2.a.ahrefs.com FR FR flag
7 54.36.148.73 hydrogen073-ext2.a.ahrefs.com FR FR flag
8 54.36.148.13 hydrogen013-ext2.a.ahrefs.com FR FR flag
9 54.36.149.30 hydrogen286-ext2.a.ahrefs.com FR FR flag
10 54.36.148.133 hydrogen133-ext2.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
AhrefsBot/3.0
User-Agent
Mozilla/5.0 (compatible; AhrefsBot/3.0; +http://ahrefs.com/robot/)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明：

AhrefsBot/3.0 是 Ahrefs 的爬虫程序，AhrefsBot/3.0 已经不再活跃。

当前的 User-agent 为：Mozilla/5.0 (compatible; AhrefsBot/3.0; +http://ahrefs.com/robot/)

IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 213.186.119.138 213.186.119.138.utel.net.ua UA UA flag
2 213.186.119.131 213.186.119.131.utel.net.ua UA UA flag
AhrefsSiteAudit/6.1
User-Agent
Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
爬虫类别
营销
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明：

AhrefsSiteAudit 是一款网络爬虫，为 Ahrefs 的站点审核工具提供支持。Ahrefs 用户可以使用站点审核来分析网站并查找技术 SEO 和页面 SEO 问题。

此机器人可以抓取任何网站（除非被禁止），并通过默认将抓取限制为每 2 秒 1 个请求来防止网站服务器过载。如果您是网站所有者，您可以以更高的速度抓取自己的网站，还可以允许 AhrefsSiteAudit 抓取工具忽略 robots.txt。为此，您需要在站点审核工具中验证所有权。

IP 地址总数
92
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.36.149.70 hydrogen326-ext2.a.ahrefs.com FR FR flag
2 54.36.148.106 hydrogen106-ext2.a.ahrefs.com FR FR flag
3 54.36.148.155 hydrogen155-ext2.a.ahrefs.com FR FR flag
4 54.36.148.69 hydrogen069-ext2.a.ahrefs.com FR FR flag
5 54.36.149.91 hydrogen347-ext2.a.ahrefs.com FR FR flag
6 54.36.149.19 hydrogen275-ext2.a.ahrefs.com FR FR flag
7 54.36.148.200 hydrogen200-ext2.a.ahrefs.com FR FR flag
8 54.36.148.222 hydrogen222-ext2.a.ahrefs.com FR FR flag
9 54.36.148.193 hydrogen193-ext2.a.ahrefs.com FR FR flag
10 54.36.148.135 hydrogen135-ext2.a.ahrefs.com FR FR flag
注：最多只显示10个 IP 地址
相关文章推荐
rogerbot 爬虫介绍
你需要知道的 10 大互联网爬虫
爬虫系列：连接网站与解析 HTML
在线通过 mac 地址识别设备
iON Cloud 怎么样
腾讯云香港服务器绕路到美国
IPv6地址%
ICP备案和公安网备案通过
新增搬瓦工 CN2 GIA 监测点
MAC Address 如何查
相关爬虫推荐
Elisabot
Elisabot
montastic-monitor
montastic-monitor
Closure Compiler Service
Closure Compiler Service
inoreader.com
inoreader.com
psbot
psbot
Mediumbot
Mediumbot
Licorne crawler
Licorne crawler
SEBot-WA
SEBot-WA
Google-Ads
Google-Ads
Adbeat bot
Adbeat bot
相关 ASN 推荐
AS205017 - SWISS-KRONO-AS - SWISS KRONO sp. z o.o.
AS22828 - ASN-FDA
AS400714 - ABH-AS
AS199953 - COI - Centralny Osrodek Informatyki
AS34615 - UNIVERSAL-EXPORTS - Andrew Vieyra
AS141039 - TEFINCOMHOST-AS-AP Packethub s.a.
AS138560 - LIGHTWAY-AS-AP Lightway Communication Ltd.
AS28950 - ZSZIK-AS - AGENCJA RESTRUKTURYZACJI I MODERNIZACJI ROLNICTWA
AS211516 - SPACELINE-AS - Maciej Gorski trading as "SpaceLine-Networks"
AS56474 - CCDCUK - Computacenter (UK) Ltd
AS50662 - NEONET-AS - PP "Scientific-industrial enterprise 'Leokom'
AS141010 - SAMONLINE-AS-AP SAM ONLINE
AS2719 - PIXEL8
AS42019 - AFTAB - Aftab Communications and Informatics Company
AS14728 - MW-INDIANA
AS36455 - METROCAST-NORTH
AS138275 - MALIKBB-AS Malik Cable And Broadband
AS393515 - R2NET
AS200678 - ITEXPRES - ISP Alliance a.s.
AS134555 - ENCOO-AS-AP Encoo Pty Ltd
相关云服务厂商推荐
Hostkey
Hostkey
INCX
INCX
Bytemark
Bytemark
M247
M247
Cloud Cone
Cloud Cone
Ion Cloud
Ion Cloud
Host Dare
Host Dare
DMIT.io
DMIT.io
Clouvider
Clouvider
腾讯云
腾讯云
返回顶部