爬虫识别

爬虫识别支持 IPv6 地址访问 了解详情

SEMrushBot

爬虫识别 - 资源 > 营销 > SEMrushBot
SEMrushBotSEMrushBot 概况

Semrush Inc

SEMrushBot

SEMrushBot status 活动

SEMrushBot 说明

SemrushBot 是Semrush 发出的搜索机器人软件,用于发现和收集新的和更​​新的网络数据。

SemrushBot 收集的数据用于:

  • 公共反向链接搜索引擎索引作为专用工具进行维护,称为反向链接分析(链接网络图)
  • 网站审核工具,用于分析页面 SEO、技术和可用性问题
  • 反向链接审核工具,可帮助发现和清理您的个人资料中潜在的危险反向链接
  • 链接构建工具,可帮助您找到潜在客户、与他们联系并监控您新获得的反向链接
  • SEO 写作助手工具检查 URL 是否可访问
  • 页面 SEO 检查器和 SEO 内容模板工具报告
  • 主题研究工具报告
  • SplitSignal 工具在您的网站上创建 SEO A/B 测试
  • ContentShake AI 工具报告

如何阻止 SemrushBot 抓取您的网站

机器人正在抓取您的网页以帮助解析您的网站内容,因此您网站内的相关信息很容易被索引,并且更容易被搜索您所提供内容的用户获取。

尽管大多数机器人都是无害的,甚至相当有益,但您可能仍希望阻止它们抓取您的网站(但请注意,并非网络上的每个人都在使用机器人来帮助索引您的网站)。最简单、最快捷的方法是使用 robots.txt 文件。此文本文件包含有关机器人应如何处理您的网站数据的说明。

重要提示: robots.txt 文件必须放在其适用的网站主机的顶级目录中。否则,它将对 SemrushBot 行为没有任何影响。

User-agent: SemrushBot
Disallow: /
SemrushBot/0.9
User-Agent
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
40
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 184.73.146.41 ec2-184-73-146-41.compute-1.amazonaws.com US US flag
2 184.73.60.255 ec2-184-73-60-255.compute-1.amazonaws.com US US flag
3 184.73.45.254 ec2-184-73-45-254.compute-1.amazonaws.com US US flag
4 184.73.31.225 ec2-184-73-31-225.compute-1.amazonaws.com US US flag
5 184.73.0.176 ec2-184-73-0-176.compute-1.amazonaws.com US US flag
6 184.72.171.202 ec2-184-72-171-202.compute-1.amazonaws.com US US flag
7 184.72.168.246 ec2-184-72-168-246.compute-1.amazonaws.com US US flag
8 184.72.68.95 ec2-184-72-68-95.compute-1.amazonaws.com US US flag
9 174.129.83.124 ec2-174-129-83-124.compute-1.amazonaws.com US US flag
10 107.22.75.243 ec2-107-22-75-243.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
SemrushBot
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
8
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US US flag
2 184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US US flag
3 184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US US flag
4 184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US US flag
5 184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US US flag
6 184.72.163.70 ec2-184-72-163-70.compute-1.amazonaws.com US US flag
7 50.19.162.61 ec2-50-19-162-61.compute-1.amazonaws.com US US flag
8 50.16.162.168 ec2-50-16-162-168.compute-1.amazonaws.com US US flag
SemrushBot/0.91
User-Agent
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
11
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 184.72.187.47 ec2-184-72-187-47.compute-1.amazonaws.com US US flag
2 184.72.140.220 ec2-184-72-140-220.compute-1.amazonaws.com US US flag
3 107.22.128.82 ec2-107-22-128-82.compute-1.amazonaws.com US US flag
4 107.21.155.119 ec2-107-21-155-119.compute-1.amazonaws.com US US flag
5 107.21.149.52 ec2-107-21-149-52.compute-1.amazonaws.com US US flag
6 107.20.48.129 ec2-107-20-48-129.compute-1.amazonaws.com US US flag
7 75.101.210.171 ec2-75-101-210-171.compute-1.amazonaws.com US US flag
8 50.16.154.80 ec2-50-16-154-80.compute-1.amazonaws.com US US flag
9 50.16.11.183 ec2-50-16-11-183.compute-1.amazonaws.com US US flag
10 23.20.75.166 ec2-23-20-75-166.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
SemrushBot/0.92
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
11
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 50.17.33.197 ec2-50-17-33-197.compute-1.amazonaws.com US US flag
2 184.73.143.31 ec2-184-73-143-31.compute-1.amazonaws.com US US flag
3 204.236.244.200 ec2-204-236-244-200.compute-1.amazonaws.com US US flag
4 184.72.94.71 ec2-184-72-94-71.compute-1.amazonaws.com US US flag
5 174.129.166.77 ec2-174-129-166-77.compute-1.amazonaws.com US US flag
6 107.22.134.187 ec2-107-22-134-187.compute-1.amazonaws.com US US flag
7 107.22.68.116 ec2-107-22-68-116.compute-1.amazonaws.com US US flag
8 107.21.183.210 ec2-107-21-183-210.compute-1.amazonaws.com US US flag
9 50.19.36.141 ec2-50-19-36-141.compute-1.amazonaws.com US US flag
10 50.17.105.131 ec2-50-17-105-131.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
SemrushBot/0.95
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
4
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.103 US US flag
2 46.229.161.138 US US flag
3 46.229.161.136 US US flag
4 46.229.161.132 US US flag
SemrushBot/0.96.3
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
3
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.99 US US flag
2 46.229.164.98 US US flag
3 46.229.164.100 US US flag
SemrushBot/0.97
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.101 US US flag
2 46.229.164.102 US US flag
SemrushBot/0.96.4
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.97 US US flag
SemrushBot/0.97
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.100 US US flag
SemrushBot-SA/0.97
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 213.174.152.174 US US flag
2 46.229.173.65 US US flag
SemrushBot/0.98
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
10
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.102 US US flag
2 46.229.164.98 US US flag
3 46.229.164.100 US US flag
4 46.229.164.101 US US flag
5 46.229.164.99 US US flag
6 46.229.164.111 US US flag
7 46.229.164.114 US US flag
8 46.229.164.113 US US flag
9 46.229.164.115 US US flag
10 46.229.164.112 US US flag
SemrushBot-SI/0.97
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
12
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.53 US US flag
2 85.208.98.241 113.siteaudit.bot.semrush.com US US flag
3 213.174.147.83 US US flag
4 192.243.56.76 US US flag
5 85.208.98.53 2.si.bot.semrush.com US US flag
6 85.208.96.49 US US flag
7 85.208.98.49 1.si.bot.semrush.com US US flag
8 213.174.146.73 US US flag
9 213.174.146.71 US US flag
10 192.243.55.100 US US flag
注:最多只显示10个 IP 地址
SemrushBot/1-bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
11
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 192.243.55.132 US US flag
2 192.243.55.136 US US flag
3 192.243.55.138 US US flag
4 192.243.55.135 US US flag
5 192.243.55.129 US US flag
6 46.229.164.99 US US flag
7 192.243.55.133 US US flag
8 192.243.55.134 US US flag
9 192.243.55.130 US US flag
10 192.243.55.131 US US flag
注:最多只显示10个 IP 地址
SemrushBot/1.1~bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
16
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.101 US US flag
2 46.229.164.102 US US flag
3 46.229.164.100 US US flag
4 46.229.164.98 US US flag
5 192.243.55.133 US US flag
6 192.243.55.129 US US flag
7 192.243.55.134 US US flag
8 192.243.55.138 US US flag
9 192.243.55.132 US US flag
10 192.243.55.131 US US flag
注:最多只显示10个 IP 地址
SEMrushBot
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
5
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.17 bot.semrush.com US US flag
2 85.208.98.36 bot.semrush.com US US flag
3 85.208.98.21 bot.semrush.com US US flag
4 213.174.152.152 US US flag
5 192.243.55.126 US US flag
SemrushBot/1.2~bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
27
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.164.102 US US flag
2 46.229.164.100 US US flag
3 46.229.164.99 US US flag
4 46.229.164.98 US US flag
5 46.229.164.101 US US flag
6 46.229.168.77 crawl13.bl.semrush.com US US flag
7 46.229.168.85 US US flag
8 46.229.168.83 US US flag
9 46.229.168.81 US US flag
10 46.229.168.70 crawl6.bl.semrush.com US US flag
注:最多只显示10个 IP 地址
SemrushBot-BA
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
32
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.29 3.bat.bot.semrush.com US US flag
2 85.208.98.20 6.bat.bot.semrush.com US US flag
3 85.208.98.16 8.bat.bot.semrush.com US US flag
4 85.208.98.31 5.bat.bot.semrush.com US US flag
5 85.208.98.22 7.bat.bot.semrush.com US US flag
6 85.208.98.24 2.bat.bot.semrush.com US US flag
7 85.208.98.19 bot.semrush.com US US flag
8 85.208.98.17 bot.semrush.com US US flag
9 85.208.98.23 bot.semrush.com US US flag
10 85.208.98.18 bot.semrush.com US US flag
注:最多只显示10个 IP 地址
SemrushBot/2~bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
52
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.168.134 US US flag
2 46.229.168.130 US US flag
3 46.229.168.142 US US flag
4 46.229.168.135 US US flag
5 46.229.168.133 US US flag
6 46.229.168.143 US US flag
7 46.229.168.138 US US flag
8 46.229.168.145 US US flag
9 46.229.168.129 US US flag
10 46.229.168.137 US US flag
注:最多只显示10个 IP 地址
SemrushBot/1.0~bm
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
18
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 192.243.55.70 US US flag
2 213.174.152.187 US US flag
3 213.174.152.186 US US flag
4 213.174.152.185 US US flag
5 213.174.152.184 US US flag
6 213.174.152.183 US US flag
7 213.174.152.182 US US flag
8 213.174.152.181 US US flag
9 213.174.152.143 US US flag
10 213.174.152.142 US US flag
注:最多只显示10个 IP 地址
SemrushBot/3~bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
30
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.168.142 US US flag
2 46.229.168.161 US US flag
3 46.229.168.151 US US flag
4 46.229.168.138 US US flag
5 46.229.168.163 US US flag
6 46.229.168.153 US US flag
7 46.229.168.147 US US flag
8 46.229.168.129 US US flag
9 46.229.168.139 US US flag
10 46.229.168.135 US US flag
注:最多只显示10个 IP 地址
SemrushBot/3~bl
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 194.36.110.216 GB GB flag
SemrushBot/6~bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
72
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 185.191.171.9 9.bl.bot.semrush.com CY CY flag
2 185.191.171.40 40.bl.bot.semrush.com CY CY flag
3 185.191.171.37 37.bl.bot.semrush.com CY CY flag
4 185.191.171.44 44.bl.bot.semrush.com CY CY flag
5 185.191.171.11 11.bl.bot.semrush.com CY CY flag
6 185.191.171.13 13.bl.bot.semrush.com CY CY flag
7 185.191.171.34 34.bl.bot.semrush.com CY CY flag
8 185.191.171.38 38.bl.bot.semrush.com CY CY flag
9 185.191.171.23 23.bl.bot.semrush.com CY CY flag
10 185.191.171.43 43.bl.bot.semrush.com CY CY flag
注:最多只显示10个 IP 地址
SemrushBot/6~bl
爬虫类别
是否遵守 robots.txt 协议
遵守
IP 地址总数
29
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 46.229.168.163 crawl33.bl.semrush.com US US flag
2 46.229.168.162 crawl32.bl.semrush.com US US flag
3 46.229.168.161 crawl31.bl.semrush.com US US flag
4 46.229.168.154 crawl26.bl.semrush.com US US flag
5 46.229.168.153 crawl25.bl.semrush.com US US flag
6 46.229.168.152 crawl24.bl.semrush.com US US flag
7 46.229.168.151 crawl23.bl.semrush.com US US flag
8 46.229.168.150 crawl22.bl.semrush.com US US flag
9 46.229.168.149 crawl21.bl.semrush.com US US flag
10 46.229.168.148 crawl20.bl.semrush.com US US flag
注:最多只显示10个 IP 地址
SemrushBot-BM/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
9
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.38 US US flag
2 85.208.98.51 US US flag
3 85.208.96.71 US US flag
4 85.208.96.70 US US flag
5 85.208.96.69 US US flag
6 85.208.96.68 US US flag
7 85.208.96.67 US US flag
8 85.208.96.66 US US flag
9 85.208.96.65 US US flag
SemrushBot
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
4
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.18 bot.semrush.com US US flag
2 46.229.161.131 mx.semrush.com US US flag
3 85.208.98.48 US US flag
4 85.208.98.25 bot.semrush.com US US flag
SemrushBot/7~bl
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
41
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 185.191.171.7 crawl7.bl.semrush.com CY CY flag
2 185.191.171.6 crawl6.bl.semrush.com CY CY flag
3 185.191.171.5 crawl5.bl.semrush.com CY CY flag
4 185.191.171.18 crawl18.bl.semrush.com CY CY flag
5 185.191.171.17 crawl17.bl.semrush.com CY CY flag
6 185.191.171.11 crawl11.bl.semrush.com CY CY flag
7 185.191.171.14 crawl14.bl.semrush.com CY CY flag
8 185.191.171.8 crawl8.bl.semrush.com CY CY flag
9 185.191.171.16 crawl16.bl.semrush.com CY CY flag
10 185.191.171.1 1.bl.bot.semrush.com CY CY flag
注:最多只显示10个 IP 地址
SiteAuditBot/0.97
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明:

要阻止 SemrushBot 因不同的 SEO 和技术问题而抓取您的网站,可以使用如下写法:

User-agent: SiteAuditBot
Disallow: /
IP 地址总数
10
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.199 71.siteaudit.bot.semrush.com US US flag
2 85.208.98.200 72.siteaudit.bot.semrush.com US US flag
3 85.208.98.198 70.siteaudit.bot.semrush.com US US flag
4 85.208.98.197 69.siteaudit.bot.semrush.com US US flag
5 85.208.98.193 65.siteaudit.bot.semrush.com US US flag
6 85.208.98.192 64.siteaudit.bot.semrush.com US US flag
7 85.208.98.195 67.siteaudit.bot.semrush.com US US flag
8 85.208.98.196 68.siteaudit.bot.semrush.com US US flag
9 85.208.98.201 73.siteaudit.bot.semrush.com US US flag
10 85.208.98.194 66.siteaudit.bot.semrush.com US US flag
SemrushBot-CT/0.97
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明:

未找到任何关于 SemrushBot-CT/0.97 爬虫详细信息。

IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 85.208.98.50 bot.semrush.com US US flag
返回顶部