SEMrushBot 详细信息 - 爬虫识别

所属公司

Semrush Inc

官方文档

SEMrushBot

爬虫状态

活动

SemrushBot 是Semrush 发出的搜索机器人软件，用于发现和收集新的和更新的网络数据。

SemrushBot 收集的数据用于：

公共反向链接搜索引擎索引作为专用工具进行维护，称为反向链接分析（链接网络图）
网站审核工具，用于分析页面 SEO、技术和可用性问题
反向链接审核工具，可帮助发现和清理您的个人资料中潜在的危险反向链接
链接构建工具，可帮助您找到潜在客户、与他们联系并监控您新获得的反向链接
SEO 写作助手工具检查 URL 是否可访问
页面 SEO 检查器和 SEO 内容模板工具报告
主题研究工具报告
SplitSignal 工具在您的网站上创建 SEO A/B 测试
ContentShake AI 工具报告

如何阻止 SemrushBot 抓取您的网站

机器人正在抓取您的网页以帮助解析您的网站内容，因此您网站内的相关信息很容易被索引，并且更容易被搜索您所提供内容的用户获取。

尽管大多数机器人都是无害的，甚至相当有益，但您可能仍希望阻止它们抓取您的网站（但请注意，并非网络上的每个人都在使用机器人来帮助索引您的网站）。最简单、最快捷的方法是使用 robots.txt 文件。此文本文件包含有关机器人应如何处理您的网站数据的说明。

重要提示： robots.txt 文件必须放在其适用的网站主机的顶级目录中。否则，它将对 SemrushBot 行为没有任何影响。

User-agent: SemrushBot
Disallow: /

User-Agent

SemrushBot/0.9

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	184.73.146.41	ec2-184-73-146-41.compute-1.amazonaws.com	US
2	184.73.60.255	ec2-184-73-60-255.compute-1.amazonaws.com	US
3	184.73.45.254	ec2-184-73-45-254.compute-1.amazonaws.com	US
4	184.73.31.225	ec2-184-73-31-225.compute-1.amazonaws.com	US
5	184.73.0.176	ec2-184-73-0-176.compute-1.amazonaws.com	US
6	184.72.171.202	ec2-184-72-171-202.compute-1.amazonaws.com	US
7	184.72.168.246	ec2-184-72-168-246.compute-1.amazonaws.com	US
8	184.72.68.95	ec2-184-72-68-95.compute-1.amazonaws.com	US
9	174.129.83.124	ec2-174-129-83-124.compute-1.amazonaws.com	US
10	107.22.75.243	ec2-107-22-75-243.compute-1.amazonaws.com	US

注：最多只显示10个 IP 地址

User-Agent

SemrushBot/Nutch-1.5-SNAPSHOT

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	204.236.243.108	ec2-204-236-243-108.compute-1.amazonaws.com	US
2	184.73.142.88	ec2-184-73-142-88.compute-1.amazonaws.com	US
3	184.73.58.164	ec2-184-73-58-164.compute-1.amazonaws.com	US
4	184.73.13.192	ec2-184-73-13-192.compute-1.amazonaws.com	US
5	184.72.181.183	ec2-184-72-181-183.compute-1.amazonaws.com	US
6	184.72.163.70	ec2-184-72-163-70.compute-1.amazonaws.com	US
7	50.19.162.61	ec2-50-19-162-61.compute-1.amazonaws.com	US
8	50.16.162.168	ec2-50-16-162-168.compute-1.amazonaws.com	US

User-Agent

SemrushBot/0.91

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	184.72.187.47	ec2-184-72-187-47.compute-1.amazonaws.com	US
2	184.72.140.220	ec2-184-72-140-220.compute-1.amazonaws.com	US
3	107.22.128.82	ec2-107-22-128-82.compute-1.amazonaws.com	US
4	107.21.155.119	ec2-107-21-155-119.compute-1.amazonaws.com	US
5	107.21.149.52	ec2-107-21-149-52.compute-1.amazonaws.com	US
6	107.20.48.129	ec2-107-20-48-129.compute-1.amazonaws.com	US
7	75.101.210.171	ec2-75-101-210-171.compute-1.amazonaws.com	US
8	50.16.154.80	ec2-50-16-154-80.compute-1.amazonaws.com	US
9	50.16.11.183	ec2-50-16-11-183.compute-1.amazonaws.com	US
10	23.20.75.166	ec2-23-20-75-166.compute-1.amazonaws.com	US

注：最多只显示10个 IP 地址

User-Agent

SemrushBot/0.92

爬虫类别

营销

首次出现时间

2022-11-01 06:48:56

最后一次出现时间

2022-11-01 06:48:59

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	50.17.33.197	ec2-50-17-33-197.compute-1.amazonaws.com	US
2	184.73.143.31	ec2-184-73-143-31.compute-1.amazonaws.com	US
3	204.236.244.200	ec2-204-236-244-200.compute-1.amazonaws.com	US
4	184.72.94.71	ec2-184-72-94-71.compute-1.amazonaws.com	US
5	174.129.166.77	ec2-174-129-166-77.compute-1.amazonaws.com	US
6	107.22.134.187	ec2-107-22-134-187.compute-1.amazonaws.com	US
7	107.22.68.116	ec2-107-22-68-116.compute-1.amazonaws.com	US
8	107.21.183.210	ec2-107-21-183-210.compute-1.amazonaws.com	US
9	50.19.36.141	ec2-50-19-36-141.compute-1.amazonaws.com	US
10	50.17.105.131	ec2-50-17-105-131.compute-1.amazonaws.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.103	US
2	46.229.161.138	US
3	46.229.161.136	US
4	46.229.161.132	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.96.3; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-11-05 09:01:01

最后一次出现时间

2022-11-05 09:59:59

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.99	US
2	46.229.164.98	US
3	46.229.164.100	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-11-02 03:19:47

最后一次出现时间

2022-11-02 03:20:23

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	46.229.164.101		US
2	46.229.164.102		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.96.4; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-11-01 07:33:40

最后一次出现时间

2022-11-01 07:39:43

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	46.229.164.97		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.97~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-07 11:40:33

最后一次出现时间

2022-09-07 12:41:15

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	46.229.164.100		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	213.174.152.174		US
2	46.229.173.65		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-08 09:03:16

最后一次出现时间

2022-09-14 03:16:06

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.102	US
2	46.229.164.98	US
3	46.229.164.100	US
4	46.229.164.101	US
5	46.229.164.99	US
6	46.229.164.111	US
7	46.229.164.114	US
8	46.229.164.113	US
9	46.229.164.115	US
10	46.229.164.112	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot-SI/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-05-20 00:53:38

最后一次出现时间

2024-11-17 22:57:05

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.53		US
2	85.208.98.241	113.siteaudit.bot.semrush.com	US
3	213.174.147.83		US
4	192.243.56.76		US
5	85.208.98.53	2.si.bot.semrush.com	US
6	85.208.96.49		US
7	85.208.98.49	1.si.bot.semrush.com	US
8	213.174.146.73		US
9	213.174.146.71		US
10	192.243.55.100		US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-20 02:06:54

最后一次出现时间

2022-09-21 01:25:30

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	192.243.55.132	US
2	192.243.55.136	US
3	192.243.55.138	US
4	192.243.55.135	US
5	192.243.55.129	US
6	46.229.164.99	US
7	192.243.55.133	US
8	192.243.55.134	US
9	192.243.55.130	US
10	192.243.55.131	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-14 07:57:29

最后一次出现时间

2022-09-20 01:47:08

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.101	US
2	46.229.164.102	US
3	46.229.164.100	US
4	46.229.164.98	US
5	192.243.55.133	US
6	192.243.55.129	US
7	192.243.55.134	US
8	192.243.55.138	US
9	192.243.55.132	US
10	192.243.55.131	US

注：最多只显示10个 IP 地址

User-Agent

SEMrushBot

爬虫类别

营销

首次出现时间

2021-08-26 16:59:44

最后一次出现时间

2024-11-20 18:56:06

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.17	bot.semrush.com	US
2	85.208.98.36	bot.semrush.com	US
3	85.208.98.21	bot.semrush.com	US
4	213.174.152.152		US
5	192.243.55.126		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-14 11:23:40

最后一次出现时间

2022-11-01 03:01:37

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	46.229.164.102		US
2	46.229.164.100		US
3	46.229.164.99		US
4	46.229.164.98		US
5	46.229.164.101		US
6	46.229.168.77	crawl13.bl.semrush.com	US
7	46.229.168.85		US
8	46.229.168.83		US
9	46.229.168.81		US
10	46.229.168.70	crawl6.bl.semrush.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-08-16 00:55:55

最后一次出现时间

2024-11-07 23:13:27

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.24	2.bat.bot.semrush.com	US
2	85.208.98.16	8.bat.bot.semrush.com	US
3	85.208.98.22	7.bat.bot.semrush.com	US
4	85.208.98.29	3.bat.bot.semrush.com	US
5	85.208.98.31	5.bat.bot.semrush.com	US
6	85.208.98.20	6.bat.bot.semrush.com	US
7	85.208.98.19	bot.semrush.com	US
8	85.208.98.17	bot.semrush.com	US
9	85.208.98.23	bot.semrush.com	US
10	85.208.98.18	bot.semrush.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-28 06:42:34

最后一次出现时间

2024-05-17 02:56:10

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.168.134	US
2	46.229.168.130	US
3	46.229.168.142	US
4	46.229.168.135	US
5	46.229.168.133	US
6	46.229.168.143	US
7	46.229.168.138	US
8	46.229.168.145	US
9	46.229.168.129	US
10	46.229.168.137	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-28 09:41:55

最后一次出现时间

2022-10-28 09:46:11

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	192.243.55.70	US
2	213.174.152.187	US
3	213.174.152.186	US
4	213.174.152.185	US
5	213.174.152.184	US
6	213.174.152.183	US
7	213.174.152.182	US
8	213.174.152.181	US
9	213.174.152.143	US
10	213.174.152.142	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-28 01:44:54

最后一次出现时间

2024-05-17 02:59:55

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.168.142	US
2	46.229.168.161	US
3	46.229.168.151	US
4	46.229.168.138	US
5	46.229.168.163	US
6	46.229.168.153	US
7	46.229.168.147	US
8	46.229.168.129	US
9	46.229.168.139	US
10	46.229.168.135	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	194.36.110.216		GB

User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-05 03:13:14

最后一次出现时间

2020-11-08 06:15:46

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	185.191.171.9	9.bl.bot.semrush.com	CY
2	185.191.171.40	40.bl.bot.semrush.com	CY
3	185.191.171.37	37.bl.bot.semrush.com	CY
4	185.191.171.44	44.bl.bot.semrush.com	CY
5	185.191.171.11	11.bl.bot.semrush.com	CY
6	185.191.171.13	13.bl.bot.semrush.com	CY
7	185.191.171.34	34.bl.bot.semrush.com	CY
8	185.191.171.38	38.bl.bot.semrush.com	CY
9	185.191.171.23	23.bl.bot.semrush.com	CY
10	185.191.171.43	43.bl.bot.semrush.com	CY

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	46.229.168.163	crawl33.bl.semrush.com	US
2	46.229.168.162	crawl32.bl.semrush.com	US
3	46.229.168.161	crawl31.bl.semrush.com	US
4	46.229.168.154	crawl26.bl.semrush.com	US
5	46.229.168.153	crawl25.bl.semrush.com	US
6	46.229.168.152	crawl24.bl.semrush.com	US
7	46.229.168.151	crawl23.bl.semrush.com	US
8	46.229.168.150	crawl22.bl.semrush.com	US
9	46.229.168.149	crawl21.bl.semrush.com	US
10	46.229.168.148	crawl20.bl.semrush.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot-BM/1.0; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-09-04 22:16:09

最后一次出现时间

2022-11-29 06:03:44

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	85.208.98.38	US
2	85.208.98.51	US
3	85.208.96.71	US
4	85.208.96.70	US
5	85.208.96.69	US
6	85.208.96.68	US
7	85.208.96.67	US
8	85.208.96.66	US
9	85.208.96.65	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-11-20 03:09:51

最后一次出现时间

2024-11-19 05:31:15

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.18	bot.semrush.com	US
2	46.229.161.131	mx.semrush.com	US
3	85.208.98.48		US
4	85.208.98.25	bot.semrush.com	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-08-13 01:37:25

最后一次出现时间

2024-11-21 10:49:50

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	185.191.171.9	crawl9.bl.semrush.com	CY
2	185.191.171.5	crawl5.bl.semrush.com	CY
3	185.191.171.8	crawl8.bl.semrush.com	CY
4	185.191.171.7	crawl7.bl.semrush.com	CY
5	185.191.171.11	crawl11.bl.semrush.com	CY
6	185.191.171.12	crawl12.bl.semrush.com	CY
7	185.191.171.4	crawl4.bl.semrush.com	CY
8	185.191.171.2	crawl2.bl.semrush.com	CY
9	185.191.171.15	crawl15.bl.semrush.com	CY
10	185.191.171.10	crawl10.bl.semrush.com	CY

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-12-23 16:00:00

最后一次出现时间

2024-09-26 13:45:03

是否遵守 robots.txt 协议

不明

说明：

要阻止 SemrushBot 因不同的 SEO 和技术问题而抓取您的网站，可以使用如下写法：

User-agent: SiteAuditBot
Disallow: /

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.199	71.siteaudit.bot.semrush.com	US
2	85.208.98.200	72.siteaudit.bot.semrush.com	US
3	85.208.98.198	70.siteaudit.bot.semrush.com	US
4	85.208.98.197	69.siteaudit.bot.semrush.com	US
5	85.208.98.193	65.siteaudit.bot.semrush.com	US
6	85.208.98.192	64.siteaudit.bot.semrush.com	US
7	85.208.98.195	67.siteaudit.bot.semrush.com	US
8	85.208.98.196	68.siteaudit.bot.semrush.com	US
9	85.208.98.201	73.siteaudit.bot.semrush.com	US
10	85.208.98.194	66.siteaudit.bot.semrush.com	US