爬虫识别支持 IPv6 地址访问 了解详情
搜索机器人或蜘蛛(蜘蛛、爬虫、机器人)是一种程序,它“遍历”互联网上的 URL,然后下载它们以进行后续索引。下载文档后,机器人会对其进行分析,确定类型、编码、语言,并将页面中的链接添加到队列中以供进一步交换。机器人不时返回之前访问过的页面以检查它们的相关性。
除了将整个互联网作为一个整体进行索引的主机器人之外,还有专门的单独下载图片、视频、新闻、RSS等的机器人。因此,它们可以加快将某种类型的文档输入到搜索索引中的速度。
Mail.RU_Bot是Mail.ru的网络爬虫,主要有以下几种:
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.134.170 | htspec1.special1.p.smailru.net | RU | |
2 | 94.100.181.108 | spf13.i.mail.ru | RU | |
3 | 94.100.189.242 | mcs3.mcs.smailru.net | RU | |
4 | 94.100.181.81 | jim51.i.mail.ru | RU | |
5 | 217.69.134.169 | portal-dwh1.p.smailru.net | RU | |
6 | 217.69.136.30 | spider2.mail.ru | RU | |
7 | 217.69.134.179 | wiper.p.mail.ru | RU | |
8 | 217.69.134.173 | spider18.mail.ru | RU | |
9 | 217.69.134.172 | spider17.mail.ru | RU | |
10 | 217.69.134.168 | spider13.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.133.28 | fetcher8-1.p.mail.ru | RU | |
2 | 217.69.134.91 | portal-dbbk8.p.smailru.net | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.134.56 | vrrp-kirka.p.mail.ru | RU | |
2 | 217.69.133.30 | fetcher8-3.p.mail.ru | RU | |
3 | 217.69.133.29 | fetcher8-2.p.mail.ru | RU | |
4 | 217.69.133.31 | fetcher8-4.p.mail.ru | RU | |
5 | 217.69.134.91 | dombai.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.133.70 | fetcher4.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.133.69 | fetcher3.p.mail.ru | RU | |
2 | 217.69.133.68 | fetcher2.p.mail.ru | RU | |
3 | 217.69.134.56 | spider8.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 95.163.255.127 | fetcher-fast1-2.p.mail.ru | RU | |
2 | 95.163.255.118 | fetcher12-7.go.mail.ru | RU | |
3 | 95.163.255.128 | fetcher-fast1-3.p.mail.ru | RU | |
4 | 95.163.36.9 | fetcher-fast3.p.mail.ru | RU | |
5 | 217.69.133.233 | fetcher3-7.p.mail.ru | RU | |
6 | 217.69.133.70 | fetcher4.mail.ru | RU | |
7 | 217.69.133.238 | fetcher4-5.p.mail.ru | RU | |
8 | 217.69.133.237 | fetcher4-4.p.mail.ru | RU | |
9 | 217.69.133.230 | fetcher3-4.p.mail.ru | RU | |
10 | 217.69.133.69 | fetcher3.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.143.55 | osm-gen3.p.smailru.net | RU | |
2 | 217.69.143.57 | samsungdance-vip.p.smailru.net | RU | |
3 | 95.163.255.111 | fetcher-img3.p.mail.ru | RU | |
4 | 95.163.255.110 | fetcher-img2-9.p.mail.ru | RU | |
5 | 95.163.255.101 | fetcher-img2-8.p.mail.ru | RU | |
6 | 217.69.143.60 | fetcher-img2-8.p.mail.ru | RU | |
7 | 217.69.143.52 | fetcher-img2.p.mail.ru | RU | |
8 | 217.69.143.53 | fetcher-img2-1.p.mail.ru | RU | |
9 | 217.69.143.61 | fetcher-img2-9.p.mail.ru | RU | |
10 | 217.69.143.54 | fetcher-img2-2.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.135.249 | fetcher5-4.p.mail.ru | RU | |
2 | 217.69.135.246 | fetcher5-1.p.mail.ru | RU | |
3 | 217.69.134.202 | fetcher14-7.p.mail.ru | RU | |
4 | 217.69.134.191 | fetcher14-6.p.mail.ru | RU | |
5 | 217.69.134.190 | fetcher14-5.p.mail.ru | RU | |
6 | 217.69.134.187 | fetcher14-4.p.mail.ru | RU | |
7 | 217.69.134.186 | fetcher14-3.p.mail.ru | RU | |
8 | 217.69.134.184 | fetcher14-2.p.mail.ru | RU | |
9 | 217.69.134.148 | fetcher14-1.p.mail.ru | RU | |
10 | 217.69.134.143 | fetcher14.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 95.163.255.247 | spider-8.go.mail.ru | RU | |
2 | 95.163.255.121 | fetcher-img3-2.p.mail.ru | RU | |
3 | 217.69.143.69 | RU | ||
4 | 217.69.143.64 | fetcher-img3-2.p.mail.ru | RU | |
5 | 217.69.143.62 | fetcher-img3.p.mail.ru | RU | |
6 | 217.69.143.68 | RU | ||
7 | 217.69.143.66 | nord-front1.p.smailru.net | RU | |
8 | 217.69.143.65 | dclub-stats.go.mail.ru | RU | |
9 | 95.163.255.129 | fetcher13-8.go.mail.ru | RU | |
10 | 95.163.255.131 | fetcher-img3-4.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.143.67 | fetcher-img3-5.p.mail.ru | RU | |
2 | 217.69.143.66 | nord-front1.p.smailru.net | RU | |
3 | 217.69.143.71 | fetcher-img3-9.p.mail.ru | RU | |
4 | 217.69.143.69 | fetcher-img3-7.p.mail.ru | RU | |
5 | 217.69.143.68 | fetcher-img3-6.p.mail.ru | RU | |
6 | 217.69.143.63 | fetcher-img3-1.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.133.188 | spider9.mail.ru | RU | |
2 | 188.93.56.216 | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.136.210 | fetcher5-7.p.mail.ru | RU | |
2 | 217.69.136.208 | fetcher5-5.p.mail.ru | RU | |
3 | 217.69.136.207 | fetcher5-4.p.mail.ru | RU | |
4 | 217.69.133.221 | fetcher2-2.p.mail.ru | RU | |
5 | 217.69.133.194 | fetcher10.p.mail.ru | RU | |
6 | 217.69.133.5 | fetcher10-4.p.mail.ru | RU | |
7 | 217.69.133.2 | fetcher10-1.p.mail.ru | RU | |
8 | 95.163.255.171 | fetcher16-22.go.mail.ru | RU | |
9 | 95.163.255.119 | fetcher12-8.go.mail.ru | RU | |
10 | 95.163.255.116 | fetcher12-5.go.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 217.69.143.70 | fetcher-img3-8.p.mail.ru | RU | |
2 | 217.69.143.67 | fetcher-img3-5.p.mail.ru | RU | |
3 | 217.69.143.66 | fetcher-img3-4.p.mail.ru | RU | |
4 | 217.69.143.65 | fetcher-img3-3.p.mail.ru | RU | |
5 | 217.69.143.64 | fetcher-img3-2.p.mail.ru | RU | |
6 | 217.69.143.62 | fetcher-img3.p.mail.ru | RU | |
7 | 95.163.255.247 | fetcher-img3-8.p.mail.ru | RU | |
8 | 95.163.255.198 | fetcher-img3-7.p.mail.ru | RU | |
9 | 95.163.255.141 | fetcher-img3-6.p.mail.ru | RU | |
10 | 95.163.255.140 | fetcher-img3-5.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 95.163.36.17 | fetcher-fast3-5.p.mail.ru | RU | |
2 | 95.163.255.127 | fetcher-fast1-2.p.mail.ru | RU | |
3 | 95.163.36.12 | fetcher-fast3-3.p.mail.ru | RU | |
4 | 95.163.36.10 | fetcher-fast3-1.p.mail.ru | RU | |
5 | 95.163.255.108 | fetcher-fast1-4.p.mail.ru | RU | |
6 | 95.163.36.6 | fetcher-fast2-2.p.mail.ru | RU | |
7 | 95.163.36.19 | fetcher-fast3-7.p.mail.ru | RU | |
8 | 95.163.36.7 | fetcher-fast2-3.p.mail.ru | RU | |
9 | 95.163.255.126 | fetcher-fast1-1.p.mail.ru | RU | |
10 | 95.163.36.16 | fetcher-fast3-4.p.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 95.163.255.28 | fetcher3-7.go.mail.ru | RU | |
2 | 95.163.255.26 | fetcher3-5.go.mail.ru | RU | |
3 | 95.163.255.23 | fetcher3-2.go.mail.ru | RU | |
4 | 95.163.255.29 | fetcher3-8.go.mail.ru | RU | |
5 | 95.163.255.24 | fetcher3-3.go.mail.ru | RU | |
6 | 95.163.255.25 | fetcher3-4.go.mail.ru | RU | |
7 | 95.163.255.22 | fetcher3-1.go.mail.ru | RU | |
8 | 95.163.255.27 | fetcher3-6.go.mail.ru | RU | |
9 | 95.163.255.89 | fetcher9-8.go.mail.ru | RU | |
10 | 95.163.255.98 | fetcher10-7.go.mail.ru | RU |
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 95.163.255.144 | fetcher15-3.go.mail.ru | RU | |
2 | 95.163.255.148 | fetcher15-7.go.mail.ru | RU | |
3 | 95.163.255.142 | fetcher15-1.go.mail.ru | RU | |
4 | 95.163.255.147 | fetcher15-6.go.mail.ru | RU | |
5 | 95.163.255.132 | fetcher14-1.go.mail.ru | RU | |
6 | 95.163.255.133 | fetcher14-2.go.mail.ru | RU | |
7 | 95.163.255.134 | fetcher14-3.go.mail.ru | RU | |
8 | 95.163.255.146 | fetcher15-5.go.mail.ru | RU | |
9 | 95.163.255.143 | fetcher15-2.go.mail.ru | RU | |
10 | 95.163.255.135 | fetcher14-4.go.mail.ru | RU |
Mail.RU_Bot 是 Mail.ru
的网络爬虫,当前爬虫版本为:Mail.RU_Bot/Robots/2.0
当前 User-agent 为:Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 95.163.255.144 | fetcher15-3.go.mail.ru | RU | |
2 | 95.163.255.133 | fetcher14-2.go.mail.ru | RU | |
3 | 95.163.255.136 | fetcher14-5.go.mail.ru | RU | |
4 | 95.163.255.149 | fetcher15-8.go.mail.ru | RU | |
5 | 95.163.255.141 | fetcher-img3-6.p.mail.ru | RU | |
6 | 95.163.255.130 | fetcher-img3-3.p.mail.ru | RU | |
7 | 95.163.255.198 | fetcher-img3-7.p.mail.ru | RU | |
8 | 95.163.255.120 | fetcher-img3-1.p.mail.ru | RU | |
9 | 95.163.255.138 | fetcher-img3-9.p.mail.ru | RU | |
10 | 95.163.255.121 | fetcher-img3-2.p.mail.ru | RU |