爬虫识别支持 IPv6 地址访问 了解详情
Pinterest bot 是 Pinterest 创建的网络爬虫, 爬虫程序主要有如下功能:
Pinterestbot/1.0 是 Pinterest 开发的网络爬虫,主要目的是:抓取网站图片。
当前 User-agent 为:Mozilla/5.0 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html)
Pinterestbot/1.0 遵守 robots.txt 协议,禁止抓取站点所有页面写法如下:
user-agent: Pinterestbot
disallow: /
同时可以限制 Pinterestbot/1.0 抓取速度:
user-agent: Pinterestbot
Crawl-delay: 2
Crawl-Delay 设置为 2,表示两个抓取之间有 2 秒的延迟。
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 54.236.1.15 | crawl-54-236-1-15.pinterest.com | US | |
2 | 54.236.1.12 | crawl-54-236-1-12.pinterest.com | US | |
3 | 54.236.1.11 | crawl-54-236-1-11.pinterest.com | US | |
4 | 54.236.1.13 | crawl-54-236-1-13.pinterest.com | US | |
5 | 54.236.1.254 | crawl-54-236-1-254.pinterest.com | US | |
6 | 54.236.1.253 | crawl-54-236-1-253.pinterest.com | US | |
7 | 54.236.1.252 | crawl-54-236-1-252.pinterest.com | US | |
8 | 54.236.1.251 | crawl-54-236-1-251.pinterest.com | US | |
9 | 54.236.1.250 | crawl-54-236-1-250.pinterest.com | US | |
10 | 54.236.1.249 | crawl-54-236-1-249.pinterest.com | US |