Scrapy 详细信息

所属公司

Zyte

官方文档

Scrapy

爬虫状态

活动

一个专门抓取数据的爬虫。

User-Agent

Scrapy/1.0.1 (+http://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2022-09-12 07:32:57

最后一次出现时间

2022-09-21 01:42:39

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	23.29.134.4	ip4.23-29-134.static.steadfastdns.net	US
2	23.29.134.15	ip15.23-29-134.static.steadfastdns.net	US
3	23.29.134.16		US
4	194.150.168.95	kaputte.li	DE
5	158.69.26.33	ns517020.ip-158-69-26.net	CA
6	46.105.110.61	ns3435966.ip-46-105-110.eu	FR

User-Agent

Scrapy/0.22.2 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	201.204.48.114		CR
2	64.53.192.27	d53-64-27-192.nap.wideopenwest.com	US

User-Agent

Scrapy/0.24.0 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	114.212.190.201	cs-cloud.nju.edu.cn	CN

User-Agent

Scrapy/0.25.1 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	69.124.113.52	ool-457c7134.dyn.optonline.net	US

User-Agent

Scrapy/1.0.3 (+http://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2022-09-13 14:21:26

最后一次出现时间

2022-09-23 01:52:26

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	206.144.170.231	ns1648.ztomy.com	US
2	5.1.65.5	muraki.salielmo.com	DE
3	104.207.129.254	104.207.129.254.vultr.com	US
4	45.63.84.79	45.63.84.79.vultr.com	US
5	140.247.218.52	dhcp-140-247-218-52.fas.harvard.edu	US
6	139.59.29.77		IN
7	108.83.93.215	108-83-93-215.lightspeed.wepbfl.sbcglobal.net	US
8	108.61.242.65	108.61.242.65.vultr.com	US
9	108.61.205.28	108.61.205.28.vultr.com	US
10	107.191.51.46	107.191.51.46.vultr.com	US

注：最多只显示10个 IP 地址

User-Agent

Scrapy/0.24.5 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	107.23.56.124	ec2-107-23-56-124.compute-1.amazonaws.com	US
2	52.197.129.56	ec2-52-197-129-56.ap-northeast-1.compute.amazonaws.com	JP
3	52.192.241.191	ec2-52-192-241-191.ap-northeast-1.compute.amazonaws.com	JP
4	52.69.82.104	ec2-52-69-82-104.ap-northeast-1.compute.amazonaws.com	JP
5	52.69.69.138	ec2-52-69-69-138.ap-northeast-1.compute.amazonaws.com	JP

User-Agent

Scrapy/0.24.4 (+http://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2022-09-13 03:18:22

最后一次出现时间

2022-09-13 03:18:22

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	38.104.237.74		US
2	97.74.4.58	ip-97-74-4-58.ip.secureserver.net	US
3	54.72.183.135	ec2-54-72-183-135.eu-west-1.compute.amazonaws.com	IE

User-Agent

Scrapy/1.0.4 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	219.92.50.109	gbk-50-109.tm.net.my	MY
2	103.14.245.38		SG

User-Agent

Scrapy/1.0.5 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	164.132.160.129	ns3035942.ip-164-132-160.eu	FR
2	136.243.11.22		DE
3	130.207.114.206	acs-6.cc.gatech.edu	US
4	93.186.148.94	93.186.148.94-ifnl.net	GB
5	58.246.174.26		CN
6	52.198.176.249	ec2-52-198-176-249.ap-northeast-1.compute.amazonaws.com	JP
7	52.201.250.99	ec2-52-201-250-99.compute-1.amazonaws.com	US
8	52.196.217.192	ec2-52-196-217-192.ap-northeast-1.compute.amazonaws.com	JP
9	52.68.41.151	ec2-52-68-41-151.ap-northeast-1.compute.amazonaws.com	JP

User-Agent

Scrapy/1.1.0 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	138.201.57.140		DE
2	92.249.223.121	92-249-223-121.pool.digikabel.hu	HU

User-Agent

Scrapy/1.2.1 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	178.18.151.162		DE
2	54.213.151.77	ec2-54-213-151-77.us-west-2.compute.amazonaws.com	US
3	5.230.153.214		DE

User-Agent

Scrapy/0.16.5 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	98.100.180.20	rrcs-98-100-180-20.central.biz.rr.com	US
2	67.53.77.196	rrcs-67-53-77-196.west.biz.rr.com	US

User-Agent

Scrapy/0.24.6 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	188.40.45.131		DE

User-Agent

Scrapy/1.1.2 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	52.199.104.67	ec2-52-199-104-67.ap-northeast-1.compute.amazonaws.com	JP
2	52.199.78.154	ec2-52-199-78-154.ap-northeast-1.compute.amazonaws.com	JP
3	52.68.219.226	ec2-52-68-219-226.ap-northeast-1.compute.amazonaws.com	JP
4	52.43.49.188	ec2-52-43-49-188.us-west-2.compute.amazonaws.com	US
5	52.25.226.122	ec2-52-25-226-122.us-west-2.compute.amazonaws.com	US
6	52.197.188.46	ec2-52-197-188-46.ap-northeast-1.compute.amazonaws.com	JP
7	13.113.121.129	ec2-13-113-121-129.ap-northeast-1.compute.amazonaws.com	JP
8	13.113.12.64	ec2-13-113-12-64.ap-northeast-1.compute.amazonaws.com	JP

User-Agent

Scrapy/1.1.1 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	192.240.14.1	host01.fna.fujitsu.com	US
2	138.201.52.218		DE
3	134.96.225.227	colossus02.cs.uni-saarland.de	DE

User-Agent

Scrapy/1.0.5.post4+g4b324a8 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	98.126.65.56		US

User-Agent

Scrapy/1.3.0 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	136.243.66.162		DE
2	104.218.141.98		US
3	23.81.67.216		US
4	23.106.83.199		US
5	13.57.36.202	ec2-13-57-36-202.us-west-1.compute.amazonaws.com	US

User-Agent

Scrapy/1.2.2 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	52.200.30.172	ec2-52-200-30-172.compute-1.amazonaws.com	US

User-Agent

Scrapy/1.3.3 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	176.27.243.42	b01bf32a.bb.sky.com	GB
2	124.72.95.10		CN
3	107.23.10.123	ec2-107-23-10-123.compute-1.amazonaws.com	US
4	54.167.210.113	ec2-54-167-210-113.compute-1.amazonaws.com	US
5	52.196.202.55	ec2-52-196-202-55.ap-northeast-1.compute.amazonaws.com	JP
6	45.33.43.32	li993-32.members.linode.com	US
7	34.208.16.193	ec2-34-208-16-193.us-west-2.compute.amazonaws.com	US
8	13.114.207.110	ec2-13-114-207-110.ap-northeast-1.compute.amazonaws.com	JP

User-Agent

Scrapy/1.4.0 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	209.222.10.86		US
2	195.201.85.23		DE
3	176.9.34.190		DE
4	148.251.133.219		DE
5	138.201.49.169		DE
6	138.201.34.137		DE
7	136.243.76.224		DE
8	136.243.50.146		DE
9	114.115.190.4	ecs-114-115-190-4.compute.hwclouds-dns.com	CN
10	114.36.64.179	114-36-64-179.dynamic-ip.hinet.net	TW

注：最多只显示10个 IP 地址

User-Agent

Scrapy/1.3.2 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	111.200.195.186		CN

User-Agent

Scrapy/1.5.0 (+https://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2022-10-05 10:12:44

最后一次出现时间

2022-11-30 12:54:55

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	104.144.140.100	gemini100.creativitydime.com	US
2	100.24.237.144	ec2-100-24-237-144.compute-1.amazonaws.com	US
3	35.168.8.189	ec2-35-168-8-189.compute-1.amazonaws.com	US
4	185.175.95.246		UA
5	171.79.17.156		IN
6	162.246.216.28		US
7	162.212.88.92		US
8	153.150.248.113	pc1.cio-unet.ocn.ne.jp	JP
9	151.67.128.243		IT
10	140.205.205.25		CN

注：最多只显示10个 IP 地址

User-Agent

Scrapy/1.1.3 (+http://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	195.201.85.124		DE
2	148.251.144.116	static.116.144.251.148.clients.your-server.de	DE
3	138.201.34.140		DE
4	116.202.83.62		DE
5	88.99.164.194		DE
6	46.4.114.158	static.158.114.4.46.clients.your-server.de	DE

User-Agent

Scrapy/1.5.1 (+https://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2021-08-31 09:02:26

最后一次出现时间

2022-10-28 10:12:25

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	195.3.144.185	colo-185.altnet.lv	LV
2	188.92.74.189		LV
3	103.250.68.102		BD
4	64.191.37.1	host-1.37.191.64.net.hcetelecom.com	CA
5	104.254.95.220	R43.static.amanah.com	CA
6	91.207.102.163	163.102.207.91.in-addr.arpa	NL
7	13.56.111.204		US
8	208.110.66.34		US
9	195.3.144.210	colo-200.altnet.lv	LV
10	189.120.120.204	bd7878cc.virtua.com.br	BR

注：最多只显示10个 IP 地址

User-Agent

Scrapy/1.6.0 (+https://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2022-04-01 01:31:44

最后一次出现时间

2022-10-31 07:06:02

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	176.53.43.49		TR
2	223.70.157.162		CN
3	221.198.139.144	www144.asd.tj.cn	CN
4	185.217.0.138		SE
5	138.201.36.40	static.40.36.201.138.clients.your-server.de	DE
6	138.201.35.152	static.152.35.201.138.clients.your-server.de	DE
7	125.38.195.32	no-data	CN
8	119.254.200.4		CN
9	111.161.133.26	dns26.online.tj.cn	CN
10	93.137.135.119	93-137-135-119.adsl.net.t-com.hr	HR

注：最多只显示10个 IP 地址

User-Agent

Scrapy/1.5.2 (+https://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2021-11-12 01:55:24

最后一次出现时间

2022-01-02 23:37:48

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	104.254.95.220	CA
2	188.175.125.148	CZ
3	185.47.220.131	CZ
4	130.203.136.75	US

User-Agent

Scrapy/1.7.1 (+https://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	147.92.33.234		CN
2	8.44.182.23		US

User-Agent

Scrapy/1.7.3 (+https://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2021-09-06 02:04:59

最后一次出现时间

2022-10-24 23:50:41

是否遵守 robots.txt 协议

遵守

IP 地址总数

4157

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	117.13.174.53	dns53.online.tj.cn	CN
2	38.242.214.236	vmi888550.contaboserver.net	US
3	58.18.161.38		CN
4	182.138.158.41		CN
5	59.52.176.48		CN
6	185.93.230.18	cloudproxy15018.sucuri.net	DE
7	144.255.31.175		CN
8	60.177.181.45		CN
9	111.224.219.164		CN
10	110.80.168.23	23.168.80.110.broad.fz.fj.dynamic.163data.com.cn	CN

注：最多只显示10个 IP 地址

User-Agent

Scrapy/1.7.2 (+https://scrapy.org)

爬虫类别

抓取工具

首次出现时间

2022-10-05 07:35:21

最后一次出现时间

2022-10-31 03:12:06

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	80.248.225.154		SE
2	176.74.192.99	hbase7.domaincrawler.com	US
3	176.74.199.2		SE

User-Agent

Scrapy/1.8.0 (+https://scrapy.org)

爬虫类别

抓取工具

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	160.114.55.188	rgai3.inf.u-szeged.hu	HU
2	123.25.21.157	mail.soft365.com.vn	VN
3	107.178.236.15	15.236.178.107.gae.googleusercontent.com	US
4	47.89.225.105		US
5	35.202.86.46	46.86.202.35.bc.googleusercontent.com	US
6	14.238.15.74	static.vnpt.vn	VN
7	47.90.241.157		US