爬虫识别支持 IPv6 地址访问 了解详情
使用 GPTBot 用户代理抓取的网页可能会用于改进未来的模型,并会进行过滤以删除需要付费墙访问、已知主要汇总个人身份信息 (PII) 或包含违反我们政策的文本的来源。允许 GPTBot 访问您的网站可以帮助 AI 模型变得更加准确,并提高其一般能力和安全性。
要禁止 GPTBot 访问您的网站,您可以将 GPTBot 添加到您网站的 robots.txt 中:
User-agent: GPTBot
Disallow: /
自定义 GPTBot 访问
为了允许 GPTBot 仅访问您网站的部分内容,您可以将 GPTBot 令牌添加到您网站的 robots.txt 中,如下所示:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 52.230.152.73 | US | ||
2 | 52.230.152.11 | US | ||
3 | 52.230.152.214 | US | ||
4 | 52.233.106.254 | US | ||
5 | 52.233.106.253 | US | ||
6 | 52.233.106.252 | US | ||
7 | 52.233.106.251 | US | ||
8 | 52.233.106.250 | US | ||
9 | 52.233.106.249 | US | ||
10 | 52.233.106.248 | US |
要禁止 GPTBot 访问您的网站,您可以将 GPTBot 添加到您网站的 robots.txt 中:
User-agent: GPTBot
Disallow: /
为了允许 GPTBot 仅访问您网站的部分内容,您可以将 GPTBot 令牌添加到您网站的 robots.txt 中,如下所示:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 4.227.36.125 | US | ||
2 | 4.227.36.45 | US | ||
3 | 4.227.36.10 | US | ||
4 | 4.227.36.50 | US | ||
5 | 4.227.36.58 | US | ||
6 | 4.227.36.111 | US | ||
7 | 4.227.36.114 | US | ||
8 | 4.227.36.75 | US | ||
9 | 4.227.36.99 | US | ||
10 | 4.227.36.11 | US |