爬虫识别支持 IPv6 地址访问 了解详情
Facebook 网络爬虫将通过复制粘贴链接,或通过 Facebook 社交插件,爬取 Facebook 上分享的应用或网站的 HTML 数据。网络爬虫会收集、缓存和显示应用或网站相关信息,如网站标题、描述和缩略图等。
Facebook 网络爬虫将通过复制粘贴链接,或通过 Facebook 社交插件,爬取 Facebook 上分享的应用或网站的 HTML 数据。网络爬虫会收集、缓存和显示应用或网站相关信息,如网站标题、描述和缩略图等。
当前 User-Agent 为:facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 2a03:2880:11ff:15::face:b00c | fwdproxy-ftw-021.fbsv.net | US | |
2 | 2a03:2880:11ff:4::face:b00c | fwdproxy-ftw-004.fbsv.net | US | |
3 | 2a03:2880:f803:14:: | IE | ||
4 | 57.141.3.17 | US | ||
5 | 2a03:2880:f803:2:: | IE | ||
6 | 2a03:2880:f803:a:: | IE | ||
7 | 2a03:2880:f803:15:: | IE | ||
8 | 2a03:2880:f803:1d:: | IE | ||
9 | 2a03:2880:f803:18:: | IE | ||
10 | 2a03:2880:f803:4:: | IE |
Meta-ExternalAgent 爬虫会抓取网页,用于各种用例,例如训练 AI 模型或通过将内容直接编入索引来改进产品。
如果需要屏蔽 Meta-ExternalAgent 可以使用 robots.txt 文件,写法如下:
User-agent: meta-externalagent
Allow: / # Allow everything
Disallow: /private/ # Disallow a specific directory
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 2a03:2880:f803:14:: | IE | ||
2 | 2a03:2880:f803:e:: | IE | ||
3 | 2a03:2880:f803:15:: | IE | ||
4 | 2a03:2880:f803:1d:: | IE | ||
5 | 2a03:2880:f803:1b:: | IE | ||
6 | 2a03:2880:f803:b:: | IE | ||
7 | 2a03:2880:f803:: | IE | ||
8 | 2a03:2880:f803:1:: | IE | ||
9 | 2a03:2880:f803:2:: | IE | ||
10 | 2a03:2880:f803:1c:: | IE |
FacebookExternalHit 的主要目的是抓取在 Meta 系列应用(例如 Facebook、Instagram 或 Messenger)上共享的应用或网站的内容。链接可能是通过复制粘贴或使用Facebook 社交插件共享的。此抓取工具会收集、缓存和显示有关应用或网站的信息,例如其标题、说明和缩略图。
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 2a03:2880:27ff:c::face:b00c | fwdproxy-ldc-012.fbsv.net | US | |
2 | 2a03:2880:ff:6::face:b00c | fwdproxy-prn-006.fbsv.net | US | |
3 | 69.171.228.118 | fwdproxy-zaz-118.fbsv.net | US | |
4 | 173.252.95.10 | fwdproxy-atn-010.fbsv.net | US | |
5 | 173.252.122.123 | US | ||
6 | 173.252.106.119 | US | ||
7 | 2a03:2880:ff:13::face:b00c | fwdproxy-prn-019.fbsv.net | US | |
8 | 173.252.83.30 | fwdproxy-pnb-030.fbsv.net | US | |
9 | 2a03:2880:ff:27::face:b00c | fwdproxy-prn-039.fbsv.net | US | |
10 | 2a03:2880:ff:73::face:b00c | fwdproxy-prn-115.fbsv.net | US |