Amazon AdBot 是亚马逊不同广告服务用来确定网站内容以提供相关和适当广告的爬虫。

遵守 robots.txt 协议，具体写法如下：

User-agent: AmazonAdBot
Disallow: /

同时也可以设置抓取延迟：

User-agent: AmazonAdBot
Crawl-Delay: 2

Crawl-Delay 设置为 2，表示两个抓取之间有 2 秒的延迟。

Amazonbot 是亚马逊的网络爬虫，用于改善亚马逊的服务，例如使 Alexa 能够回答更多客户的问题。Amazonbot 遵循标准的 robots.txt 规则。

在用户代理字符串中，您会看到“Amazonbot”以及其他附加代理信息。一个示例看起来像这样：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML\, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

Robots.txt：Amazonbot 尊重 robots.txt 中的 user-agent 和 Disallow 指令。在下面的示例中，Amazonbot 不会爬取位于 /do-not-crawl/ 或 /not-allowed 下的文档：

User-agent: Amazonbot               # Amazon's user agent
Disallow: /do-not-crawl/            # disallow this directory

User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

AmazonBot 不支持 robots.txt 中的 crawl-delay 指令，也不支持 HTML 页面上的 robots 元标记，如：

<a href="signin.php" rel=nofollow>Sign in </a>
...

Amazonbot 是亚马逊的网络爬虫，用于改善亚马逊的服务，例如使 Alexa 能够回答更多客户的问题。Amazonbot 遵循标准的 robots.txt 规则。

如何识别 Amazonbot？

在用户代理字符串中，您会看到“Amazonbot”以及其他附加代理信息。一个示例看起来像这样：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

您如何控制Amazonbot在您的网站上爬取什么？

Robots.txt：Amazonbot 尊重 robots.txt 中的 user-agent 和 Disallow 指令。在下面的示例中，Amazonbot 不会爬取位于 /do-not-crawl/ 或 /not-allowed 下的文档：

User-agent: Amazonbot               # Amazon's user agent
Disallow: /do-not-crawl/            # disallow this directory

User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory