rogerbot 爬虫介绍
Rogerbot 是 Moz Pro Campaign 网站审核的 Moz 爬虫。它与 Dotbot 不同，Dotbot 是为链接索引提供支持的网络爬虫。Rogerbot 访问您网站的代码以将报告发送回您的 Moz Pro Campaign。这可以帮助您了解您的网站并教您如何解决可能影响您的排名的问题。Rogerbot 为您的站点抓取报告、按需抓取、页面优化报告和页面评分器提供数据。
Rogerbot 是如何处理 Robots.txt 文件
Rogerbot 旨在遵守 robots.txt 文件。您可以使用这个奇妙的文件来通知机器人它们应该如何在您的站点上运行。这有点像行为准则：你知道，脱掉你的鞋子，远离餐厅，把那些肘部从桌子上拿开，天哪！之类的东西。
每个站点都应该有一个 robots.txt 文件。您可以通过访问 www.pdflibr.com/robots.txt 来检查它是否存在。您还可以检查任何其他站点的 robots.txt 文件，只是为了好玩。例如：pdf-lib.org/robots.txt、baidu.com/robots.txt，是的，甚至是 google.com/robots.txt。任何人都可以看到您的 robots.txt 文件；它是公开的，所以请记住这一点。
如果您的网站没有 robots.txt 文件、您的 robots.txt 文件无法加载或返回错误，Rogerbot 可能无法抓取您的网站。这也可能导致导致服务器日志膨胀的错误。您需要在文件中包含一些内容，因为空白文件可能会使检查您的站点是否正确设置的人感到困惑。他们可能认为这是一个错误。即使您没有阻止任何机器人，配置了某些内容的文件也是可取的。
Rogerbot 用户代理
要直接与 rogerbot 交谈，您可以通过他们的名字（也称为用户代理）来称呼他们。Rogerbot 用户代理是：rogerbot。
如何通过 Robots.txt 允许 Rogerbot 抓取您的网站
要告诉 rogerbot 它可以抓取您网站上的所有页面，您可以在 robots.txt 文件这样写：
User-agent: rogerbot
Disallow:
disallow: 之后的字段为空，则特别表示不应阻止任何 URL。
通过 Robots.txt 阻止 Rogerbot 抓取您的网站
如果您厌倦了 rogerbot 抓取您的网站，您可以通过在 robots.txt 文件中的 disallow 指令后添加斜杠 ("/") 来阻止抓取工具。那就是说：“Rogerbot，您无法访问这些页面中的任何一个，该站点上的所有页面都不适合您，请远离，伙计。”
使用您的 robots.txt 文件阻止 rogerbot 如下所示：
User-agent: rogerbot
Disallow: /
注意表示站点根目录的斜线。添加此代码将阻止 rogerbot 抓取您的网站所有页面。
您还可以从站点的某些部分（例如子文件夹）中排除 rogerbot。下面是阻止 rogerbot 抓取您某个目录的所有页面：
User-agent: rogerbot
Disallow: */manage/*
此语法仅告诉 Rogerbot 爬虫不要爬取任何包含此 URL 字符串的页面，例如：www.pdflibr.com/marketplace/
建议您在进行更改后使用这个机器人检查器工具检查您的 robots.txt 文件，以避免任何令人讨厌的意外。
通过 Robots.txt 爬行延迟以减慢 Rogerbot 爬虫对您网站的抓取速度
rogertbot 希望尽可能快地抓取您的网站，以便能够及时完成抓取，而不会给您的人类访问者带来问题。
如果您想减慢 rogerbot 的速度，可以使用 Crawl Delay 指令。以下指令仅允许 rogerbot 每 10 秒访问一次您的站点，下面是 robots.txt 的具体写法：
User-agent: rogerbot
Crawl-delay: 10
请记住，当您考虑一天有 86,400 秒时，这将允许 Rogerbot 在一天内访问 8,640 个页面，因此如果您有很多页面要抓取，这可能意味着抓取您的网站需要一段时间。
不建议添加大于 30 秒的抓取延迟，否则 rogerbot 可能无法完成对您网站的抓取。
Rogerbot 的 IP 范围
不幸的是，rogerbot 不使用静态 IP 地址或 IP 地址范围，因为 rogerbot 爬虫设计为采用动态方法。这意味着 rogerbot 使用数千个动态 IP 地址，每次运行爬网时这些地址都会发生变化。这种方法提供了最好的网络动态视图，但它可能使我们与某些服务器或托管服务提供商不兼容。
最好的选择是通过用户代理识别爬虫：rogerbot。
阻止 Rogerbot 访问动态页面
阻止 rogerbot 的爬虫访问这些动态标记页面的最佳方法是使用您的 robots.txt 文件中的 disallow 指令阻止它访问它们。它看起来像这样：
User-agent: Rogerbot
Disallow: /TAG TYPE
通过 Robots.txt 阻止除 Rogerbot 之外的所有机器人
确保在“所有机器人指令”上方有“用户代理特定指令”，例如下面的写法：
User-agent: rogerbot
Disallow:
User-agent: *
Disallow: /
rogerbot 是否支持“allow”指令？
rogerbot 支持“allow”指令。
要允许在目录中抓取页面，同时禁止 rogerbot 访问目录的其余部分，您可以在 robots.txt 文件中添加如下内容：
User-agent: rogerbot
Allow: /crawler/roger-bot
Disallow: /crawler/