SeznamBot 完全符合机器人排除标准(或简称为robots.txt),该标准通过 robots.txt 文件指定机器人行为的规则。一个 robots.txt 文件包含指定机器人允许/不允许访问和下载网站内容的说明。所有遵循此标准访问您网站的机器人在访问网络时首先读取此文件,并根据文件中的指令调整其行为。
使用 robots.txt 标准,您可以停止 SeznamBot 在您的网络上执行的所有爬行,或者仅停止下载准确指定的页面。我们的爬网程序通常需要几天时间来重新检查 robots.txt 文件中的限制并最终更新索引,但对于某些不经常访问的站点,可能需要长达数周的时间。
如果您想阻止 SeznamBot 完全访问您的站点,请在您的 robots.txt 文件中使用以下指令:
User-agent: SeznamBot
Disallow: /