如何通过 robots 协议屏蔽 SeznamBot

SeznamBot 完全符合机器人排除标准(或简称为robots.txt),该标准通过 robots.txt 文件指定机器人行为的规则。一个 robots.txt 文件包含指定机器人允许/不允许访问和下载网站内容的说明。所有遵循此标准访问您网站的机器人在访问网络时首先读取此文件,并根据文件中的指令调整其行为。

使用 robots.txt 标准,您可以停止 SeznamBot 在您的网络上执行的所有爬行,或者仅停止下载准确指定的页面。我们的爬网程序通常需要几天时间来重新检查 robots.txt 文件中的限制并最终更新索引,但对于某些不经常访问的站点,可能需要长达数周的时间。

如果您想阻止 SeznamBot 完全访问您的站点,请在您的 robots.txt 文件中使用以下指令:

User-agent: SeznamBot
Disallow: /
这篇文章是否对您有帮助?
如何改善这篇文章,使其对你更有帮助?
很有帮助
没有帮助

服务器出现错误,请稍后再试!