如何使用 Robots 协议阻止 oBot 抓取网站

如果您不想让 oBot 抓取您的网站,您的管理员可以在您网站的根文件夹中放置一个 robots.txt ( http://en.wikipedia.org/wiki/Robots.txt) 文件,指定哪些文件和文件夹oBot 和其他爬虫可能会也可能不会访问。

应该在您的 robots.txt 文件中使用的 IBM Content Security Crawler 的 ID 是:oBot

这篇文章是否对您有帮助?
如何改善这篇文章,使其对你更有帮助?
很有帮助
没有帮助

服务器出现错误,请稍后再试!