如果您不想让 oBot 抓取您的网站,您的管理员可以在您网站的根文件夹中放置一个 robots.txt ( http://en.wikipedia.org/wiki/Robots.txt
) 文件,指定哪些文件和文件夹oBot 和其他爬虫可能会也可能不会访问。
应该在您的 robots.txt 文件中使用的 IBM Content Security Crawler 的 ID 是:oBot。
如果您不想让 oBot 抓取您的网站,您的管理员可以在您网站的根文件夹中放置一个 robots.txt ( http://en.wikipedia.org/wiki/Robots.txt
) 文件,指定哪些文件和文件夹oBot 和其他爬虫可能会也可能不会访问。
应该在您的 robots.txt 文件中使用的 IBM Content Security Crawler 的 ID 是:oBot。