Baiduspider 遵守互联网 robots 协议。您可以利用 robots.txt 文件完全禁止 Baiduspider 访问您的网站，或者禁止 Baiduspider 访问您网站上的部分文件。
注意：禁止 Baiduspider 访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。
关于 robots.txt 的写作方法，下面是一些示例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
使用如上写法之后，百度爬虫将完全不会抓取您的网站。
如果是屏蔽 Baiduspider 抓取网站某个目录，具体写法如下：
User-agent: Baiduspider
Disallow: /cgi-bin/
Disallow: /tmp/
百度爬虫将不会抓取 /cgi-bin/和/tmp/ 目录。