如果您想排除 Comscore 的抓取工具以不访问您网站的特定部分，请在 robots.txt 中添加一个单独的段落并指定您要排除的路径：
User-agent: proximic
Disallow: /path/
确保 robots.txt 位于正确的位置。它必须位于顶级目录中，例如 www.domain.com/robots.txt。
将文件放在子目录中不会产生任何影响。此外请注意，爬虫使用的 IP 地址会不时更改，robots.txt 中的更改可能需要一天时间才能在所有系统中传播。