1. 如何阻止 PetalBot 访问您的网站
PetalBot 符合互联网机器人协议。您可以使用 robots.txt 文件完全阻止 PetalBot 访问您的网站,或者阻止 PetalBot 访问您网站上的某些文件。
注意:禁止 PetalBot 访问您的网站将使您网站上的页面和 Petal 提供的所有搜索引擎服务无法在 Petal 搜索引擎中搜索到。
设置建议
可以根据每个产品的不同user-agent设置不同的爬取规则,直接阻止 PetalBot 爬取。以下机器人可以阻止 PetalBot 或条件允许:
User-agent: PetalBot
Disallow: /
User-agent: PetalBot
Allow: /w/api/
Disallow: /trap/
2. PetalBot 给 Web 服务器带来多大压力
为了对目标资源有更好的检索结果,PetalBot 需要对您的网站保持一定的抓取量。PetalBot 尽量不给网站带来不合理的负担,PetalBot 会根据服务器容量、网站质量、网站更新等综合因素进行调整。如果 PetalBot的来访有任何不合理的行为,请将您的疑虑发送至 petalbot@huawei.com