什么是 Googlebot

Googlebot 是 Google 的网页抓取工具的通用名称。具体而言,Googlebot 是两种不同类型的抓取工具的通用名称:一个是模拟桌面设备用户的桌面版抓取工具,一个是模拟移动设备用户的移动版抓取工具。

您的网站很可能会被 Googlebot 桌面版和 Googlebot 智能手机版同时抓取。您可以通过查看请求中的用户代理字符串来确定 Googlebot 的子类型。不过,这两类抓取工具都遵循 robots.txt 中的同一产品令牌(用户代理令牌),因此您无法使用 robots.txt 有选择地指定 Googlebot 智能手机版或 Googlebot 桌面版。

这篇文章是否对您有帮助?
如何改善这篇文章,使其对你更有帮助?
很有帮助
没有帮助

服务器出现错误,请稍后再试!