Googlebot 是 Google 的网页抓取工具的通用名称。具体而言,Googlebot 是两种不同类型的抓取工具的通用名称:一个是模拟桌面设备用户的桌面版抓取工具,一个是模拟移动设备用户的移动版抓取工具。
您的网站很可能会被 Googlebot 桌面版和 Googlebot 智能手机版同时抓取。您可以通过查看请求中的用户代理字符串来确定 Googlebot 的子类型。不过,这两类抓取工具都遵循 robots.txt 中的同一产品令牌(用户代理令牌),因此您无法使用 robots.txt 有选择地指定 Googlebot 智能手机版或 Googlebot 桌面版。