搜索引擎与爬虫
搜狗蜘蛛更改 PTR 记录
2024 年 4 月 8 日爬虫查询观测到搜狗蜘蛛更改 PTR 记录。
例如:123.125.109.159 为搜狗蜘蛛 IP 地址,rDNS 记录为:sogouspider-123-125-109-159.crawl.sogou.com
但是现在的记录为:sogouspider-123-125-109-159.crawl.sogou.com.109.125.123.in-addr.arpa
在通过程序判断是否为搜狗蜘蛛的时候需要注意。
如果我们需要正向查找此 rDNS 记录是否为搜狗蜘蛛,我们仍然需要通过 sogouspider-123-125-109-159.crawl.sogou.com
查找。
通过 sogouspider-123-125-109-159.crawl.sogou.com.109.125.123.in-addr.arpa
无法正确解析。