爬虫,也称为蜘蛛或机器人,是 Comscore 用来访问和访问网页内容的软件。
Comscore 爬虫:
-
只下载静态的文本内容
-
遵守robots.txt的规则
-
不执行 JavaScript 来生成广告展示
-
默认情况下以较慢的速度抓取
爬虫,也称为蜘蛛或机器人,是 Comscore 用来访问和访问网页内容的软件。
Comscore 爬虫:
只下载静态的文本内容
遵守robots.txt的规则
不执行 JavaScript 来生成广告展示
默认情况下以较慢的速度抓取