Cloudflare 发现 Perplexity 抓取明确禁止AI爬虫的网站

互联网基础设施提供商 Cloudflare 称，人工智能初创公司 Perplexity 正在抓取和爬取那些已明确表示不希望被抓取的网站内容。周一， Cloudflare 发布研究表示，其观察到这家人工智能初创公司忽略了阻止并隐藏其爬取和抓取活动。这家网络基础设施巨头指控Perplexity在试图抓取网页时隐藏其身份，以试图规避网站的偏好设置， Cloudflare 的研究人员写道。据Cloudflare称，Perplexity 似乎故意通过更改其机器人的 “用户代理” 以及更改其自治系统网络或者 ASN 来规避这些阻止。Cloudflare 写道：“我们在数万个域名和每天数百万个请求中观察到了这种活动。”

—— Techcrunch