去年AI研究公司Epoch AI曾经做出预测，到2028年互联网上所有高质量的文本数据都将被使用完毕，AI 业界将会撞上"数据墙"（data wall)。而急于获得更多数据来训练更强模型的AI厂商与待价而沽数据拥有 者之间的博弈，更堪称是过去两年间互联网世界最有看点的斗争之一。 据悉，Perplexity的做法是更换用户代理（UA），而后者则代表用户进行网络活动的软件实体，它可以 是任何能够发起网络请求的软件。用户代理的主要作用是向服务器发送请求，并接收、解析服务器返回 的响应，可被视为是一张"网络身份证"。而Perplexity则会将自己的爬虫伪装成Chrome UA来躲避网站的 拦截，即在网站面前冒充Chrome。 为了帮助自家客户免遭Perplexity爬虫的骚扰，Cloudflare宣布将后者从已验证的机器人列表中删除。对 此，Perplexity公司发言人Jesse Dwyer直接否认了Cloudflare的说法，并宣称Cloudflare的行为就是在推销 自己的服务，其博文中的截图显示没有内容被Perplexity爬虫访问，甚至提及的爬虫都不属于他们。 不得不说，Perplexity的公关水平相当 ...

@eastdakota What are your thoughts?If users couldn't delegate their actions to AI agents, and all agent traffic was forbidden by robots.txt, then agents wouldn't be able to log in on behalf of users & perform actions.Perhaps robots.txt should get a new section for AI agents. ...