Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫

文章预览

#网络服务 Cloudflare 为所有网站带来 AI 审计功能，可以检查 AI 爬虫归属哪家公司、何时来抓取哪种资源、抓取的资源数据、抓取频次等。如果网站管理员不希望一个或多个爬虫抓取自己网站的数据，还可以直接屏蔽特定 AI 公司的爬虫，当然也可以直接屏蔽所有 AI 公司的爬虫。查看全文：https://ourl.co/105934 网络服务提供商 Cloudflare 宣布即日起为所有网站 (包括免费托管的网站) 带来 AI 审计功能，该功能目前处于测试阶段，可以分析 AI 公司的爬虫和抓爬数据。 新的 AI 审计工具 (Cloudflare AI Audit) 主要提供 AI 公司的爬虫何时到网站来抓取数据、抓取的数据地址、抓取频次以及其他分析数据。 内容创作者和网站管理员可以借助 AI 审计功能轻松检查自己的内容被哪些 AI 公司白嫖了，如果被白嫖难受的话，也可以直接一键禁止抓取。 其中 AI 审计工具中的禁 ………………………………