“要点脸吧！”大模型巨头“吸血”网站资源无底线，被惹怒的开发者来“复仇”了！

文章预览

、 整理 | 褚杏娟、核子可乐 在 Mozilla 处理 Firefox 网络兼容性问题的工程师 Dennis Schubert 近期指责大模型公司疯狂爬取内容导致网站负载过高而运行变慢的帖子火了，因为 Schubert 道出了不少开发者的心声： 前段时间，我被 diaspora 项目网络基础设施（包括 Discourse、维基还有项目网站等）运行缓慢 / 负载高企所困扰，而查看流量日志之后我立马怒从心头起。 在过去 60 天里，diaspora 的 Web 资产共收到 1130 万条请求，相当于每秒 2.19 条请求。老实讲，这并不算多。虽然负载远远超过普通的个人博客，但我的基础设施应该能够从容处理才对。 但是，让我恼火的原因在于，查看头部用户代理统计，排在最前面的是： 有 278 万条请求（占全部流量的 24.6%） 来自 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot) 。 有 169 万条请求（ ………………………………