AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！

文章预览

用AI生成的数据训练AI，模型会崩溃？ 牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了Nature封面。 如今，LLM已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。 如果网络上的大部分文本都是AI生成的，我们用网络数据训练出的GPT-n，会发生什么？ 论文地址：https://www.nature.com/articles/s41586-024-07566-y 研究者发现，如果在训练中不加区别地使用AI产生的内容，模型就会出现不可逆转的缺陷——原始内容分布的尾部（低概率事件）会消失！ 这种效应，被称为「模型崩溃」。 换句话说，合成数据就像是近亲繁殖，会产生质量低劣的后代。 模型崩溃在LLM、变分自编码器VAE和高斯混合模型GMM中，都可能会发生。 有网友认为，是时候敲响警钟了！ 「如果大模型真的在AI生内容的重压下崩溃，这对它们的可信度来说就是末 ………………………………