AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！

文章预览

本文转自微信公众号“新智元”，作者：新智元。 编辑：编辑部 【导读】 9次迭代后，模型开始出现诡异乱码，直接原地崩溃！就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法？那就是——更多使用人类数据！ 用AI生成的数据训练AI，模型会崩溃？ 牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了Nature封面。 如今，LLM已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。 如果网络上的大部分文本都是AI生成的，我们用网络数据训练出的GPT-n，会发生什么？ 论文地址：https://www.nature.com/articles/s41586-024-07566-y 研究者发现，如果在训练中不加区别地使用AI产生的内容，模型就会出现不可逆转的缺陷——原始内容分布的尾部（低概率事件）会消失！ ………………………………