大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手

主要观点总结

文章探讨了合成数据对LLM（大型语言模型）的影响，介绍了合成数据导致模型崩溃的现象，分析了这一现象的理论背景和实验结果，并探讨了不同的数据混合策略对模型崩溃的影响。文章旨在回答模型崩溃是否可避免、较大的模型是否更容易崩溃等问题。

关键观点总结

关键观点1: 合成数据对LLM的影响

文章介绍了合成数据训练模型相当于‘近亲繁殖’，可能导致模型原地崩溃。许多大佬对此表示不同意见，但最新论文表明，即使合成数据只占很小部分，也可能导致模型崩溃。

关键观点2: 模型崩溃的理论分析和实验结果

文章通过理论分析和实验验证了合成数据导致模型崩溃的现象，并探讨了不同的模型尺寸、数据质量等因素对模型崩溃的影响。

关键观点3: 数据混合策略对模型崩溃的影响

文章探讨了不同的数据混合策略，包括加权数据混合和战略性迭代混合，以缓解模型崩溃现象。然而，这些策略在实践中可能难以实施，并且无法完全解决模型崩溃问题。

文章预览

1%的合成数据，就让LLM完全崩溃了？ 7月， 登上Nature封面一篇论文证实 ，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。 论文地址：https://www.nature.com/articles/s41586-024-07566-y 然而，许多大佬都不同意这篇文章的方法和结论。 比如，Scale AI的CEO Alexandr Wang就很看好合成数据的前景， 英伟达发布的开源模型Nemotron-4 340B 甚至使用了98%的合成数据。 最近，Meta、纽约大学、UCLA机构发表的最新论文，再一次动摇了这些大佬们的结论。 论文地址：https://arxiv.org/abs/2410.04840 他们发现，即使合成数据仅仅占到总数据集的最小部分，甚至是1%的比例，仍然可能导致模型崩溃。 甚至，ChatGPT和Llama这种较大的模型，还可能放大这种「崩溃」现象。 强模型崩溃，如何发生的？ 随着越来越多的合成数据出现在训练集中，一种新的现象应运而生： ………………………………