用 AI 训练 AI，会变成傻子 AI ！

文章预览

近期来自Nature杂志的一个封面引起了大家的注意，来自牛津，剑桥的研究人员发现，使用AI合成的数据来训练AI，可能导致大模型退步，甚至越来越傻。 我们都知道，训练AI需要大量的数据，目前网络上的数据已经无法喂饱AI了，所以现在很多科技公司都在使用AI大模型生成新数据，然后再喂给AI用来训练。可是研究团发现了这么做会让AI变傻！~ 他们举了一个例子，在测试Meta的OPT-125m模型时，问了一个关于中世纪建筑的问题。 每次微调后都用上一次训练生成的数据来训练，几次结果还好，在第9次时就开始胡说八道了，根据这个论文的作者表示，他之前想过用合成数据训练AI可能对大模型造成影响，但是没想到这么快就出现了。 但是基于这个问题，目前还没有好的解决方案，但是研究团队表示大模型崩溃，也就是大模型的退化，模型根据生成的内容污 ………………………………