CGI科技周报（2024第30周）| LLM“模型崩溃”、NeuralGCM预测大气环流、可穿戴设备提供多维力量辅助

文章预览

Tech Innovation 国际观察  |  科技周报 本周内容 科技动态 -人工智能 -现代能源 -材料科技 -生物医药 -航空航天 -量子信息 数字网络前沿 科技投融资 政策追踪 -美国 -印度 -欧洲 News 科技 动态 #01  人工智能 使用模型生成的数据进行训练时，LLM会崩溃 [1] 英国牛津大学的研究团队发现在训练中不加区分地使用模型生成的内容会导致模型出现不可逆转的缺陷，包括忘记原始数据分布的“尾部”事件。这种“模型崩溃”可能发生在大语言模型（LLM）、变分自动编码器（VAE）和高斯混合模型（GMM）中。研究人员建立了这一现象背后的理论直觉，并描绘了它在所有生成式模型中的普遍性，这表明收集人类与系统真实交互的数据的价值将越来越大。（Nature，7.24） 模型崩溃是一种退化学习过程 @牛津大学 大气环流模型NeuralGCM [2] 美国谷歌研究中心结合可微分大气动 ………………………………