数据不够致Scaling Law撞墙？CMU和DeepMind新方法可让VLM自己生成记忆

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 机器之心 编辑｜Panda、蛋酱 最近 AI 社区很多人都在讨论 Scaling Law 是否撞墙的问题。其中，一个支持 Scaling Law 撞墙论的理由是 AI 几乎已经快要耗尽已有的高质量数据，比如有一项研究就预计，如果 LLM 保持现在的发展势头，到 2028 年左右，已有的数据储量将被全部利用完。 图源：Will we run out of data? Limits of LLM scaling based on human-generated data 卡内基・梅隆大 学（CMU）和 G oogle DeepMind 的一篇标题为「 VLM 智能体生成自己的记忆：将经验蒸馏成具身思维程序 」的研究发现，通过使用低质量数据和反馈，或 ………………………………