经过多轮”自学”的AI在面对这些新问题时，表现反而更差!

文章预览

AI经过多轮“自我提升”，能力不增反降？ 上海交通大学GAIR团队最新研究表明，在常识理解、数学推理和代码生成等复杂任务中，AI经过多轮“自我提升”后，可能会出现一种称为“ 自我提升逆转 ”（self-improvement reversal）的现象。 LLaMA-2-7B、Mistral-7B、LLaMA-8B都没逃过。 这就像一个学生刷题刷到”走火入魔”——虽然考试成绩提高了，但实际解决问题的能力反而可能下降！ 更值得警惕的是，这种训练还可能导致AI的回答变得千篇一律， 失去了原有的创造力和适应新情况的能力 。好比一个学生只会应付考试，遇到真实世界的问题就束手无策。 要知道，OpenAI最近被曝光的项目“草莓”，据说还在使用post-training阶段的自我提升来提升模型复杂推理能力…… 目前该研究《Progress or Regress？Self-Improvement Reversal in Post-training》已获得了 ICML 2024 （AI for Math Works ………………………………