文章预览
前言： 平淡无奇的一天又来了，今天要分享的内容主要是关于大模型、模型评估、指令微调的，喜欢的小伙伴赶紧去阅读相关论文吧。 1. MoFO：缓解大模型微调中的遗忘问题 标题： MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning 机构： 香港中文大学、香港科技大学 关键词： 大型语言模型、知识遗忘、Momentum-Filtered Optimizer 作者： Yupeng Chen, Senmiao Wang, Zhihang Lin 分析： 这篇论文关注大型语言模型（LLM）在微调过程中可能出现的知识遗忘问题。作者提出了一种名为Momentum-Filtered Optimizer（MoFO）的新微调算法，该算法通过迭代选择并更新具有最大动量的模型参数，旨在保持模型参数接近预训练状态，从而减轻知识遗忘。该算法无需访问预训练数据，适用于只有微调检查点的开源LLM。此外，MoFO不会改变原始损失函数，避免了
………………………………
