微调真的导致了模型幻象吗？

文章预览

Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? 微 调真的导致了模型幻象吗？ ‍‍‍‍‍‍‍‍‍ ‍‍‍‍‍ 上一条发送忘了改标题了=。= 对于模型幻象这一令人头大的问题，其实社区很多人都认为是SFT阶段试图注入太多模型没有在预训练阶段学到的知识，从而使其尝试虚假错误地回复，这种揠苗助长逼迫模型容易hallucinate，这篇论文便对此进行了讨论。作者设计了一个专注于闭卷QA的实验，在其中变换能引入新知识的微调数据的比例。作者展示了 LLM通过微调获取新的事实知识很困难，因为学习会引入新知识的微调数据比学那些与模型知识一致的数据明显更慢 。而且他们也发现， 模型产生幻觉的倾向随着带有新知识的样例最终被学习到的过程进行而线性增加 。总之，该研究强调了通过微调引入新的事实知识的风险，并且认为 LLM主要通过预训 ………………………………