模型预测：幻觉与模态崩溃之间的权衡 | 腾讯发布Spider：任意到多模态大模型 | 有限数据下的微调语言模型的实用指南....

文章预览

前言： 看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货”哦！ 1. On the Limits of Language Generation：幻觉与模态崩溃之间的权衡   标题： On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse   作者： Alkis Kalavasis,  Anay Mehrotra,  Grigoris Velegkas   分析： 这篇论文主要研究了在统计的语言生成设置中，如何平衡生成的字符串的一致性和丰富性。作者发现，对于大部分的语言模型，包括下一个词预测模型，在大多数候选语言集合中，既能保持一致性又具有丰富性的生成是不可能的。然而，如果有负样本(不在K中的字符串)的存在，那么一致且丰富的生成仍然是可能的。这为 ………………………………