Big Model weekly | 第43期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 SimpleStrat: Diversifying Language Model Generation with Stratification 从大型语言模型（LLMs）生成多样化的回应对于规划/搜索和合成数据生成等应用至关重要，因为在这些应用中，多样性可以在不同生成中提供不同的答案。先前的方法依赖于提高温度来增加多样性。然而，与普遍的看法相反，本研究不仅表明这种方法随着温度的升高会产生质量较低的个体生成，而且还依赖于模型的下一个标记概率与答案的真实分布相似。本文提出了SimpleStrat，这是一种替代方法，它使用语言模型本身将空间划分为不同的层。在推理时，随机选择一个层，并从层内抽取样本。为了衡量多样性，本文介绍了CoverageQA，这是一个包含多个同样合理的答案的未指定问题的数据库，并通过测量输出分布与有效真实答案上的均匀分布之 ………………………………