专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

针对监督微调使用交叉熵存在的过拟合和生成多样性有限问题,提出生成-20240909055206

爱可可-爱生活  · 微博  · AI  · 2024-09-09 05:52

文章预览

2024-09-09 05:52 本条微博链接 针对监督微调使用交叉熵存在的过拟合和生成多样性有限问题,提出生成式分布匹配和熵正则化的策略,给出新的训练算法GEM,实验表明可以减少过拟合并提升多样性。 [LG]《Entropic Distribution Matching in Supervised Fine-tuning of LLMs: Less Overfitting and Better Diversity》Z Li, C Chen, T Xu, Z Qin... [The Chi ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览