NeurIPS 2024｜杜克大学&谷歌提出SLED解码框架，无需外部数据与额外训练，有效缓解大语言模型幻觉，提高事实准确性

主要观点总结

机器之心AIxiv专栏报道了一篇关于大语言模型（LLM）的研究，针对LLM生成内容有时出现错误的问题，来自杜克大学和Google Research的研究团队提出了一种新的解码框架——自驱动Logits进化解码（SLED）。SLED旨在提升LLM的事实准确性，无需外部知识库和额外微调。文章介绍了SLED的研究背景、思路、方法设计、实验验证以及引申思考。

关键观点总结

关键观点1: 研究背景与现状

大语言模型（LLM）在各种任务上表现出卓越的性能，但存在幻觉（hallucination）问题，导致生成内容有时与事实不符。这一问题限制了LLM在实际应用中的可靠性。

关键观点2: 新解码框架SLED的介绍

SLED是一种新的解码框架，通过对比LLM最后一层的输出和前面几层的潜在知识，有效地挖掘了LLM内部的潜在知识，旨在提升大语言模型的事实准确性。

关键观点3: SLED方法与实验验证

SLED方法通过优化损失函数来确保正确的token在输出分布中获得更高的概率。实验验证显示，SLED在多种任务上显著提升了LLM的事实准确性，并且与其他常见的解码方式具有良好的兼容性。

关键观点4: SLED的优势与潜在研究方向

SLED与经典优化算法如梯度下降法结合紧密，优化效率高，同时有很多潜在的研究方向可以尝试。未来可以探索将SLED与监督式微调方法结合，以适应其他领域的特定需求。

文章预览

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 此项研究成果已被 NeurIPS 2024 录用。该论文的第一作者是杜克大学电子计算机工程系的博士生张健一，其主要研究领域为生成式 AI 的概率建模与可信机器学习，导师为陈怡然教授。 大语言模型（LLM）在各种任务上展示了卓越的性能。然而，受到幻觉（hallucination）的影响，LLM 生成的内容有时会出现错误或与事实不符，这限制了其在实际应用中的可靠性。 针对这一问题，来自杜克大学和 Google Research 的研究团队提出了一种新的解码框架 —— 自驱动 Logits 进化解码（SLED）， ………………………………