大模型“致命BUG”曝光 | 智谱&清华联合揭秘，成功将输出长度“从2千字扩展到2万字”！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “   长上下文大型语言模型（LLM）的最新进展导致了具有显著扩展内存容量的模型的快速开发，使其能够处理长度超过100000个令牌。然而， 尽管它们有能力处理大量的输入，但当前的长上下文LLM很难产生同样长的输出。作者发现当前的所有的SOTA模型都无法产生长度超过2000字的输出。 同时，对WildChat的用户交互日志的分析表明，超过1%的用户提示明确要求输出超过这个限制，这突出表明当前研究需要迫切克服这个限制。通过受控实验， 作者发现模型的有效生成长度固有地受到其在监督微调（SFT）过程中看到的样本的限制。 为了解决这个问题，本文引入了AgentWrite，这是一个基于代理的管道，它可以将超长生成任务分解为子任务，利用现有的LLM能够生成超过20000字的连贯输 ………………………………