文章预览
点击上方 蓝字 关注我 本文:5800字阅读 15分钟 虽然大语言模型(LLM)的能力不断突破,但在长文生成方面却一直存在瓶颈。近日,清华大学和智谱AI联合发布的最新研究成果,为解决这一难题提供了创新方案。这项名为"LongWriter"的技术,成功将AI模型的长文生成能力从约2000字提升至10000字以上,同时保持了高质量输出。这一成果通过创新的数据构建方法、模型训练策略和评估基准,为AI长文创作开辟了新天地。 论文链接:https://arxiv.org/pdf/2408.07055 项目地址:https://github.com/THUDM/LongWriter 图片来自论文开源项目 01 当前AI模型的输出瓶颈 研究团队首先对目前市面上主流的长上下文LLM进行了系统测试。他们设计了一个名为"LongWrite-Ruler"的评估方法,要求模型生成不同长度(从1,000到30,000字)的文章。测试结果令人意外:即便是最先进的模型,如GPT-4和Claude 3.5
………………………………