大模型日报（8月14日 学术篇）

文章预览

特别活动 ！ 我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 LongWriter：从长上下文LLM中释放1万字以上的生成 当前的大语言模型(LLMs)能够处理长达100,000个token的输入，但很难生成超过2,000个单词的输出。通过控制实验，我们发现模型的有效生成长度受到在监督微调(SFT)期间看到的样本的固有限制。换句话说，他们的输出限制是由现有SFT数据集中长输出示例的稀缺性所致。为了解决这个问题，我们引入了AgentWrite，一个基 ………………………………