大模型日报（8月31日~9月1日 学术篇）

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 学习 0 1 Minimax Link伙伴日学习笔记 #LLM 部分 1. minimax 每天全线消耗 3 万亿 tokens。2. 用 linear attention+moe  结构增加上下文长度，降低推理成本。minimax 推测 OpenAI 也是这么做的。3. linear attention 的训练，推理的工程挑战都不一样。4. linear attention 序列并行方法需要重新设计，采用类似 ring 方式，但通信量和序列长度无关。5. linear attention 计算速度快于标准注意力，通信极易成瓶颈，训 ………………………………