微软新出框架：Transformer扩展到10亿token（附代码下载）

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文地址：https://arxiv.org/pdf/2307.02486.pdf 项目地址：https://github.com/microsoft/unilm/tree/master 计算机视觉研究院专栏 Column of Computer Vision Institute 已经扩展到了10亿token，未来能否将整个互联网作为一个序列处理？ 当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。 比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前成员创立的 Anthropic 更是将 Claude 处理 token 能力提升到 100k，约 75000 个单词，大概相当于一键总结《哈利波特》第一部。 在微软最新的一项研究中，他们这次直接将 Transformer 扩展到 10 亿 token。这为建模非常长的序列开辟了新的可能性，例如将 ………………………………