阿里Qwen2.5-1M开源，仅320G可推理14B百万token

文章预览

这段时间，国产大模型DeepSeek、kimi、百川智能、豆包、阶跃星辰等集中发布了自家模型，年前最后一天，阿里千问终究也没hold住，也开源了百万Token上下文 Qwen2.5-1M 模型及其对应的推理框架支持。 开源模型 ： 是 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M ，首次将开源 Qwen 模型的上下文扩展到 1M 长度。 推理框架 ： 完全开源了基于 vLLM 的推理框架，并集成了稀疏注意力方法，在处理 1M 长度输入时的速度能够提升 3倍到7倍 。 技术报告 ：分享了 Qwen2.5-1M 系列背后的技术细节，包括训练和推理框架的设计思路以及消融实验的结果。 显存要求，对于处理 1M 长度的序列： Qwen2.5-7B-Instruct-1M：至少需要 120GB 显存（多 GPU 总和）。 Qwen2.5-14B-Instruct-1M：至少需要 320GB 显存（多 GPU 总和）。 如果 GPU 显存不够，也可以使用 Qwen2.5-1M 进行较短任务的处理。 关键 ………………………………