专栏名称: AIGC开放社区
专注AIGC(生成式人工智能)领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展应用和落地,以及国内LLM的发展和市场研究,社区秉承共建、共享、开放的理念,提供对社区会员有价值的商业化思路和服务。
今天看啥  ›  专栏  ›  AIGC开放社区

阿里发布Qwen2.5-Turbo,支持100万Tokens上下文!

AIGC开放社区  · 公众号  ·  · 2024-11-21 04:47
    

文章预览

专注AIGC领域的专业社区,关注微软 、百度文心一言、讯飞星火等大语言模型(LLM)的发展和 应用 落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注! 阿里巴巴重磅发布了Qwen2.5-Turbo 版本。 为了满足用户和开发者的需求,阿里在Qwen2.5-Turbo 版本,将上下文从之前的128K扩展至100万tokens,相当于大约100万个英文单词或150万个汉字,足以涵盖10部长篇小说、150小时的演讲稿或3万行代码,使得模型的整体理解、生成能力获得大幅度提升。 在线demo:https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo 这种百万级上下文能力,使Qwen2.5-Turbo在处理复杂长文本任务时表现出色,例如,在大海捞针任务中,能够完美捕捉所有隐藏的数字,显示出在超长上下文中捕捉细节信息的强大能力。 Qwen2.5-Turbo还通过采用稀疏注意力机制,显著提高了推理速度,将生成首个token的 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览