专栏名称: AI前线
InfoQ十年沉淀,为千万技术人打造的专属AI公众号。追踪技术新趋势,跟踪头部科技企业发展和传统产业技术升级落地案例。囊括网站和近万人的机器学习知识交流社群。
今天看啥  ›  专栏  ›  AI前线

零一万物发布最新旗舰模型,百万 token 仅 0.99 元!李开复:定价没有亏本

AI前线  · 公众号  · AI  · 2024-10-17 15:34

文章预览

作者 | 褚杏娟 10 月 16 日,继上半年千亿参数模型 Yi-Large 之后,零一万物正式对外发布最新旗舰模型 Yi-Lightning。与 Yi-Large 相比,Yi-Lightning 在模型性能更进一步的前提下,推理速度方面也迎来极大提升。 零一万物内部评测数据显示,在 8xH100 算力基础下,以同样的任务规模进行测试,Yi-Lightning 的首包时间(从接收到任务请求到系统开始输出响应结果之间的时间)仅为 Yi-Large 的一半,最高生成速度也提升了近四成,大幅实现了旗舰模型的性能升级。 外部模型中,零一万物选择与 GPT-4o 做对比: 据零一万物介绍,Yi-Lightning 推理速度的提升,一方面得益于其自身的 AI Infra 能力,另一方面,Yi-Lightning 选择采用 Mixture of Experts(MoE)混合专家模型架构,并在模型训练过程中做了新的尝试。 MoE 模型由多个专家网络(Experts)构成,这种模型设计使其能够根 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览