专栏名称: 机器之心SOTA模型
追踪 AI 开源进展,探索先进开发实践。
今天看啥  ›  专栏  ›  机器之心SOTA模型

今日开源(2024-09-13):元象科技发布XVERSE-MoE-A36B,中国最大开源MoE模型,助力AI应用低成本部署

机器之心SOTA模型  · 公众号  ·  · 2024-09-13 18:01

文章预览

🏆 基座模型 ①项目:XVERSE-MoE-A36B ★XVERSE-MoE-A36B 是由深圳元象科技自主研发的支持多语言的大语言模型,采用 混合专家模型(MoE)架构 。 模型总参数规模为 2554 亿,实际激活的参数量为 360 亿。 采用了 4D 拓扑架构,平衡了通信、显存和计算资源的分配。该模型通过海量高质量、多样化的数据进行训练, 支持 40 多种语言,特别在中英两种语言上表现优异 。 ☆一键收藏: https://sota.jiqizhixin.com/project/xverse-moe ②项目:OpenAI-o1 ★OpenAI的o1系列模型是新一代大型语言模型,经过强化学习训练,旨在执行复杂推理。 o1模型在回答之前会进行思考,并 能够在回应用户之前生成较长的内部思维链 。 o1模型在科学推理方面表现出色 ,在竞争性编程问题(Codeforces)中排名第89百分位,在美国数学奥林匹克(AIME)预选赛中跻身前500名学生之列,并在物理、生物 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览