DeepSeek-V3另一个厉害点：Mixture-of-Exp-20241228205016

黄建同学 · 微博 · AI · 2024-12-28 20:50

文章预览

2024-12-28 20:50 本条微博链接 DeepSeek-V3另一个厉害点：Mixture-of-Experts (MoE)架构，一种将LLM分割成多个子网络（或称为“专家”）的方法，每个子网络专注于处理输入数据的一个子集，以共同完成特定任务。（1）专家系统：MoE架构包含多个专家，每个专家都是一个独立的神经网络，能够处理特定的任务或数据类型。有多达256个专家，每个专家专注于处理特定任务。（2）动态路由：不是所有的专家都会参与到每一次的计算中 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 本文创新性地提出了“聚合浪费机会”指标和基于 PCA 的原则性抽-20250318053913

2 天前

新智元 · 机器人安卓时刻！行业首个通用具身智能平台亮相，国家队全程真机直播

2 天前

爱可可-爱生活 · 【[13星]Awesome-Reasoning-MLLM：一站式-20250317125925

2 天前

宝玉xp · 你的孩子很可能正在用AI作弊越来越多的学生偷偷使用AI完成作业，-20250317055047

3 天前

宝玉xp · 转发微博-20250317060222

3 天前

老井扯鸡蛋 · 老井扯鸡蛋：为啥节前鸡蛋严重缺货，蛋价还要暴跌？！

6 月前

化工365 · 直播预约 | 权威专家深度解析：安全检查中防爆电气常见问题

2 月前

东方网 · 上海突发连环事故！5辆车“打弹子”般追尾，两车被撞得横在匝道口……

2 月前