注册    登录
专栏名称: 黄建同学
数码博主 超话主持人（ChatGPT超话） 头条文章作者 我的学习笔记，关注AI+新能源
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
目录
今天看啥  ›  专栏  ›  黄建同学

DeepSeek-V3另一个厉害点：Mixture-of-Exp-20241228205016

黄建同学  · 微博  · AI  · 2024-12-28 20:50
    

文章预览

2024-12-28 20:50 本条微博链接 DeepSeek-V3另一个厉害点：Mixture-of-Experts (MoE)架构，一种将LLM分割成多个子网络（或称为“专家”）的方法，每个子网络专注于处理输入数据的一个子集，以共同完成特定任务。 （1）专家系统：MoE架构包含多个专家，每个专家都是一个独立的神经网络，能够处理特定的任务或数据类型。有多达256个专家，每个专家专注于处理特定任务。 （2）动态路由：不是所有的专家都会参与到每一次的计算中 ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照
总结与预览地址：访问总结与预览
推荐文章
爱可可-爱生活  ·  晚安～ #晚安# -20241228231712
2 天前
量子位  ·  国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开
3 天前
宝玉xp  ·  唯一的问题是经常不给我生成，审查过于严苛//@Simon_阿文:-20241227060645
3 天前
爱可可-爱生活  ·  [CL]《Fooling LLM graders into gi-20241227052758
3 天前
爱可可-爱生活  ·  【年终干货：2025版「AI领域顶尖专家关注清单」】 跟随一线专-20241226145151
4 天前
牛鼻闪闪的初中数学  ·  全班只有一人做对的定义域
7 月前
熠熠全球能源观察  ·  【俄中亚研报第151期】今天的未来：石油和天然气行业的新机遇
6 月前
赛柏蓝  ·  风靡全球的眼科巨头，可能「易主」
3 月前
懂一点人情世故  ·  师傅给徒弟上了一堂人生必修课，徒弟铭记一生
2 月前
广州日报  ·  TVB“金牌绿叶”去世，曾出演《射雕英雄传》等多部金庸剧
6 天前
关于   移动版   ·   Py中国   ·   RSS之家   ·   CodingPro   ·   Code   ·   Link之家   ·   卧龙AI搜索   ·   小百科   ·   51好读   ·   小百科（海外）   ·   Link管理
今天看啥 - 微信公众号rss订阅, 微信rss, 稳定的RSS源
© 2024 ~ 沪ICP备11025650号