专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

通过基于域投影的路由器设计提出Nexus架构,实现了将独立训练的-20240830051550

爱可可-爱生活  · 微博  · AI  · 2024-08-30 05:15

文章预览

2024-08-30 05:15 本条微博链接 通过基于域投影的路由器设计提出Nexus架构,实现了将独立训练的专家模型高效提质成MoE的同时保留专门化,并可以通过新增专家扩展MoE从而适应新的数据分布,比原有方法更高效、更专门化。 [CL]《Nexus: Specialization meets Adaptability for Efficiently Training Mixture of Experts》N Gritsch, Q Zhang, A Lo ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览