本周大模型Top热门论文精选 —— 24年第28期

文章预览

前言： 科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！ 1. 数百万专家混合模型的研究   标题： Mixture of A Million Experts   关键词： 混合模型、稀疏检索     机构： DeepMind   分析： 这篇论文探讨了稀疏的混合专家（MoE）架构，旨在解决传统图自注意力模型在隐藏层宽度增长时计算成本和激活记忆呈线性增加的问题。通过使用产品键技术，论文提出了PEER层设计，可以在大规模专家池中实现高效的检索，而不受到计算资源和优化问题的限制，这为大型模型进一步扩展和提高性能发挥了潜力。PEER层在语言建模任务上证明了与密集的前馈层和粗糙的MoE层相比，在性能和计算效率之间取得了更好的权衡。   地址： https://arxiv.org/pdf/2407.04153 2. SoftDedup：一种提高语言模型预训练效率的 ………………………………