只需预训练一次，获取各个尺寸的模型！Mamba综述来啦！

文章预览

前言： 科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！ 1. 预训练1次，获取全部模型   标题： POA: Pre-training Once for Models of All Sizes   相关领域： 预训练、模型结构改进   作者： Yingying Zhang,  Xin Guo,  Jiangwei Lao   分析： 本文提出了一种新颖的三路自监督训练框架——POA（预训练一次覆盖所有模型），旨在解决根据不同大小场景中开发出了运算或存储约束的多种模型的需要，在一个框架中预训练大模型，从而能够根据下游任务提取不同大小的预训练模型。该方法引入了一个创新的弹性学生分支到现代自归化领域，并在每个预训练步骤中从原始学生模型随机抽取子网络形成弹性学生，将其训练成各种大小。该研究为各种大小的模型提供了额外的多大小模型组成的模型集合， ………………………………