Intel入局大模型，烧钱搜索130亿种网络结构，让LLaMa2瘦身30%

文章预览

夕小瑶科技说 原创 作者 |  任同学 大语言模型在多个领域大放异彩，但它们的高内存和计算成本限制了广泛使用。神经架构搜索（NAS）能自动找到最优模型架构，减少手动调试，但在大模型上应用NAS仍然面临高成本和庞大搜索空间的挑战。 来自于自英特尔公司的英特尔实验室（Intel Labs）的研究团队提出了一种基于LLaMA2-7B的高效神经架构搜索方法，通过一次性微调和遗传算法搜索来找到更小、更高效的网络架构，而无需从头训练超网络。研究表明，预训练的LLaMA2-7B模型在某些标准基准任务上过于庞大和复杂，该方法减少了1.5倍的模型大小，提高1.3倍的吞吐量，而准确率几乎没有下降。 论文题目 ： LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models 论文链接 ： http://arxiv.org/abs/2405.18377 论文单位 ：Intel Labs 方法 为了优化大语言模型，使其能够 ………………………………