专栏名称: 将门创投
将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。
今天看啥  ›  专栏  ›  将门创投

ICML 2024 | COPAL:三星提出“持续剪枝”新概念,仅需16个样本即可实现大模型高效瘦身

将门创投  · 公众号  · 科技创业  · 2024-07-12 08:22

文章预览

随着NLP领域的不断发展,将预训练的大语言模型快速优雅的部署到不同的领域已经成为一个重要的研究方向。 通常这种迁移需要考虑两个关键因素:(1)模型的高计算需求和(2)在下游领域中无法持续适应 。 为了同时应对这两个问题, 本文介绍一篇来自三星半导体的研究工作,本文提出了一种自适应语言设置中的持续剪枝框架,称为COPAL ,该框架可以在持续模型适应设置下对生成式大模型进行剪枝优化。剪枝可以避免对模型在下游任务中进行二次微调,为了提高剪枝过程的性能, 本文作者提出了一种敏感性分析来指导剪枝过程,该敏感度有效地衡量了模型抵抗新数据集引入的扰动的能力,并找出最适合当前数据集的模型权重 。这使得COPAL可以在保持高效剪枝效率的同时,无缝适应到新领域中。作者在不同规模的大模型上进行了详实的实验,结 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览