1块3090就能训7B大模型，山东大学低带宽低显存训练法，解决显卡限购卡脖子

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 夕小瑶科技说 作者 | 谢年年 大模型的全参数微调对资源要求非常高，当前业界更倾向于采用LoRA，Parallel Adapter等参数高效微调（PEFT）方法，通过添加只占用LLMs全部参数很小部分（例如，0.1%）的可训练模块，损失小部分精度以换取低资源高效率的微调。 但对于问答（QA）等知识密集型任务来说，当可训练参数受限时，性能下降较为显著。如下图所示，相比全参数微调，其他PEFT方法下降10%左右。 但我们也从中发现，在Parallel Adapter中随着适配器参数数量的增加，答案准确率呈现出明显的上升趋势。 ………………………………