LoRA数学编程任务不敌全量微调 | 哥大&Databricks新研究

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 大数据巨头Databricks与哥伦比亚大学最新研究发现， 在数学和编程任务上，LoRA干不过全量微调 。 具体来说，在这两种任务中，LoRA模型的精确度只有后者的八到九成左右。 不过，作者也发现，LoRA虽然学得少，但是“记忆力”却更好， 遗忘现象要比全量微调少 得多。 究其原因，作者认为是数学和代码任务的特性与LoRA的低秩“八字不合”，遗忘更少也与 秩 相关。 但LoRA的一个公认的优势是 训练成本更低 ；而且相比全量微调，能够 更好地保持原有模型性能 。 于是，网友们的看法也自然地分成了两派： 一波人认为，单纯考虑降低成本用LoRA，表现却显著降低，这是不可接受的。 更具针对性的，有人指出，对于数学和代码这样对精度要求高的任务，一定要最大程度地保证性能，哪怕牺牲一些训练成本。 另一 ………………………………