大模型微调炼丹心得十问

文章预览

作者：引线小白 原文地址：https://zhuanlan.zhihu.com/p/704809979 Q1: 超参数如何设定？ 简单任务rank=16，alpha=32一般就ok了，Lightning AI有一篇技术分享专门讨论了，lora的参数设定问题。 Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments https://lightning.ai/pages/community/lora-insights/ Q2：sft微调需要多少数据， 根据任务难度，设定。这句话有点废。具体点，任务难度可以根据模型计算困惑度来衡量。你可以和一般任务对比，自行摸索一个阀值。这是定量。定性，如果提示词能够解决，难度较低，如果通过提示词不能解决，难度是有点，是中等，还是高根据模型已有的先验知识来定。所以一般难度100-300条数据就ok了，中等，困难问题一般需要1000以上，这个以上可能是3000，8000，1w或者10w加。你说任务难度和数据量有没有定性关系, 如果你算力够，又想搞研究写论 ………………………………