网页链接为了了解 LoRA 的工作原理，我实现了 LoRA 并使-20240731201856

文章预览

2024-07-31 20:18 本条微博链接 网页链接 为了了解 LoRA 的工作原理，我实现了 LoRA 并使用 pytorch 微调了一个简单的 MLP。 下面是 Colab 笔记本。 大纲： 1. 训练一个简单的超参数化~5M 参数 MLP 进行分类。 2.冻结原始权重-W 3. 在启用时使用 pytorch 中的参数化来交换 LoRA 适配器。- ~9k 个参数 4. 仅对特定类别的标签微调 9k 参数。 5. 评估启用和禁用 LoRA 适配器的性能。 网页链接 ………………………………