使用 LoRA 对 Gemma 2 进行微调，以纳入 Rust 官方文档

文章预览

本文原作者: Zhicheng Wang，原文发布于: Kaggle https://www.kaggle.com/code/asnowwolf/lora-gemma2-rust 概述 Gemma 是一组轻量级的开放模型，基于用于创建 Gemini 模型的研究和技术构建而成。大语言模型 (LLM) 如 Gemma 在各种自然语言处理任务中表现出色。LLM 首先通过在大量文本语料库上进行自监督预训练来学习，预训练帮助 LLM 学习通用知识，例如词与词之间的统计关系。然后，可以使用特定领域的数据对 LLM 进行微调，以执行下游任务 (例如情感分析)。 LLM 的规模非常庞大 (参数量级为数百万)。对于大多数应用，完全微调 (更新模型中的所有参数) 并不必要，因为微调数据集的规模相对于预训练数据集来说要小得多。 低秩适配 (LoRA)  是一种微调技术，它通过冻结模型的权重并将少量的新权重插入模型，大大减少了下游任务的可训练参数数量。这使得使用 LoRA 进行训练 ………………………………