专栏名称: 机器学习初学者
号主黄博Github全球排名前90,3.6万Star!致力于为初学者提供学习路线和基础资料,公众号可以当作随身小抄,文章很全,建议收藏!点击菜单可以进入学习!
今天看啥  ›  专栏  ›  机器学习初学者

【NLP】文本分类与LoRA

机器学习初学者  · 公众号  ·  · 2024-06-22 11:00
    

文章预览

在这篇博客中,我们逐步进行 参数高效微调(Parameter Efficient Fine Tuning,简称PEFT) ,使用 大语言模型(LLM) 的 低秩适配(Low Rank Adaptation,LoRA) 。我们将了解如何使用参数高效微调来针对特定应用微调选定的可训练参数,以最低的成本和最少的基础设施实现这一目标。 unset unset 为什么需要参数高效微调? unset unset 大语言模型(LLM)已经针对某些任务进行了预训练;我们可以在应用程序中使用LLM来执行它们已经训练过的任何任务。然而,这些LLM在我们的环境中运行需要非常昂贵的资源,因此需要参数高效微调。 假设我们能够以经济有效的方式在我们的系统上使用大语言模型。这可以通过使用PEFT库来实现,因为它允许我们单独使用LLM的一些参数。 PEFT(参数高效微调) 参数高效微调(Parameter Efficient Fine Tuning,简称PEFT)是一个库,它允许我们在不 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览