大语言模型SFT的业务开发流程

文章预览

技术总结专栏 分享知乎的一篇文章。介绍了大语言模型SFT的业务开发流程 链接：https://zhuanlan.zhihu.com/p/692892489 常见 SFT的开发流程 第一步，根据业务场景调整提示词（prompt） ：业务团队会提供具体场景，或者给出他们编写的prompt，也可能只提供场景和数据，需要算法工程师自行编写。编写优秀的 prompt 对发挥模型的最大性能至关重要，一个出色的 prompt 可能将性能提升至80分以上直接得到业务要求，而一个普通的prompt可能只能得到50分。这里可以参考 OpenAI 和 文心一言 的相关教程。这里也介绍一些个人的经验： 越详细越好，给到的定义越细越好 ：例如多标签分类分类，不同的标签起码要有 1-2 句标签定义，你会发现大 size 的模型是十分遵循你的标签定义的，写得越详细越贴近业务，效果越好。 不要让模型理解任何歧义 ，如现在你输入是好几篇微 ………………………………