关于垂直领域大模型的探索和尝试

主要观点总结

本文主要介绍了团队在过去一年多在垂直领域大模型的探索和实践，包括技术经验分享和面临的挑战。文章详细介绍了垂直领域大模型的特点和优势，以及团队在面对准确性、知识库维护、适用性限制等挑战时所采取的对齐增强、Text2API、RAG、SFT等方法。同时，还提到了对公开数据集的使用和对ORPO方法的尝试。

关键观点总结

关键观点1: 垂直领域大模型的特点和优势

垂直领域大模型是以通用大模型为基础，经过特定领域或行业知识训练和优化的大语言模型。它们更专注于特定领域的知识和技能，具备更高的领域专业性和实用性。

关键观点2: 垂直领域大模型面临的挑战

垂直领域大模型面临准确性、知识库维护和适用性限制等挑战。准确性方面，商家对结果的准确性更敏感，大模型的试错成本高；知识库维护方面，如何高效、准确地识别不同知识库体系中的相关知识并召回高质量答案是面临的挑战；适用性限制方面，垂类大模型在特定领域表现较好，但在其他领域的适应性相对较弱。

关键观点3: 对齐增强方法

对齐增强方法通过优化提问和提供思路，使大模型更好地理解问题和回答问题，有效提升大模型的回答质量和准确度。该方法借鉴了BPO的思路，通过一系列步骤优化init instruction生成tuned instruction，最终带来回答准确率的提升。

关键观点4: Text2API的应用

Text2API作为一种技术，使大模型能够作为Agent学会使用现有工具解决复杂的逻辑问题。团队在实践中遇到了langchain框架的问题，并尝试使用Reflexion框架解决api调用错误和相似api识别问题。

关键观点5: RAG的应用和挑战

RAG是垂类大模型的高效应用方案，通过自有的垂域数据库检索相关信息并合并成提示模板，喂给大模型生成最终答案。团队在解决复杂素材和文本结构重组方面进行了探索和优化。

关键观点6: SFT的实践和优化

团队沉淀了标注过的场景测评数据用于选定基座模型和微调方法。在实际应用中，团队还夹杂了公开数据集解决垂类大模型的通用能力退化问题。最近尝试将SFT与DPO结合增加惩罚项进行偏好对齐，提高了回答效果。

文章预览

在过去一年多的实践工作中，我们团队 围绕大模型在专业领域的应用做了一些尝试和探索。 在此也把这两年的一些技术经验分享出来，希望跟大家一起交流和探讨。 垂直领域大模型的特点 垂直领域大模型是指以通用大模型作为base model，再喂以特定领域或行业的领域知识，经过训练和优化的大语言模型。 与通用语言模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。 但因为一些特殊性（比如对于准确性的要求、知识库的频繁迭代等），也面临着不一样的挑战。 ▐    优势 领域专业性：垂直领域大模型经过专门的训练，能够更好地理解和处理特定领域的知识、术语和上下文。 高质量输出：由于在特定领域中进行了优化，垂直领域大模型在该领域的输出质量通常比通用大模型更高。 特定任务效果更 ………………………………