CCF第七届AIOps国际挑战赛-亚军方案分享|建行ai_ops团队|基于最优组合设计的低成本知识检索综合模型探索与应用

文章预览

1.赛题分析 2024年第七届CCF国际AIOps挑战赛首次采用RAG检索增强技术，基于中兴通讯公司CT通信网络运维真实文档数据，探索如何结合领域私有技术文档和大语言模型进行高效私域知识问答。 参赛队伍需要通过私域文本处理、数据库构建、基座模型微调、Prompt工程等其中部分技术，搭建运维领域的检索增强问答系统，或基于大赛主办方搭建的基础RAG系统之上，修改部分模块，提升私域知识问答精度。      2.方案介绍 2.1总体目标   在目标上我们希望探索一种准确、高效、轻量中文知识检索方法，比如低于24G单卡的低GPU资源消耗、非API/内网部署的零使用成本，一方面是满足本次比赛的赛道一要求，另一方面也是希望能够基于建行云底座在金融科技应用上试点落地。在探索过程中，我们通过得分导向的嵌入重排模型选择、参数优化、知识语料预处理、 ………………………………