OpenKG-SIG | SIGEval兴趣组：构建基于LLM的KG相关任务评测

文章预览

导读 OpenKG成立SIG兴趣组聚集一线工作者围绕特定主题开展研究，目前已经包括6个主题兴趣组：SIGData、SIGSPG、SIGTool、SIGModel、SIGAgent以及SIGEval。新开设的“OpenKG SIG”栏目主要用于介绍各个兴趣组的工作进展及动态。本期重点介绍数据兴趣组-SIGEval。 SIGEval兴趣组简介 主题Slogan Evaluation-Driven, Quality-Centric！ 兴趣组简介 随着知识图谱和大语言模型技术的快速发展,如何有效评估知识图谱相关任务的质量以及知识图谱与大模型结合的效果,成为了当前亟需解决的关键问题。SIGEval兴趣组致力于探索和建立知识图谱评估的标准体系和方法论,涵盖从图谱构建、知识融合到实践应用的全流程评估。我们将重点关注知识图谱在大模型时代的新型评估需求,包括知识的准确性、时效性、完整性,以及与大模型结合后的表现等多个维度。通过开发开源评估工具、组织评测竞 ………………………………