技术动态 | 构建知识图谱的双重方法：传统NLP技术或大型语言模型

主要观点总结

本文介绍了在默沙东制药的内部研讨会上，医学图书馆如何利用知识图谱和大模型技术构建文档级别知识图谱并应用于智能知识库建设以及推荐和检索、问答等应用场景。文章探讨了传统命名实体识别（NER）和大型语言模型（LLM）在构建知识图谱方面的区别及各自的优势，并提供了使用传统方法和LLM构建知识图谱的步骤和最佳实践。

关键观点总结

关键观点1: 知识图谱是以结构化格式表示实体之间关系的强大工具，广泛应用于医疗保健、金融、电子商务等行业。

知识图谱由互连实体及其关系组成，节点表示人员、地点、组织、概念等，边定义实体之间的连接。

关键观点2: 传统命名实体识别（NER）是信息提取的一个子任务，旨在识别和分类文本中的命名实体。传统NER模型依赖于预定义的字典和基于规则的系统或机器学习算法来检测实体。

基于规则的NER使用一组规则或正则表达式来标识实体；机器学习NER使用训练的数据集；深度学习NER使用模型如RNN、LSTM等。使用传统NER构建知识图谱包括数据预处理、实体提取、关系提取、图谱构造等步骤。

关键观点3: 大型语言模型（LLM）如GPT-4、LLaMA和OpenAI模型，通过利用大量数据和深度学习技术以更细致和上下文化的方式理解语言，改变了NLP领域。

LLM可以从非结构化文本中提取实体和关系，而无需预定义标签。它们具有强大的适应性，可以通过及时的工程设计或微调来识别各种实体类型和复杂的关系。使用LLM构建知识图谱的步骤包括文本收集、实体和关系提取、图谱构建和图查询与分析等。

关键观点4: 传统的NER和基于LLM的方法在构建知识图谱中各有优势。传统NER对于结构化的预定义实体类型可靠，LLM提供更灵活、上下文感知和可扩展的解决方案。

对于上下文、细微差别和可扩展性至关重要的项目，LLM是更好的选择。知识图谱的未来在于两种方法的混合，结合传统NER模型的精度与LLM的适应性和强大功能，以创建能够处理日益复杂的数据环境的强大系统。

文章预览

转载公众号 | 知识图谱科技 最近在默沙东制药的内部研讨会分享了一下我们医学图书馆如何利用知识图谱和大模型技术构建文档级别知识图谱和打标签能力并应用于智能知识库建设以及推荐和检索、问答等应用场景。 知识图谱本身也是一种丰富的语义标签， 编辑摘录部分关于用传统NLP技术以及大模型LLM技术构建知识图谱的方法及对比，后续将详细介绍我们的方案并如何应用于知识库、情报和Chatbot系统中。 正文 知识图谱是以结构化格式表示实体之间关系的强大工具。它们广泛用于医疗保健、金融、电子商务等各个行业，以组织大量数据、启用高级搜索功能并提供更好的决策能力。但是，构建知识图谱需要从原始文本中提取相关实体及其关系，这就是命名实体识别 （NER） 发挥作用的地方。 传统上，NER 一直是知识图谱构建中实体提取的首选方法 ………………………………