Graph与LLM对齐专题 || MoMu学习分子图和文本的联合表示用于分子描述、跨模态检索、分子属性（2022）

文章预览

Graph与LLM对齐专题 || MoMu学习分子图和文本的联合表示用于分子描述、跨模态检索、分子属性 基本信息 题目 : A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language Title : A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language 论文链接 : https://arxiv.org/abs/2209.05481 论文内容 研究背景 本研究的背景在于人工智能（AI）在理解分子方面的进展，尤其是在多个领域中对分子的认知能力。尽管AI取得了显著进展，现有的模型通常只能从单一的分子模态中获得单一的认知能力。由于分子知识的层次结构深奥，即使是人类也是通过包括直观图表和专业文本在内的不同模态来学习，以协助理解。因此，本研究提出了一个分子多模态基础模型，该模型通过对比学习从分子图和语义相关的文本数据中预训练，直接将分子图和自然语言桥接起来 ………………………………