文章预览
笔记整理：李晓彤，浙江大学硕士，研究方向为蛋白质与大模型 论文链接：https://arxiv.org/pdf/2310.03320 发表会议：ICLR2024 1. 动机 在生物医学领域，基础模型 (FM) 可以从大量未标记的科学文献、蛋白序列、 SMILES 等数据中学习，在各种单模态任务中展现出了卓越的性能。在训练中引入多模态数据，联合优化单模态编码器能够进一步提高 FM 的性能。然而，当扩展到三种以上模态时，这种方法会遇到计算成本、数据稀缺等问题。 生物医学知识图谱包含由头、尾生物医学实体以及关系表示的三元组结构信息，涵盖了蛋白质、分子和疾病等丰富的模式，使得全面的生物医学分析和机器学习成为可能。因此作者提出了 BioBRIDGE 方法，保持所有单模态模型固定，从生物医学知识图谱中学习跨模态转换。 2. 贡献 本文的主要贡献有： （ 1 ）创建一种通用桥接机制 B
………………………………
