港中文 和 上海 AI Lab提出 GTP-4o 异构图技术突破多模态学习难题 ！

文章预览

备注好友： 方向-学校/公司-姓名/昵称 【AIGC 交流群】 近期在多模态表征学习方面的进展已经在生物医学领域取得了成功。虽然已建立的技术能够处理多模态信息，但当扩展到各种临床模态以及实际中的模态缺失设置时，由于内在的模态差距，挑战也随之而来。 为了解决这些问题，作者提出了一种创新的方法——模态提示的全模态学习异构图（GTP-4o），它将众多不同的临床模态嵌入到一个统一的表征中，完成缺失模态的不足嵌入，并通过基于图的聚合重新制定跨模态学习。特别地，作者建立了一个异构图嵌入，以明确捕捉模态特定特征（节点）和跨模态关系（边）上的多样化语义属性。 然后，作者设计了一个模态提示的补全方法，通过图提示机制生成幻觉图形拓扑，引导缺失嵌入朝向完整的表征，从而完成缺失模态的不充分图表示。通过这个完 ………………………………