【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf

文章预览

多模态智能，即AI系统可以处理和整合来自多种模态的信息，如文本、视觉、音频等，已经成为当今数据驱动时代的关键概念 。这种跨模态的方法在各个行业中具有多样的应用和变革潜力。通过融合异构数据流，多模态AI生成的表示比传统的单模态技术更接近于人类智能。 在本论文中，我们旨在通过关注多模态智能的三个关键维度来推动该领域的发展：多模态对齐性、鲁棒性和泛化性 。通过引入新方法和方法，我们希望在实际应用中提高多模态模型的性能、鲁棒性和可解释性。本论文探讨了以下关键问题：(1) 我们如何探索不同类型数据之间的内部语义对齐？学习到的对齐如何帮助推进多模态应用？(2) 多模态模型有多鲁棒？我们如何提高模型在实际应用中的鲁棒性？(3) 我们如何将一个已学领域的知识泛化到另一个未学领域？ 本论文对这三个技术 ………………………………