多模态大模型关键技术深度分析 2024

文章预览

1. 多模态大模型关键技术分析 多模态大模型研究的焦点主要包括预训练数据收集、基础模型构 建、自监督学习与模型优化训练、下游任务微调与迁移学习、大模型 并行计算与推理加速。 1.2 预训练数据收集 通常，大模型使用的预训练数据的质量越高，数量越多，会越有 利于模型性能的提高。 但多模态大模型的训练需要多模态数据，其对 数据的要求高于单模态数据，实际中更难去获取质量高、数量多的训 练数据。 因此需要研究如何以更低代价挖掘和构建不同模态之间对齐 的数据。 实际数据中噪音样本非常多，为了获取大规模、高质量的数据来 训练大模型，目前一种简单有效的方法是维护一个基础词库对数据做 基本的过滤，并在模型和数据更新的过程中不断去扩展这个词库。 但 这种基于匹配过滤的方式不够灵活。 人在面对具体任务时可以 ………………………………