谷歌通过数据增强、对比调优，减少多模态模型幻觉

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 随着Gemini、GPT-4o等模型的出现，具备看、听、说的多模态大模型成为了新的主流。由于训练数据复杂、模型架构过于复杂，在生成、识别内容时很容易出现错误描述也称为“幻觉”，例如，当看到一张包含刀、叉和勺子的餐具图片时，模型会错误地描述为牙签。 为了解决这个难题，谷歌DeepMind、谷歌云AI研究、向量研究所和皇后大学的研究人员通过数据增强和对比调优的方法开发了HALVA模型。 论文地址：https://arxiv.org/abs/2405.18654 HALVA的核心思想是通过对比学习，来提高模型对真实和幻觉对象的区分能力 。这种方法利用正确的对象描述和对应的幻觉描述来训练多模态模型，引导模型识别和生成与输 ………………………………