文章预览
来源:多模态机器学习与大模型 本文 约2300字 ,建议阅读 5 分钟 本文提出了链接上下文学习(LCL),强调“因果推理”来增强 MLLM 的学习能力。 Link-Context Learning for Multimodal LLMs 作者: Yan Tai, Weichen Fan, Zhao Zhang, Ziwei Liu 作者单位: 南洋理工大学 S-Lab,商汤科技,东方工学院宁波数字孪生研究所 论文链接: https://arxiv.org/pdf/2308.07891 代码链接: https://github.com/isekai-portal/Link-Context-Learning 简介 从上下文中学习新概念并提供适当响应的能力在人类对话中至关重要。尽管当前的多模态大语言模型(MLLM)和大语言模型(LLM)正在大规模数据集上进行训练,但 以免训练的方式识别看不见的图像或理解新概念仍然是一个挑战。 情境学习(ICL)探索免训练的小样本学习,鼓励模型从有限的任务中“学会学习”并泛化到未见过的任务。本文提出了链接上下文学习(LCL),
………………………………