文章预览
AIGC Research 主编| 庄才林(Cailin Zhuang) 技术支持|胡耀淇(Yaoqi Hu) Topic: Multi-modal| 1. Retrieval-Augmented Personalization 2. WebUI Text-Rich Visual Understanding 3. Chinese Images Deep Implication 4. Visual Context Representation Remember, Retrieve and Generate: Understanding Infinite Visual Concepts as Your Personalized Assistant 2024-10-17|CUHK MMLab, NJU, BIT http://arxiv.org/abs/2410.13360v1 https://github.com/Hoar012/RAP-MLLM 概述 在本研究中,作者提出了一种名为 检索增强个性化(RAP)的框架,旨在改善多模态大语言模型(MLLM)作为个性化助手的能力 。尽管现有的大语言模型在语言处理和生成方面表现出色,但缺乏用户特定的知识限制了它们在日常生活中的应用。RAP框架通过三个步骤实现个性化:记忆用户相关信息、检索相关信息并生成个性化响应。该框架允许实时编辑概念,通过更新外部数据库来增强模型的生成
………………………………