赵晨旭：非标模态的多模态大语言模型如何模拟人类主观感受

文章预览

分享嘉宾 | 赵晨旭 审校 | 李忠良 策划 | AICon 全球人工智能开发与应用大会 中国品牌在全球化传播中，需要理解不同文化背景下不同群体的情感反应，并采用全球消费者可接受的方式讲述品牌故事和传播文化。然而，现有 AI 技术主要关注客观事物解析，缺乏理解人类主观感受的有效手段。 为了缩小实际应用与技术之间的差距，明略科技构建了大规模视频主观多模态评估数据集 Video-SME，通过收集脑电波和眼动追踪数据，分析不同受试者对视频内容的认知理解程度，并自研超图多模态大语言模型（HMLLM），探索人口统计、视频元素、脑电图和眼动追踪指标之间的关联，弥合了模态间的语义差距，集成帧间信息以执行逻辑推理。实验结果证明了 HMLLM 的有效性，为机器模拟人类主观感受提供了新的可能性，有助于实现对国外 AI 技术的超越。 在不久前举 ………………………………