一文彻底搞懂多模态 - 基本术语

文章预览

MultiModal 多模态人工智能 利用来自多个 不同模态（如文本、图像、声音、视频等） 的数据进行学习和推理。 多模态人工智能 强调不同模态数据之间的互补性和融合性 ， 通过整合多种模态的数据，利用 表征学习、模态融合与对齐 等技术，实现 跨模态的感知、理解和生成 ，推动智能应用的全面发展。 接下来 分三部分 ： 数据采集与表示 、 数据处理与融合 、 学习与推理 ， 一起来科普下多模型的基本术语。 MultiModal 一、 数据采集与表示 什么是传感器（Sensor）？ 传感器是一种检测物理量并将其转换为可测量信号的装置或元件。在多模态学习中， 传感器用于捕捉不同模态的数据，如摄像头捕捉图像（视觉模态）、麦克风捕捉声音（声音模态） 等。 传感器是多模态数据采集的起点，它使得机器能够感知并获取来自不同物理世界的信息。 传感器 什 ………………………………