NanoMVG：面向无人水面船只（USV）的低功耗多任务视觉定位模型

文章预览

NanoMVG: USV-Centric Low-Power Multi-Task Visual Grounding based on Prompt-Guided Camera and 4D mmWave Radar 论文： https://arxiv.org/abs/2408.17207 NanoMVG  是一种专为无人水面船只（USV）设计的低功耗多任务视觉定位模型，它通过自然语言提示引导相机和4D毫米波雷达来定位特定物体。该模型能够同时执行框级和遮罩级视觉定位任务，即使在恶劣的环境条件下也能保持高性能。 NanoMVG 采用多输入多输出架构，输入包括RGB图像、2D雷达图和文本提示，输出则包括预测的物体遮罩和边界框。为了降低计算复杂性并保持模型性能，研究者提出了一种高效的融合方法——Triplet-Modal Dynamic Fusion (TMDF)，以及一个轻量级的Mixture-of-Expert模块——Edge-Neighbor Mixture-of-Expert (EN-MoE)，以优化特征共享并为不同任务提供充足的特征支持。 NanoMVG 在WaterVG数据集上的表现尤为出色，它在准确性和功耗之间取得 ………………………………