TinyVLA：面向机器人操控的快速、数据高效、视觉-语言-动作模型

主要观点总结

本文介绍了一种新型的视觉-语言-动作（VLA）模型——TinyVLA，旨在解决机器人操纵中的推理速度慢和数据效率低下的问题。TinyVLA具有两个关键优势：更快的推理速度和更高的数据效率。它通过结合预训练的多模态模型和策略解码器，以及采用扩散策略（DP）来制定机器人策略，实现了在速度和数据效率方面的优异表现。TinyVLA在模拟和真实机器人上的评估结果表明，它在各个维度上都表现出强大的泛化能力，并且通常可以匹敌或超过现有开源VLA模型的性能。

关键观点总结

关键观点1: TinyVLA模型的优势

TinyVLA具有更快的推理速度和更高的数据效率，通过结合预训练的多模态模型和策略解码器，实现了在机器人操纵中的优异表现。

关键观点2: TinyVLA的设计特点

TinyVLA采用预训练的多模态模型作为策略网络的初始化，并结合扩散策略（DP）来制定机器人策略。整个模型结构通过两个简单的线性投影和一个LayerNorm直接连接DP和多模态模型主干。

关键观点3: TinyVLA的评估结果

TinyVLA在模拟和真实机器人上进行了广泛评估，结果表明它在各个维度上都表现出强大的泛化能力，并且通常可以匹敌或超过现有开源VLA模型的性能。

文章预览

24年9月来自华东师范大学、上海大学、Syracuse大学和北京人形机器人创新中心的论文“TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation”。 视觉-语言-动作 (VLA) 模型通过端到端学习过程在视觉运动控制和指令理解方面表现出巨大潜力。然而，当前的 VLA 模型面临着重大挑战：它们在推理过程中速度很慢，并且需要对大量机器人数据进行大量预训练，这使得实际部署变得困难。TinyVLA 是一种紧凑型视觉-语言-动作模型系列，与现有的 VLA 模型相比，它具有两个关键优势：(1) 推理速度更快，(2) 数据效率更高，无需预训练阶段。该框架结合构建 TinyVLA 的两个基本组件：(1) 使用稳健、高速的多模态模型初始化策略主干，(2) 在微调过程中集成扩散策略解码器，以实现精确的机器人动作。在模拟和真实机器人上对 TinyVLA 进行广泛的评估， ………………………………