文章预览
Paper link：https://arxiv.org/pdf/2412.04455 Project link：https://zhoues.github.io/Code-as-Monitor/ Author： Enshen Zhou , Qi Su, Cheng Chi, Zhizheng Zhang, Zhongyuan Wang, Tiejun Huang, Lu Sheng, He Wang School of Software, Beihang University; School of Computer Science, Peking University; Beijing Academy of Artificial Intelligence; Galbot 第一作者目前在银河通用机器人Galbot担任研究实习生，曾在上海人工智能实验室实习，研究聚焦多模态大模型应用：模拟世界中使用具身智能体，如Minecraft；现实世界中的机器人操控。 Z Highlights： 将图像中与约束相关的物体或部分提取为更简洁的几何元素（如点、线、面）。 通过跟踪和评估这些几何元素在时空中的变化，可以有效地监控约束是否被满足。 VLM通过文本约束、子目标的起始帧、相关约束元素的visual prompt生成代码执行监控，生成代码可直接执行。通过跟踪约束元素，系统可
………………………………
