LeCun谢赛宁首发全新视觉多模态模型，等效1000张A100干翻GPT-4V

文章预览

   新智元报道   编辑：编辑部 【新智元导读】 近日，LeCun和谢赛宁等大佬，共同提出了这一种全新的SOTA MLLM——Cambrian-1。开创了以视觉为中心的方法来设计多模态模型，同时全面开源了模型权重、代码、数据集，以及详细的指令微调和评估方法。 在寒武纪大爆发中，视觉的出现对于早期动物至关重要。 捕食、避险、引导进化， 穿越时间，组成了多彩的世界。 大多数人类知识，也都是通过视觉、听觉、触觉、味觉和嗅觉等感官体验，以及与物理世界的交互所获得。 对应到大模型的学习，虽然更大的规模可以增强多模态的能力，但视觉方面的研究和设计似乎没有跟上。 另一方面，过度依赖语言，则可能会成为多模态学习研究的瓶颈。 近日，LeCun和谢赛宁团队推出了Cambrian-1，一项采用以视觉为中心的方法设计多模态大语言模型（MLLM）的研究， ………………………………