主要观点总结
Meta分享了一系列研究和模型，旨在实现高级机器智能（AMI）目标，包括SAM 2.1、Spirit LM、Layer Skip、自学习评估器等。这些工作侧重于AMI的构建模块，如感知、语音和语言、推理等。同时，Meta还发布了关于MEXMA和Lingua等项目的相关研究及模型。
关键观点总结
关键观点1: SAM 2.1性能提升
Meta推出了SAM 2.1，通过引入额外的数据增强技术模拟视觉相似物体和小物体的存在，提高了SAM 2的遮挡处理能力。
关键观点2: Spirit LM实现语音和文本无缝集成
为了解决大型语言模型中语音表达的问题，Meta构建了开源多模态语言模型Spirit LM，通过词级交织方法进行训练，实现了语音和文本的跨模态生成。
关键观点3: Layer Skip提高大型语言模型的生成速度
为了应对大型语言模型的高计算和内存要求带来的挑战，Meta提出了Layer Skip解决方案，通过执行其层的子集并利用后续层进行验证和校正来加速LLM。
关键观点4: MEXMA表现优于以往方法
MEXMA是一种新型预训练跨语言句子编码器，通过结合token层级和句子层级的目标，其表现优于以往的方法，覆盖了80种语言，在句子分类等下游任务中表现出色。
关键观点5: 自学习评估器无需人工标注
Meta提出了自学习评估器，用于生成合成偏好数据来训练奖励模型，实验结果表明，在RewardBench上，其表现优于更大的模型或使用人工标注标记的模型。
文章预览
机器之心报道 机器之心编辑部 今天，Meta 分享了一系列研究和模型，这些研究和模型支撑 Meta 实现高级机器智能（AMI）目标，同时也致力于开放科学和可复现性。 这些工作侧重于 AMI 的构建模块，包括感知、语音和语言、推理、具身智能和对齐。研究工作包括 SAM 2.1、Spirit LM、Layer Skip、自学习评估器等。 SAM 2.1 SAM 2 已经被应用于跨学科（包括医学图像、气象学等）研究，并且产生了良好的影响。现在，Meta 宣布推出性能更强的 SAM 2.1。 Meta 引入了额外的数据增强技术来模拟 SAM 2 之前遇到的视觉相似物体和小物体的存在，通过在较长的帧序列上训练模型并对空间和物体指针内存的位置编码进行一些调整，提高了 SAM 2 的遮挡处理能力。 项目链接：https://github.com/facebookresearch/sam2 Spirit LM 大型语言模型经常被用于构建文本
………………………………
