如何增强大模型推理？Meta最新提出《大型概念模型》在句子表示空间中的语言建模

文章预览

大规模语言模型（LLM）已彻底改变了人工智能领域，并成为许多任务的事实标准工具。目前，LLM的主流技术是基于标记级别处理输入并生成输出。这与人类的处理方式截然不同，人类在多个抽象层次上操作，远远超出了单词层级，以分析信息并生成创造性内容。本 文提出了一种尝试，设计了一种在显式更高层次语义表示上操作的架构，我们将其命名为“概念”。概念是语言和模态无关的，表示流中的一个更高层次的思想或动作 。因此，我们构建了一个“大型概念模型”（Large Concept Model）。 在本研究中，作为可行性证明，我们假设一个概念对应于一个句子，并使用现有的句子嵌入空间——SONAR，该空间支持多达200种语言，包括文本和语音模态。大型概念模型被训练为在嵌入空间中执行自回归句子预测。我们探索了多种方法，包括均方误差（MSE）回 ………………………………