谷歌推出全新模型，将Transformer与NAR相结合

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ Transformer架构的出现极大推动了大模型的技术创新，诞生出了ChatGPT、Coplit、讯飞星火、文心一言等一系列生成式AI产品。 虽然Transformer在自然语言理解任务上表现很好,但在算法推理方面有严重的缺陷。例如，当面临超出训练数据分布的输入时,其泛化能力会急剧下降。 这主要是因为它们的自回归性质和掩蔽注意力机制,不符合算法输出的逻辑顺序 。 而神经算法推理(NAR) 在结构化输入上表现好，能够处理各种算法任务，并且在面对训练集之外的更大输入时仍能保持完美的泛化能力。 因此，谷歌DeepMind的研究人员将Transformer与NAR相结合推出了——TransNAR。 NAR是一种专门处理图结构数据的神经网络，其 ………………………………