专栏名称: 架构师带你玩转AI
分享人工智能,让所有人玩转AI
今天看啥  ›  专栏  ›  架构师带你玩转AI

一文彻底搞懂大模型 - Attention:联合对齐和翻译(Align And Translate)

架构师带你玩转AI  · 公众号  ·  · 2024-08-22 15:35

文章预览

Attention Mechanism Abstract Abstract 摘要 神经机器翻译是最近提出的一种机器翻译方法。与传统的统计机器翻译不同,神经机器翻译旨在构建一个可以联合调整以最大化翻译性能的单一神经网络。最近提出的神经机器翻译模型通常属于编码器-解码器家族,将源句子编码为一个固定长度的向量,解码器从这个向量生成翻译。在本文中,我们推测使用固定长度的向量是提高这种基本编码器-解码器架构性能的瓶颈,并提出通过允许模型自动(软)搜索与预测目标词相关的源句子的部分来扩展它,而无需将这些部分明确地作为硬分段来形成。通过这种新方法,我们在英语到法语的翻译任务上实现了与现有最先进的基于短语的系统相当的翻译性能。此外,定性分析表明,模型发现的(软)对齐与我们的直觉相符。 敲黑板,划重点 注意力机制:联合对齐和翻译(Ali ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览