一文彻底搞懂Transformer - Training（模型训练）

文章预览

Transformer Transformer模型的训练过程是一个复杂但高度优化的流程，旨在通过 合理的数据选择、硬件配置、训练计划、优化器使用和正则化策略 来训练出高性能的模型。 一、合理的数据选择 训练数据集 ： 训练数据作为Transformer模型训练的基础，扮演着至关重要的角色。这些数据集通常包含大量的、经过精心标注的样本，这些样本覆盖了模型在特定任务中需要学习和识别的各种语言现象、结构和模式。 在自然语言处理（NLP）领域，常用的数据集包括WMT（Workshop on Machine Translation）系列的翻译数据集，如WMT 2014英德和英法数据集。 WMT 2014英德数据集： 在标准的WMT 2014英德数据集上进行了训练，该数据集包含约450万个句子对。句子使用字节对编码（Byte-Pair Encoding，BPE）进行编码，这样源语言和目标语言共享一个约37000个标记的词汇表。 WMT 2014英德数据 W MT ………………………………