传感器数据的深度学习模型应用（一）—— Transformer 模型

文章预览

Transformer 模型在 2017 年由 Vaswani 等人在论文《Attention is All You Need》中首次提出。其设计初衷是为了解决自然语言处理（Nature Language Processing, NLP）中的序列到序列任务，如机器翻译。Transformer 通过 引入自注意力机制 使得处理长距离依赖关系时变得高效。因此 Vaswani 等人的论文强调 “注意力是所需的一切” 。 传感器数据表现为时间序列，并且序列内部往往存在时间上的依赖关系，这些时间上的依赖能够反映出设备的当下或未来的状态，如何发现和挖掘序列内部的知识和依赖关系，是以传感器表征设备状态的工业领域中故障诊断关注的重点。 本文中主要关注 Transformer 在传感器数据中的应用，通过其编码器功能捕获序列内部依赖关系，尤其是长距离的依赖关系，并生成输出数据做进一步处理。后续的内容将对图 1 中的编码器的功能及其在 MATLAB 中的 ………………………………