文章预览
作者: Dummy 编辑:陈萍萍的公主@一点人工一点智能 原文链接: https://dummyv07.github.io/2024/07/20/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%B9%A0%E7%BB%BC%E8%BF%B0/index.html 基础知识 1.1 NLP基础知识 1.1.1 RNN(循环神经网络) 1)对于语言来说顺序是十分重要的,顺序提供了一定的信息,“我爱你”和“你爱我“,就是两个不同的情况。RNN一个重视序列信息的网络,序列即前后关系。 2)HIDDEN STATE(隐状态):保存信息 3)缺点:数据输入时间越早,在隐状态中占据的影响就越小。 4)应用场景:机器翻译|图生文|语音识别|量化交易模型 1.1.2 seq2seq 1)受限于网络结构,RNN只实现N to N(机器翻译任务,一个词翻译一个词)或者1 to N,N to 1,不能解决N to M的问题 2)seq2seq:有Encoder和Decoder的模型,这两部分依然是RNN网络 Encoder提取原始信息中的意义再由Decoder将意义转换成对
………………………………