大模型学习综述

文章预览

        作者： Dummy 编辑：陈萍萍的公主@一点人工一点智能 原文链接： https://dummyv07.github.io/2024/07/20/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%B9%A0%E7%BB%BC%E8%BF%B0/index.html 基础知识 1.1 NLP基础知识 1.1.1 RNN(循环神经网络) 1）对于语言来说顺序是十分重要的，顺序提供了一定的信息，“我爱你”和“你爱我“，就是两个不同的情况。RNN一个重视序列信息的网络，序列即前后关系。 2）HIDDEN STATE(隐状态)：保存信息 3）缺点：数据输入时间越早，在隐状态中占据的影响就越小。 4）应用场景：机器翻译｜图生文｜语音识别｜量化交易模型 1.1.2 seq2seq 1）受限于网络结构，RNN只实现N to N(机器翻译任务，一个词翻译一个词)或者1 to N，N to 1，不能解决N to M的问题 2）seq2seq：有Encoder和Decoder的模型，这两部分依然是RNN网络 Encoder提取原始信息中的意义再由Decoder将意义转换成对 ………………………………