专栏名称: 大淘宝技术
淘系技术官方账号
目录
相关文章推荐
今天看啥  ›  专栏  ›  大淘宝技术

Prompt设计与大语言模型微调

大淘宝技术  · 公众号  ·  · 2023-10-25 16:20
本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。ChatGPT基本原理“会说话的AI”,“智能体”简单概括成以下几个步骤:预处理文本:ChatGPT的输入文本需要进行预处理。输入编码:ChatGPT将经过预处理的文本输入到神经网络中进行编码处理,使用的是多层transformer编码器结构。预测输出:ChatGPT通过对输入进行逐个token预测,输出下一个最可能出现的token序列,使用的是softmax函数进行概率预测。输出解码:ChatGPT将预测的token序列作为输入,经过多层transformer解码器结构进行解码处理,最终输出模型的回答。重复步骤3和4:ChatGPT在处理输入时会持续输出预测的token序列,直到遇到停止符号或达到最大输出长度为止。算法内核——Transformer由 Encoder 和 Decoder 两个部分组成编解码动画Prompt设计▐  什么是prompt?看来跟我今天想分 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照