整理自然语言处理、推荐系统、搜索引擎等AI领域的入门笔记,论文学习笔记和面试资料(关于NLP那些你不知道的事、关于推荐系统那些你不知道的事、NLP百面百搭、推荐系统百面百搭、搜索引擎百面百搭)
今天看啥  ›  专栏  ›  关于NLP那些你不知道的事

Qwen Function Calling 的对话模板及训练方法总结

关于NLP那些你不知道的事  · 公众号  ·  · 2024-07-24 07:00

文章预览

作者:不理不理 原 文 地址: https://zhuanlan.zhihu.com/p/674859843 Qwen 项目支持插件,这篇文章通过研究 Qwen 的部署源码总结了他们对于 function calling 的对话模板、以及为模型新增 function calling 能力的训练方法。 QwenLM/Qwen: The official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud. (github.com) github.com/QwenLM/Qwen 0. 对话模板示例 System_Message 'You are an assistant.' User 'Question' Assistant 'Answer' Q1 (表示你的问题, Q2 、 Q3 同理) 'Who are you' A1 (表示模型的回答, A2 、 A3 同理) 则输入模板 f '{System_Message} \n\n {User}: {Q1} \n\n {Assistant}:' 等价于 'You are an assistant. \n\n Question: Who are you \n\n Answer:' 1. 推断时的对话模板 System_Message "You are a helpful assistant." S " < |im_start|>" E " < |im_end|>" 第 1 次提问输入模型的文本(推断模板 n=1 时的情形) f "{S}system \n {System_Messa ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览