专栏名称: AI TIME 论道
AI TIME是一群关注人工智能发展,并有思想情怀的青年学者创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,链接全球AI学者,以辩论的形式探讨人工智能领域的未来。
今天看啥  ›  专栏  ›  AI TIME 论道

ACL 2024 | BPO:灵活的 Prompt 对齐优化技术

AI TIME 论道  · 公众号  ·  · 2024-08-05 17:57

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 并非所有人都熟知如何与 LLM 进行高效交流。 一种方案是,人向模型对齐。 于是有了 「Prompt工程师」这一岗位,专门撰写适配 LLM 的 Prompt,从而让模型能够更好地生成内容。 而另一种更为有效的方案则是,让模型向人对齐。 这也是大模型研究中非常重要的问题, 无论是  G PT 还是 Claude, 在对齐技术上花费大量的时间与精力 。但,随着模型规模变大,基于训练的对齐技术也需要耗费更大量的资源。 因此,我们提出另外的一种方案,即 黑盒提示对齐优化技术( Black-box Prompt Optimization) ,通过优化用户指令,从输入角度对模型进行对齐 。 这种方法可以在不对 LLM 进行训练的情况下,大幅提升与人类偏好的对齐程度。 而且   BPO 可以被替换到各种模型上,包括开源模型和基于API的模型 。 下面是 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览