OpenAI把GPT-4原始版给了他们：研究不微调只靠提示词能走多远

文章预览

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 除了OpenAI自己，居然还有别人能用上 GPT-4-Base 版？？ 也就是未经微调的预训练版，还不会对话聊天，只会补全句子的模型。 EPFL （瑞士洛桑联邦理工） 团队申请到了访问权限，用于研究 “上下文学习足以让大模型跟随指令吗？” 。 也就是不用监督微调、也不用RHLF或其他强化学习对齐方法， 只靠提示词能走多远？ 预训练模型，究竟能不能一步登天，直接改造成聊天机器人或AI助手？ 如果可行，将大大降低类ChatGPT大模型的开发难度。 免微调对齐靠谱吗？ 免微调对齐，让刚出炉的预训练模型不止会“文本补全”，只从提示词中学会和用户对话、跟随指令，一直是业界关注的研究方向。 目前的SOTA方法 URIAL 来自艾伦研究所，使用系统提示词+少数风格示例就能达到不错的效果。 但EPFL团队发现，URIAL仍无法完全 ………………………………