Prompt工程会逐渐消亡、预训练Scaling Law为何一定会变缓？

文章预览

▲ 点击上方蓝字关注「OSC开源社区」 张俊林，中国中文信息学会理事，中科院软件所博士。 目前担任新浪微博技术研发负责人，在此之前在阿里巴巴担任资深技术专家，负责新技术团队。《这就是搜索引擎：核心技术详解》、《大数据日知录：架构与算法》的作者，目前主要研发兴趣集中在推荐系统及自然语言处理。 以下内容转载自其个人微博（ @张俊林say ）。 https://weibo.com/1064649941/OwPn2auby 蹭下热度谈谈OpenAI o1的价值意义及RL的Scaling law。 一、OpenAI o1是大模型的巨大进步 我觉得OpenAI o1是自GPT 4发布以来，基座大模型最大的进展，逻辑推理能力提升的效果和方法比预想的要好，GPT 4o和o1是发展大模型不同的方向，但是o1这个方向更根本，重要性也比GPT 4o这种方向要重要得多，原因下面会分析。 为什么说o1比4o方向重要？这是两种不同的大模型发展思 ………………………………