主要观点总结
本文讨论了国内AI公司在预训练大模型路线选择上的变化。随着第三方预训练模型的性能提高,一些AI公司开始放弃预训练模型,专注于让模型更懂用户的“后训练”环节。放弃预训练模型是资金、算力紧缺的当下的策略性选择。大模型公司面临着技术瓶颈和变现焦虑的问题,因此在模型和产品之间选择了确保后者。核心在于大模型本身目前没有明确的变现渠道,模型付费转化的失败也让闭源模型的竞争力被削弱。同时,开源模型的影响也让客户对模型价格的心理预期降低。因此,一些公司转向AI应用,寻求盈利机会。在技术不确定性的情况下,抓住稳定性。另外一些仍在坚持预训练的厂商则在技术上降本增效。
关键观点总结
关键观点1: 国内AI公司对预训练大模型的路线选择发生变化,一些公司放弃预训练模型。
随着第三方预训练模型的性能提高,企业开始专注于后训练环节。这是节省算力成本考量下的正常趋势。
关键观点2: 放弃预训练模型是策略性选择,尤其在资金、算力紧缺的当下。
大模型公司面临技术瓶颈和变现焦虑的问题,需要找到新的解决方案来确保生存。
关键观点3: 大模型本身目前没有明确的变现渠道,模型付费转化的失败和开源模型的竞争力让闭源模型的竞争力被削弱。
这导致一些大模型公司转向AI应用,寻求快速找到PMF(产品-市场匹配度)的AI应用作为盈利手段。
关键观点4: 技术不确定性下,大模型公司需要抓住稳定性。
一些公司通过优化训练框架、采用新技术如强化学习等方式在技术上降本增效。
文章预览
文 | 周鑫雨 编辑 | 苏建勋 2024年,不少曾立下“做中国OpenAI”军令状的模型公司,开始打脸。 据《智能涌现》了解,被称为“AI六小虎”的6家中国大模型独角兽中,已经有两家逐步放弃预训练模型,缩减了预训练算法团队人数,业务重心转向AI应用。 (本文希望重点讨论国内AI公司对“预训练”大模型的路线选择,及其背后的思考与后续侧重点,为了不引起不必要的纷争,遂隐去放弃预训练模型的企业名称。) 赶大模型早集的百度,9月也一度传出“大概率放弃通用基础大模型研发,主要做应用”的消息。即便后续被百度辟谣,但“放弃预训练模型”,已经成了行业的一个转折点。 可以说,能让厂商上大模型牌桌的,就是“预训练”。所谓的“预训练(pre-train)”,就好比大模型的基础教育阶段,赋予模型海量而通用的知识,是决定模型性能最
………………………………