中金 | AI十年展望（二十）：细数2024大模型底层变化，推理优化、工程为王

文章预览

中金研究 相比于2023年的参数量快速扩张，2024年以来大模型参数收敛、云侧和端侧模型参数量分化，模型迭代动力更多源于大模型应用落地、端侧部署的需求。基于此背景，推理性能优化、工程化改进均成为模型性能提升和成本降低的重要抓手。 本文概览当前大模型科研领域2024年的主要方向，旨在为大模型技术发展趋势、应用落地节奏研判提供底层视角支持。 点击小程序查看报告原文 Abstract 摘要 路径探索：以强化学习优化推理的Q-STaR。 2024年3月，斯坦福研究团队提出自学推理者语言模型Quiet-STaR，技术上以强化学习的方法优化“显式中间推理”，提供内心独白式的自我反思机制，第一性原理视角模仿人脑的推理方式，提升推理性能并兼顾泛化能力。基于Mistral 7B模型进行评估，Quiet-STaR调整后的语言模型在零样本准确率大幅提升。 路径突破：原生 ………………………………