DSPy下篇：兼论o1、Inference-time Compute和Reasoning

文章预览

浮言易逝，唯有文字长存。 (今天继续聊聊AI技术) 约两周前，我用两篇文章介绍了DSPy的原理： 《 浅谈DSPy和自动化提示词工程（上） 》 《 浅谈DSPy和自动化提示词工程（中） 》 今天是第三篇，算是来完结一下这个话题。虽然DSPy在实用性上还存在非常多挑战，但是它的设计思想非常超前，也非常有意思。因此，现在我们结合AI领域的一些重要概念，做个思考总结。 技术方面的讨论 Training-time / Inference-time / Pre-inference time 在OpenAI的o1发布之后，业界开始关注 Inference-time Compute 。o1在inference的阶段，通过生成大量的reasoning tokens，来获得对于复杂问题的更强的推理能力（reasoning）。 Inference-time Compute这种说法，是相对于Training-time Compute来说的。并不是说o1不需要训练的算力，而是说，相对于以前的LLM来说，o1在inference阶段投入了更多的计算。这体现在，当 ………………………………