本文证明了在扩展 LLM 推理时计算能力时，验证基方法（VB）在-20250224052856

文章预览

2025-02-24 05:28 本条微博链接 本文证明了在扩展 LLM 推理时计算能力时，验证基方法（VB）在理论和实践上都优于无验证方法（VF），揭示了 VF 方法在扩展性上的根本局限性，并强调了验证信号对于实现高效的推理时计算扩展至关重要，尤其是在基础 LLM 具有异质性和反集中性特征的情况下，这一发现挑战了当前对无验证方法（如知识蒸馏）的过度依赖，并为未来 LLM 的后训练和推理算法设计提供了重要指导。 ………………………………