文章预览
图片来源:Lex Fridman Podcast Z Highlights: 逻辑链其实就是一个非常简单的想法,与其仅仅在提示词和完成程度上进行训练,不如强制模型经过一个推理步骤,提出一个解释,然后得出一个答案。 如果你能分离推理和事实,最终拥有更小但推理能力很强的模型,你就不需要百万H100等效的集群。如何以更高效、抽象的方式表示知识,并使推理成为一种迭代和参数解耦的事情。 在进行搜索和检索时,LLM可能在第九个或第十个链接找到了正确的答案,然后将其输入模型中,它仍然能知道那是比第一个更相关的。因此,这种灵活性使你可以重新思考在资源分配方面是否应该继续改进模型,还是改进检索阶段。这是一个权衡。在计算机科学中,最终都是权衡。 如果有一个想法真的一直占据你的思维,那么至少在你十几岁末和二十几岁初、中期,把你的生活围绕
………………………………