专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
今天看啥  ›  专栏  ›  数据派THU

清华团队提出HiAR-ICL:基于蒙特卡洛树搜索的全新上下文学习推理范式

数据派THU  · 公众号  · 大数据  · 2024-12-11 17:00
    

文章预览

本文 约2700字 ,建议阅读 9分钟 HiAR-ICL 通过其高级自动推理范式和 MCTS 的应用,在推理性能和计算效率上都取得了显著的成果。 结论写在前面(太长不看版) HiAR-ICL 通过引入高级推理模式到上下文学习(In-context Learning, ICL)中,扩展了“上下文”概念,使大语言模型(LLMs)具备了真正的推理能力,而不仅仅是模仿示例。 借助蒙特卡洛树搜索(MCTS),HiAR-ICL 大幅拓展了推理空间,捕获了丰富的思维模式,进而确保了推理的广泛性与深度。该方法也可以看作是将思维模式作为先验信息融入到 MCTS 中,形成高效的树形搜索。 相比于传统方法,HiAR-ICL 不仅在复杂推理任务中表现优异,还有效减少了计算复杂度,为未来 ICL 领域及复杂推理任务的研究提供新的思路。 论文标题: HiAR-ICL: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS 论文链接: http ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览