专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
相关文章推荐
柠檬工会  ·  刚刚,DeepSeek ... ·  20 小时前  
柠檬工会  ·  刚刚,DeepSeek ... ·  20 小时前  
今天看啥  ›  专栏  ›  爱可可-爱生活

本文提出了高效树搜索算法 ETS,通过线性规划成本模型和语义覆盖-20250221054707

爱可可-爱生活  · 微博  · AI  · 2025-02-21 05:47
    

文章预览

2025-02-21 05:47 本条微博链接 本文提出了高效树搜索算法 ETS,通过线性规划成本模型和语义覆盖项,在保证搜索轨迹多样性的前提下,显著优化了 LLM 树搜索过程中的 KV 缓存共享,实现了推理效率的显著提升,并揭示了 KV 缓存大小在内存受限的 LLM 推理中比 FLOPs 更为关键的效率瓶颈。 [LG]《ETS: Efficient Tree Search ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览