今天看啥  ›  专栏  ›  爱可可-爱生活

[CL] EAGLE-2: Faster Inference o-20240626055028

爱可可-爱生活  · 微博  · AI  · 2024-06-26 05:50
    

文章预览

2024-06-26 05:50 本条微博链接 [CL] EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees 网页链接 提出EAGLE-2,利用草案模型的置信度实现依赖上下文的动态草案树,无需额外训练就可以显著提高草案验收率,使大模型推理加速2.5-5倍。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览