专栏名称: 周枫
关于教育、人工智能、创业和有道的思考。周枫是网易有道公司CEO,计算机科学博士。
今天看啥  ›  专栏  ›  周枫

大模型推理加速技术概要

周枫  · 公众号  ·  · 2023-10-06 16:38
    

文章预览

在很多开发者印象中,大模型是巨大而昂贵的,想把模型训练出来和部署执行都很困难。这很自然,任何新技术都会经历一个从昂贵到便宜,少数人用到普及的过程。但这个过程可能 比很多人想像的都要快: 从大模型推理技术的角度来看,当下我们可能正处在价格加速下跌,普及程度快速提高的拐点时刻。 本文基于2023年10月大模型推理技术的现状,概要叙述了要想让大模型跑得快和便宜,我们目前都有哪些办法,各解决什么问题,以及相关的应用场景,希望对读者有用。 通过我和有道AI团队的调研,评估多套系统,通读相关文献和论文,结合实际的经验,目前大模型推理加速技术栈大体可以分成三层: 通过将技术分层,希望可以将不同技术的相关关系可以展示更清楚。这三层是个栈的关系,上面层建立在下面层的基础上,提供更多的加速比。一 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览