从芯片公司的角度对LLM推理框架的一些思考

文章预览

【点击】 加入大模型技术交流群 原文：https://zhuanlan.zhihu.com/p/730537639 LLM推理框架在这大半年的时间里面经历了非常快的演进与迭代，本文整理一下自己从AI芯片公司的视角对LLM推理框架的一些思考。 AI芯片公司的交付界面 AI芯片公司需要投入巨量的资源打造自己的软件生态已经是一个大家都会接受的结论了。而打造软件生态就必须要思考一个问题，那就是AI芯片公司在某个场景下最核心的交付界面在哪里。芯片公司当然可以从最底层撸到应用层，即便抛开资源问题不谈，这么做还是面临个严重的问题，那就是用户失去了自己根据业务灵活进行开发的空间。所以芯片公司和用户都希望找到的一个理想的交付界面是，在这个软件层次之下，包含了和硬件强相关的各种细节，在这个软件层次之上，用户可以灵活定义自己的业务。 在大模型爆发之前的推理 ………………………………