大模型时代进入应用落地阶段，推理与部署岗的春天来了

文章预览

“大模型六小虎”通常被业界用来形容6家头部大模型创业公司，包括智谱、百川智能、零一万物、阶跃星辰、月之暗面 、 MiniMax 。 前几日 有传言称，“大模型六小虎”中已 有两家企业停止预训练。 大模型每次预训练的成本都在数百万美元， 因此 停止预训练， 最重要的原因 是 节省成本，同时将更多的资源投入到大模型应用的商业化落地上。毕竟现在经济环境下，一家企业论文发的再多也无法变现（实现商业闭环），反而会被诟病不落地。基于此， 端侧大模型 、 大模型应用 是近几年以及未来的主流热点。 端侧大模型以及大模型应用，都离不开高效地推理与部署。 推理与部署，就是 将算法移植到嵌入式设备端或者服务器端，会想尽办法对算子进行优化和加速，以满足实时性的需求。部署岗位通常要求的技能点为 熟练掌握当下主流的加速工具 ………………………………