端侧大模型，同事都在学了。。。

文章预览

大家好，我是阿潘，这两年大模型太火了，而我们公司也在尝试将大模型应用起来，对于没有那么多计算资源的小公司来说，模型的压缩和量化是必须要的，扛不住这么多资源的消耗，所以强烈建议学习起来。 过去大半年，端侧推理已经成为继“百模大战”之后下一个行业趋势，由此衍生的AI PC、AI手机等概念，也成为电脑厂商、手机厂商的兵家必争之地。 端侧大模型是指不通过云端计算，在设备端侧如智能手机、智能家居等部署的大规模深度学习模型。 大模型时代，模型参数量动辄百亿，甚至千亿，比如 GPT-3 的参数量达到了 1750 亿。 1750 亿个参数，如果采用 fp16 存储，那么模型的大小约为 325.5 G 。现有最强的计算平台也很难满足其显存要求。 因此，模型 “瘦身”已经成了工业界必要的技术，只不过它有一个更正式的名字，叫 模型压缩 。 模型 ………………………………