端侧AI的终极形态

文章预览

转自 | 腾讯研究院 李瑞龙 腾讯研究院 作为争夺下一代流量入口的关键机遇，端侧AI（运行在手机等设备端的生成式AI模型）已然成为各大厂商必争之地。虽然，站在当下的时间点，除了少数工程样机之外，我们仍难以在终端设备上获得理想的AI体验，这主要是因为大模型在终端设备落地时，仍然面临诸多挑战。比如，短期内，从突破难度来排序，电池续航和散热问题>显存带宽>GPU算力和显存容量，成为一系列亟待解决的难点。尽管如此，终端生态多方的信心并没有受到影响，大家正在使尽浑身解数共同促进端侧AI的实现。 大模型“压缩”极限不断下探 7B的预期端侧门槛正在被进一步打破。 从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化、微调等方式进一 ………………………………