清华汪玉教授团队支招：如何把“大”模型部署到“小”设备上 | Q福利

文章预览

2024 年，由 AI 驱动的 GPT-4o 等应用产品爆红。这些热门产品的广阔应用前景令人振奋，吸引了大量资源投入 AI 的算法研究、数据清洗、算力等方面的基础建设中。 这些爆款应用是由大数据训练的大模型支撑的。 举例来说，近年来，大语言模型的训练数据和模型的体量迅速增长，从 2017 年发布的有 1.65 亿参数量的 Transformer，到 2020 年发布的有 1750 亿参数量的 GPT-3，再到 2022 年发布的 ChatGPT 应用背后的模型也至少有数百亿参数量。 这样的训练数据和模型体量的增长带来了模型能力的提升，让大模型“涌现”出指令跟随、上下文学习等能力，展示出“通用”的生成能力。 有目共睹的是，生成式任务的智能算法模型扩大，对算力的需求急剧增加。 在这个背景下， 高效深度学习领域 显得尤为关键，得到了广泛关注。 如何将“大”模型（参数量大、计算 ………………………………