如何将“大”模型部署到“小”设备上，同时保持算法性能？

文章预览

【文末留言-大模型的故事，送书 5 本】 --文末赠书-- 2024年，由AI驱动的GPT-4o等应用产品爆红。 这些热门产品的广阔应用前景令人振奋，吸引了大量资源投入AI的算法研究、数据清洗、算力等方面的基础建设中。 这些爆款应用是由大数据训练的大模型支撑的。 举例来说，近年来，大语言模型的训练数据和模型的体量迅速增长，从2017年发布的有1.65 亿参数量的Transformer，到2020年发布的有1750亿参数量的GPT-3，再到2022年发布的ChatGPT应用背后的模型也至少有数百亿参数量。 这样的训练数据和模型体量的增长带来了模型能力的提升，让大模型“涌现”出指令跟随、上下文学习等能力，展示出“通用”的生成能力。 有目共睹的是，生成式任务的智能算法模型扩大，对算力的需求急剧增加。 在这个背景下， 高效深度学习 领域显得尤为关键，得到了广泛关注。 ………………………………