Llama3.1-60B-Instruct：删除 10B 个参数-20240902083201

文章预览

2024-09-02 08:32 本条微博链接 Llama3.1-60B-Instruct：删除 10B 个参数（15 %) ，性能损失最小，无需重新训练。 使用 nyuntam——Github 上发布的用于模型压缩和自适应的全新开源工具包 应用FLAP（基于波动的自适应结构化修剪）来压缩和加速Llama3.1-70b-instruct模型。 FLAP 可以在不牺牲性能的情况下显著减少模型尺寸和计算要求。 与传统的修剪技术不同，FLAP 不需要重新训练，并可在不同的模块和层之间调整修剪率，为在资源受限的环境 ………………………………