今日开源（2024-11-13）：LLaVA-KD知识蒸馏框架，减少计算需求，高效将大规模模型的能力迁移到小规模模型中

文章预览

🛠️框架平台、必备工具 ①项目：LLaVA-KD ★ LLaVA-KD 是一个多模态大语言模型（MLLM）的知识蒸馏框架，旨在将大规模模型的能力转移到小规模模型中，以减少计算需求。 该项目通过多模态蒸馏和关系蒸馏技术，结合三阶段训练方案，显著提升了小规模模型的性能，而无需改变其架构。 ☆一键收藏： https://sota.jiqizhixin.com/project/llava-kd ②项目：SVDQuant ★SVDQuant是一种后训练量化技术，专注于4位权重和激活的量化，同时保持视觉保真度。 该技术在12B FLUX.1-dev模型上实现了3.6倍的内存减少，并在16GB的RTX 4090 GPU上提供了8.7倍的速度提升。 SVDQuant通过低秩分解吸收异常值，显著提高了PixArt-∑模型的视觉质量。 ☆一键收藏： https://sota.jiqizhixin.com/project/nunchaku ③项目：WhoDB ★ WhoDB 是一个轻量级且功能强大的数据库管理工具，旨在简化数据库管理任务。 它结合 ………………………………