专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
今天看啥  ›  专栏  ›  黄建同学

回复@程序员叶帆:确实不能算满血版,24GB VRAM跑的是R1-20250214222618

黄建同学  · 微博  · AI  · 2025-02-14 22:26
    

文章预览

2025-02-14 22:26 本条微博链接 回复 @程序员叶帆 :确实不能算满血版,24GB VRAM跑的是R1-Q4_K_M,14GB那个是Q4_K_M的版本,而且是-Coder-R1。// @程序员叶帆 :回复 @黄建同学 :我看他们官网介绍的好像是Q4量化版的deepseek,所以不能说是完全的满血版? // @黄建同学 : KTransformers最大的亮点:通过异构计算划分策略,结合MoE架构的稀疏性特点,将模型参数分为稠密部分(GPU处理)和稀疏部分(CPU处理)。例如,仅需单卡24GB显存(如RTX 4090 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览