专栏名称: 李楠或kkk
Angry Miao创始人 喵司创始人。前魅蓝总裁,历任 SVP CMO 董事 等等。。。 I saw its ordered happiness, but a fever in my blood asked for a wilder course.
今天看啥  ›  专栏  ›  李楠或kkk

其实很多人可能混淆了 LLM 的训练,理解推理和生成对算力的要求-20240729182448

李楠或kkk  · 微博  · 科技自媒体  · 2024-07-29 18:24
    

文章预览

2024-07-29 18:24 本条微博链接 其实很多人可能混淆了 LLM 的训练,理解推理和生成对算力的要求。 所以他们天然会觉得模型对于算力的要求超越了今天的硬件水平。 其实不考虑训练,压力主要在内存上。。。其他的还好,主要还是看你要干什么。 训练,理解推理,生成这三个是完全不同的算力要求。其中训练最高,生成其次,理解推理最低。 灵活运用,端侧 LLM 其实离我们没有那么遥远。就类似于 FSD V12 也突然就发布了, ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览