来自贾扬清对 Llama 3.1 的点评总结：1. 现阶段 Ll-20240725102238

宝玉xp · 微博 · AI · 2024-07-25 10:22

文章预览

2024-07-25 10:22 本条微博链接来自贾扬清对 Llama 3.1 的点评总结： 1. 现阶段 Llama 3.1 405B 成本较高，要占用半台或整台服务器运行，成本相对比较高，速度也只能 30 tokens/sec，而相对应的 70B 能超过 150 tokens/sec。 2. 预计未来一年内 405B 效率至少提升 4 倍 3. int8/fp8 是 LLM 推理量化精度的未来方向 4. 在垂直应用中，你可能不需要 405B 那么大的模型。70B 已经足够好，在许多情况下，经过微调的 8B 模型就已经非常优秀了！并且 Llama 3 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

信息平权 · 国产的希望

昨天

信息平权 · 国产的希望

昨天

机器之心 · 进击的DeepSeek，一夜之间登陆Microsoft Azure、Cursor、Amazon Bedrock

2 天前

爱可可-爱生活 · 【[1.1k星]Malimite：iOS和macOS的全能反编译-20250129195517

4 天前

爱可可-爱生活 · 本文提出了 Mixture-of-Mamba，一种新的模态感知稀-20250129082118

4 天前

中国人工智能学会 · 中国人工智能学会理事长戴琼海院士携手专家学者给您拜年啦！

5 天前

拓尔微电子 · 拓尔微电子2025届校园招聘全面启动！

5 月前

陶然学姐 · 我通过微信运动，发现了单位同事的地下恋情

4 月前

汽车未来科技Lab · 黄仁勋携手李飞飞：强强联合，共创AI未来新篇章！

3 月前