来自贾扬清对 Llama 3.1 的点评总结：1. 现阶段 Ll-20240725102238

宝玉xp · 微博 · AI · 2024-07-25 10:22

文章预览

2024-07-25 10:22 本条微博链接来自贾扬清对 Llama 3.1 的点评总结： 1. 现阶段 Llama 3.1 405B 成本较高，要占用半台或整台服务器运行，成本相对比较高，速度也只能 30 tokens/sec，而相对应的 70B 能超过 150 tokens/sec。 2. 预计未来一年内 405B 效率至少提升 4 倍 3. int8/fp8 是 LLM 推理量化精度的未来方向 4. 在垂直应用中，你可能不需要 405B 那么大的模型。70B 已经足够好，在许多情况下，经过微调的 8B 模型就已经非常优秀了！并且 Llama 3 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 晚安～ #晚安# -20250420224843

2 天前

爱可可-爱生活 · 【[100星]OpenPipe ART：开源的强化学习训练库，旨-20250420134403

2 天前

爱可可-爱生活 · 【[72星]Tiny-GRPO：从零开始实现的极简GRPO算法，-20250420135518

2 天前

新智元 · 强化学习之父当头一棒：RL版「苦涩的教训」来了！通往ASI，绝非靠人类数据

3 天前

爱可可-爱生活 · 【[64星]goodfire-ai/r1-interpretab-20250419122334

3 天前

大众网青岛 · 冲上热搜！知名女星被曝违法！

3 月前

新京报 · 北京的冬天还是太领先了！

3 月前

小莉帮忙 · 连续喝8包板蓝根，竟意识恍惚！医生提醒

2 月前