来自贾扬清对 Llama 3.1 的点评总结：1. 现阶段 Ll-20240725102238

文章预览

2024-07-25 10:22 本条微博链接 来自贾扬清对 Llama 3.1 的点评总结： 1. 现阶段 Llama 3.1 405B 成本较高，要占用半台或整台服务器运行，成本相对比较高，速度也只能 30 tokens/sec，而相对应的 70B 能超过 150 tokens/sec。 2. 预计未来一年内 405B 效率至少提升 4 倍 3. int8/fp8 是 LLM 推理量化精度的未来方向 4. 在垂直应用中，你可能不需要 405B 那么大的模型。70B 已经足够好，在许多情况下，经过微调的 8B 模型就已经非常优秀了！并且 Llama 3 ………………………………