llama.cpp 对 llama 3.1 Rope Scali-20240729164148

文章预览

2024-07-29 16:41 本条微博链接 llama.cpp 对 llama 3.1 Rope Scaling 因子的支持现已合并到 github 中 - 因此将大大改善 8192 以上上下文窗口的结果 最初的问题出现在使用 llama-3.1 的 llama.cpp 时使用 8k+ 个 token 因为该模型训练到了 8k 个 token 序列，然后使用 rope 训练将该上下文扩展至 128k。 而 llama.cpp 没有使用正确的 rope 参数来充分利用这一点。此 PR 修复了该错误配置。 无需重新下载 safetensors。这仅与 llama.cpp 相关。不过，F16 gguf 和 quants ………………………………