NVIDIA 提出了 ChatQA 2，这是一个基于 Llama-20240723081725

文章预览

2024-07-23 08:17 本条微博链接 NVIDIA 提出了 ChatQA 2，这是一个基于 Llama3 的模型，用于增强长上下文理解和 RAG 功能。 其目的是弥合开放获取和 GPT-4-Turbo 等领先的专有模型之间的差距。 提出了一种训练方案，以有效扩展 Llama3-70B (8K- 128K 的上下文窗口。 它还包括指令调整以增强指令遵循、RAG 性能和长上下文理解。 “结果表明，Llama3-ChatQA-2-70B 模型在许多长上下文理解任务上实现了与 GPT-4-Turbo2024-0409 相当的准确度，并在 RAG ………………………………