InternLM2大模型的技术细节（1）

文章预览

24年3月来自上海AI实验室、商汤科技、香港中文大学和复旦大学的技术报告“InternLM2 Technical Report“。 这是关于开源大语言模型“书⽣·浦语2.0”（InternLM2）的介绍。ChatGPT 和 GPT-4 等大语言模型 (LLM) 的发展引发了人们对通用人工智能 (AGI) 的讨论。然而，在开源模型中复制此类进步一直具有挑战性。InternLM2通过创新的预训练和优化技术，在 6 个维度和 30 个基准的综合评估、长上下文建模和开放式主观评估中的表现均更优。InternLM2 的预训练过程非常细致，重点是准备各种数据类型，包括文本、代码和长上下文数据。InternLM2 有效地捕获长期依赖关系，最初在 4k 个 tokens 上进行训练，然后在预训练和微调阶段推进到 32k 个 tokens，在 200k 个“大海捞针”测试中表现出色。InternLM2 进一步利用监督微调 (SFT) 和条件在线强化学习（COOL RLHF）策略，解决了人类偏 ………………………………