文章预览
ChatGLM ： A Family of Large Language Models from GLM-130B to GLM-4 All Tools ChatGLM: 从 GLM-130B 到 GLM-4 的系列大型语言模型 摘要 : 我们介绍了 ChatGLM ，这是我们持续开发的大规模语言模型家族。本报告主要聚焦于 GLM-4 系列语言模型，包括 GLM-4 、 GLM-4-Air 和 GLM-4-9B 。它们是我们最强大的模型，集成了前三代 ChatGLM 的所有经验和教训。迄今为止， GLM-4 模型在中文和英文的十万亿个标注符号上进行了预训练，并辅以来自 24 种语言的小型语料库，主要为中英文使用进行了对齐。高质量的对齐通过多阶段后训练过程实现，包括监督微调和从人类反馈中学习。评估表明， GLM-4 在通用指标上与 GPT-4 相媲美甚至超越，如 MMLU 、 GSM8K 、 MATH 、 BBH 、 GPQA 和 HumanEval ；在指令跟随方面接近 GPT-4-Turbo ；在长上下文任务上匹敌 GPT-4 Turbo (128K) 和 Claude 3 ；在中文对齐上优于 GPT-4
………………………………
