最新「大模型简史」整理！从Transformer（2017）到DeepSeek-R1（2025）

文章预览

 Datawhale干货  作者：LM Po，编辑：Datawhale 2025年初，我国推出了一款开创性且高性价比的「大型语言模型」（Large Language Model, LLM） — — DeepSeek-R1，引发了AI领域的巨大变革。 本文回顾LLM的发展历程，以2017年具有革命性意义的Transformer架构为起点。 1. 什么是语言模型 (Language Models)？ 「语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。 1.1 大型语言模型（LLMs） 「语言模型」（LMs）和「大型语言模型」（LLMs）这两个术语虽然经常被互换使用，但实际上它们基于规模、架构、训练数据和能力指代不同的概念。LLMs 是 LMs 的一个子集，其规模显著更大，通常包含数十亿个参数（例如，GPT-3 拥有 1750 ………………………………