【大语言模型系列·第 01 篇】全景图从图灵测试到万亿参数的 AI 革命系列前言大语言模型LLM是当今 AI 最重要的技术基石。从 2017 年 Transformer 论文到 2026 年的万亿参数 MoE 模型LLM 用不到十年时间重塑了整个科技产业。但 LLM 远不止ChatGPT——它是一整套从架构设计、训练方法、推理部署到安全对齐的技术体系。本系列将从全景图出发用六篇文章逐层拆解 LLM 的每个核心维度。这是第一篇全景图——从图灵测试到万亿参数的 AI 革命。 文章目录️ 一、五大时代LLM 的历史演进 二、六大核心概念理解 LLM 的钥匙 三、2026 生态格局三极世界 四、系列路线图六篇深度拆解️ 一、五大时代LLM 的历史演进1.1 规则时代1950s-1980s从图灵测试到专家系统AI 的起点可以追溯到 1950 年图灵提出图灵测试——如果机器能在对话中骗过人类就算有智能。但实现这个目标的方法在早期完全走错了方向。ELIZA1966是最早的对话程序——它用简单的模式匹配和模板回复模拟心理治疗师。你说我很不开心它回复你为什么觉得不开心“看起来像在对话实际上只是字符串替换。ELIZA 没有任何理解”但它的出现证明了一件事人类天生倾向于对机器输出做拟人化解读——这个发现至今仍在影响 AI 产品设计。专家系统1970s-1980s试图用知识库 推理规则模拟专家决策。MYCIN 诊断血液感染DENDRAL 推断化学结构。专家系统在特定领域有效但致命缺陷是知识必须手工编码——每一条规则都需要人类专家写进去无法自动学习。当知识规模超过人类编码能力时系统就崩溃了。规则时代的教训AI 不能靠人写规则必须让机器自己学习。1.2 统计时代1990s-2010s从 N-gram 到 Word2Vec统计时代的关键洞察是语言有统计规律可以用概率模型捕捉。N-gram 语言模型是最简单的统计方法统计the cat sat on the后面出现mat的概率。N-gram 简单高效但只能看前 N-1 个词——无法捕获长距离依赖the cat that I saw yesterday sat on the ___中cat和sat隔了 6 个词。Word2Vec2013是一个里程碑它为每个词学习一个密集向量表示Embedding使得语义相近的词在向量空间中距离也近——“king - man woman ≈ queen”。Word2Vec 证明了语言的语义可以被编码为几何空间中的向量运算——这个思想至今是 LLM 的基础。统计时代的教训语言有结构统计方法能捕捉但需要更强的模型。1.3 神经网络时代2013-2017从 RNN 到 Seq2Seq深度学习的突破让语言模型从统计走向神经网络。RNN/LSTM。循环神经网络RNN能处理变长序列但梯度消失问题限制了长距离依赖。LSTM1997通过门控机制缓解了这个问题成为序列建模的标准工具。Seq2Seq Attention2014-2015。编码器-解码器架构让机器翻译成为可能编码器将源语言压缩为固定长度的向量解码器从这个向量生成目标语言。但固定长度的瓶颈限制了长句翻译的质量——注意力机制Attention应运而生让解码器在每一步都能回头看编码器的所有输出。神经网络时代的教训序列建模需要看到全局RNN 的逐步处理是瓶颈。1.4 Transformer 时代2017-2022从论文到 GPT-32017 年Transformer 论文Attention Is All You Need发表——这是 LLM 历史上最重要的单一事件。Transformer 用自注意力Self-Attention替代了 RNN 的逐步处理实现了完全并行的序列建模。训练速度提升 10-100 倍为大规模预训练打开了大门。GPT 系列。OpenAI 坚定地走自回归语言模型路线GPT-12018117M证明预训练微调有效GPT-220191.5B因太危险而延迟发布引发对 AI 安全的广泛讨论GPT-32020175B展示了涌现能力——模型大到一定程度突然获得了小模型没有的能力少样本学习、算术推理、代码生成。BERT2018。Google 走了另一条路双向编码器用掩码语言模型预训练。BERT 在 NLU 任务上大幅刷新记录但生成能力不如 GPT。最终GPT 的自回归路线成为 LLM 的主流——因为生成是更通用的能力。Transformer 时代的教训规模就是力量——Scaling Law 驱动能力跃迁。1.5 大模型时代2022-至今从 ChatGPT 到 AgentChatGPT2022.11是 LLM 的iPhone 时刻——它不是技术突破RLHF 早已存在而是产品突破让普通人第一次感受到 AI 可以像人一样对话。两个月用户破亿引爆全球 AI 热潮。GPT-42023.3首次实现多模态文本图像在律师考试、医学考试等人类基准上达到前 10% 水平。Llama2023.2开启开源 LLM 革命——Meta 开源 Llama 模型权重让所有人都能在本地运行和微调 LLM。DeepSeek R12025.1是中国 AI 的里程碑——用纯 RLGRPO训练出推理能力无需 SFT无需人类标注的推理数据。这证明了推理能力可以从 RL 中涌现不需要人类示范。2025-2026 年LLM 进入 Agent 时代从对话到行动。Claude Code、Devin、SWE-agent 让 LLM 自主完成编码、调试、部署等复杂任务。万亿参数 MoE 模型DeepSeek V4、GPT-5成为新常态。 二、六大核心概念理解 LLM 的钥匙2.1 Scaling Law越大越强Scaling Law 是 LLM 最重要的经验规律模型性能随计算量、参数量、数据量的增加而可预测地提升。具体来说交叉熵损失 L 与计算量 C 的关系约为 L ∝ C^(-0.05)——看起来增长缓慢但在对数尺度上每增加 10 倍计算量损失稳定下降。Chinchilla 定律2022进一步指出给定计算预算模型参数 N 和数据量 D 应等比例增长且 D_opt ≈ 20N。这意味着 70B 模型需要约 1.4T Token 才能达到计算最优。Scaling Law 的意义它让 LLM 训练从炼金术变成工程学——你可以预测需要多少算力、多少数据、最终性能如何。2.2 涌现能力量变引起质变涌现能力是 LLM 最令人着迷的现象当模型规模超过某个阈值时某些能力突然出现——小模型完全不具备大模型突然会了。典型的涌现能力包括少样本学习Few-shot Learning、思维链推理Chain-of-Thought、指令跟随Instruction Following、代码生成Code Generation。这些能力在 10B 以下模型几乎为零在 100B 以上模型突然跃升。涌现能力的争议有研究认为涌现可能是评估指标的假象——如果用连续指标而非全对/全错的离散指标能力提升是平滑的而非突变的。但无论如何大模型确实能做小模型做不到的事——这是事实。2.3 上下文学习In-Context Learning上下文学习是 LLM 最神奇的能力不需要更新任何参数只需在 prompt 中给几个示例模型就能学会新任务。例如给模型三个情感分类示例“这部电影太棒了→ 正面”、“服务很差 → 负面”、“食物还行 → 中性”然后问演员演技不错 → “模型会回答正面”——它从示例中学会了情感分类没有任何梯度更新。上下文学习的本质仍在研究中但一种主流解释是预训练已经让模型学会了从上下文中推断任务的元学习能力。2.4 思维链推理Chain-of-Thought思维链是解锁 LLM 推理能力的关键技术让模型先思考输出中间步骤再回答输出最终答案。例如问一个商店有 23 个苹果卖了 15 个又进货了 8 个现在有多少“如果直接问模型可能答错。但如果加上让我们一步一步思考”模型会输出“原来有 23 个卖了 15 个剩下 23-158 个。又进货了 8 个现在有 8816 个。”——准确率大幅提升。思维链的意义它证明了 LLM 的推理能力不是背答案而是真正的逐步推理——只是需要被引导出来。2.5 对齐Alignment对齐是让 LLM 从能回答变成回答得好的关键步骤。原始预训练模型可能输出有害内容、编造事实、或拒绝回答——对齐通过人类偏好数据教会模型什么是好的回答。从 RLHF2022到 DPO2023到 GRPO2025对齐方法越来越简单、稳定、高效。DeepSeek R1 证明纯 RL 可以让推理能力涌现无需人类标注推理数据——这是对齐方法的范式转变。2.6 幻觉Hallucination幻觉是 LLM 最顽固的问题模型会自信地输出错误信息。LLM 是概率模型它生成的是最可能的下一个 Token而非真实的下一个 Token。当训练数据中没有相关信息时模型会编造看似合理但实际错误的内容。幻觉的根源LLM 没有真实世界的锚点——它只知道文本中的统计规律不知道哪些是事实、哪些是虚构。目前缓解幻觉的方法包括 RAG检索增强生成、事实核查工具、多模型交叉验证但完全消除幻觉仍是未解难题。 三、2026 生态格局三极世界3.1 闭源三巨头OpenAIGPT-5.5。GPT 系列的开创者能力天花板。GPT-5.5 在 MMLU-Pro、SWE-bench 等核心基准上领先但定价高昂$5-$75/1M Token且不可本地部署。AnthropicClaude Opus 4.7。安全优先的差异化路线。Constitutional AI 让 Claude 在安全性和可控性上领先。Claude Code 在编码 Agent 市场占据主导。GoogleGemini 3.1。多模态原生设计。Gemini 从第一天就支持文本图像视频音频在多模态任务上优势明显。Google 搜索Gemini 的整合是独特的分发优势。3.2 开源社区MetaLlama 4。开源 LLM 的旗手。Llama 系列每次发布都定义了开源模型的新标准。Llama 4 提供 8B-405B 全尺寸覆盖Apache 2.0 许可。Mistral。法国团队小而精。Mistral Large 在效率上领先Mixtral MoE 架构创新。Qwen通义千问。阿里巴巴中文能力最强。Qwen 3.6 在中文基准上领先多语言支持广泛。3.3 中国力量DeepSeekV4/R2。极致性价比的代名词。DeepSeek V4 Pro1.6T MoE性能逼近 GPT-5但 API 价格仅 1/10。R2 推理模型在数学和代码上达到世界顶尖水平。KimiK2.6。Agent 原生设计。K2.6 支持 4000 工具调用、12 小时持续执行在 Agent 场景上领先。GLM5.1。智谱 AI编码专精。GLM-5.1 在 SWE-bench Pro 上领先达到 Claude Opus 4.6 编码能力的 94.6%。MIT 开源。MiMoV2.5。小米全模态。原生支持文本图像视频音频半价推理。3.4 格局总结2026 年的 LLM 生态呈现三极格局闭源三巨头能力最强、开源社区自主可控、中国力量性价比创新。闭源的护城河正在被快速填平——DeepSeek V4 性能逼近 GPT-5成本仅 1/10。开源不再是追赶而是并行竞速。 四、系列路线图六篇深度拆解本系列将从六个维度逐层拆解 LLM每篇聚焦一个核心问题第 01 篇全景图本文。LLM 从哪来到哪去历史演进、核心概念、生态格局。第 02 篇内部运行机制。LLM 内部怎么运转从文本到向量的六步变换分词→嵌入→注意力→FFN→堆叠→输出。Transformer 块的内部数据流。第 03 篇训练方法。LLM 怎么从数据中学习三阶段流水线预训练→SFT→对齐。五种对齐算法RLHF/DPO/GRPO/KTO/ORPO。Scaling Law 与数据工程。第 04 篇推理与部署。LLM 怎么从实验室到生产KV Cache、GQA、MoE、Flash Attention、量化、推测解码。vLLM/TGI/DeepSpeed 等推理框架。第 05 篇Agent 与应用。LLM 怎么从对话到行动ReAct、MCTS、SWE-agent。RAG、记忆、工具调用。Claude Code / Devin 等 Agent 实战。第 06 篇安全与未来。LLM 的边界和风险在哪幻觉、越狱、偏见。Constitutional AI、Mechanistic Interpretability。AGI 路线图与风险。 总结速查卡五大时代时代时间核心方法代表工作关键教训规则1950s-80s知识库推理ELIZA/专家系统AI 不能靠人写规则统计1990s-2010s概率模型N-gram/Word2Vec语言有统计规律神经网络2013-2017RNN/LSTMSeq2Seq/Attention需要看到全局Transformer2017-2022自注意力GPT-3/BERT规模就是力量大模型2022-至今预训练对齐ChatGPT/DS R1从对话到行动六大核心概念概念一句话解释Scaling Law越大越强——性能随计算量可预测提升涌现能力量变引起质变——大模型突然会了小模型不会的事上下文学习不用训练给几个示例就能学会新任务思维链先思考再回答——逐步推理解锁复杂问题对齐从能回答到回答得好——教会模型人类偏好幻觉自信地编造——LLM 最顽固的未解难题一句话总结大语言模型的历史是三条线索的交织架构演进RNN→LSTM→Transformer→MoE、规模扩张1M→1B→100B→1T、范式转变规则→统计→神经网络→预训练对齐。三条线索在 2017 年 Transformer 处交汇在 2022 年 ChatGPT 处爆发。六大核心概念是理解 LLM 的钥匙Scaling Law越大越强、涌现能力量变引起质变、上下文学习不用训练就能学会、思维链先思考再回答、对齐从能回答到回答得好、幻觉最顽固的未解难题。2026 年生态呈三极格局闭源三巨头GPT-5.5/Claude Opus/Gemini 3.1能力最强开源社区Llama/Mistral/Qwen自主可控中国力量DeepSeek/Kimi/GLM/MiMo极致性价比MoE 创新。本系列将从全景图出发用六篇文章逐层拆解 LLM 的每个核心维度全景图→内部机制→训练方法→推理部署→Agent应用→安全未来。架构是骨架规模是肌肉范式是灵魂——理解了这三条线索就理解了 LLM 的过去、现在和未来。参考链接Attention Is All You Need (Vaswani et al., 2017)Scaling Laws for Neural Language Models (Kaplan et al., 2020)Training Compute-Optimal LLMs / Chinchilla (Hoffmann et al., 2022)Emergent Abilities of LLMs (Wei et al., 2022)Chain-of-Thought Prompting (Wei et al., 2022)InstructGPT / RLHF (Ouyang et al., 2022)
【大语言模型系列·第 01 篇】全景图：从图灵测试到万亿参数的 AI 革命
【大语言模型系列·第 01 篇】全景图从图灵测试到万亿参数的 AI 革命系列前言大语言模型LLM是当今 AI 最重要的技术基石。从 2017 年 Transformer 论文到 2026 年的万亿参数 MoE 模型LLM 用不到十年时间重塑了整个科技产业。但 LLM 远不止ChatGPT——它是一整套从架构设计、训练方法、推理部署到安全对齐的技术体系。本系列将从全景图出发用六篇文章逐层拆解 LLM 的每个核心维度。这是第一篇全景图——从图灵测试到万亿参数的 AI 革命。 文章目录️ 一、五大时代LLM 的历史演进 二、六大核心概念理解 LLM 的钥匙 三、2026 生态格局三极世界 四、系列路线图六篇深度拆解️ 一、五大时代LLM 的历史演进1.1 规则时代1950s-1980s从图灵测试到专家系统AI 的起点可以追溯到 1950 年图灵提出图灵测试——如果机器能在对话中骗过人类就算有智能。但实现这个目标的方法在早期完全走错了方向。ELIZA1966是最早的对话程序——它用简单的模式匹配和模板回复模拟心理治疗师。你说我很不开心它回复你为什么觉得不开心“看起来像在对话实际上只是字符串替换。ELIZA 没有任何理解”但它的出现证明了一件事人类天生倾向于对机器输出做拟人化解读——这个发现至今仍在影响 AI 产品设计。专家系统1970s-1980s试图用知识库 推理规则模拟专家决策。MYCIN 诊断血液感染DENDRAL 推断化学结构。专家系统在特定领域有效但致命缺陷是知识必须手工编码——每一条规则都需要人类专家写进去无法自动学习。当知识规模超过人类编码能力时系统就崩溃了。规则时代的教训AI 不能靠人写规则必须让机器自己学习。1.2 统计时代1990s-2010s从 N-gram 到 Word2Vec统计时代的关键洞察是语言有统计规律可以用概率模型捕捉。N-gram 语言模型是最简单的统计方法统计the cat sat on the后面出现mat的概率。N-gram 简单高效但只能看前 N-1 个词——无法捕获长距离依赖the cat that I saw yesterday sat on the ___中cat和sat隔了 6 个词。Word2Vec2013是一个里程碑它为每个词学习一个密集向量表示Embedding使得语义相近的词在向量空间中距离也近——“king - man woman ≈ queen”。Word2Vec 证明了语言的语义可以被编码为几何空间中的向量运算——这个思想至今是 LLM 的基础。统计时代的教训语言有结构统计方法能捕捉但需要更强的模型。1.3 神经网络时代2013-2017从 RNN 到 Seq2Seq深度学习的突破让语言模型从统计走向神经网络。RNN/LSTM。循环神经网络RNN能处理变长序列但梯度消失问题限制了长距离依赖。LSTM1997通过门控机制缓解了这个问题成为序列建模的标准工具。Seq2Seq Attention2014-2015。编码器-解码器架构让机器翻译成为可能编码器将源语言压缩为固定长度的向量解码器从这个向量生成目标语言。但固定长度的瓶颈限制了长句翻译的质量——注意力机制Attention应运而生让解码器在每一步都能回头看编码器的所有输出。神经网络时代的教训序列建模需要看到全局RNN 的逐步处理是瓶颈。1.4 Transformer 时代2017-2022从论文到 GPT-32017 年Transformer 论文Attention Is All You Need发表——这是 LLM 历史上最重要的单一事件。Transformer 用自注意力Self-Attention替代了 RNN 的逐步处理实现了完全并行的序列建模。训练速度提升 10-100 倍为大规模预训练打开了大门。GPT 系列。OpenAI 坚定地走自回归语言模型路线GPT-12018117M证明预训练微调有效GPT-220191.5B因太危险而延迟发布引发对 AI 安全的广泛讨论GPT-32020175B展示了涌现能力——模型大到一定程度突然获得了小模型没有的能力少样本学习、算术推理、代码生成。BERT2018。Google 走了另一条路双向编码器用掩码语言模型预训练。BERT 在 NLU 任务上大幅刷新记录但生成能力不如 GPT。最终GPT 的自回归路线成为 LLM 的主流——因为生成是更通用的能力。Transformer 时代的教训规模就是力量——Scaling Law 驱动能力跃迁。1.5 大模型时代2022-至今从 ChatGPT 到 AgentChatGPT2022.11是 LLM 的iPhone 时刻——它不是技术突破RLHF 早已存在而是产品突破让普通人第一次感受到 AI 可以像人一样对话。两个月用户破亿引爆全球 AI 热潮。GPT-42023.3首次实现多模态文本图像在律师考试、医学考试等人类基准上达到前 10% 水平。Llama2023.2开启开源 LLM 革命——Meta 开源 Llama 模型权重让所有人都能在本地运行和微调 LLM。DeepSeek R12025.1是中国 AI 的里程碑——用纯 RLGRPO训练出推理能力无需 SFT无需人类标注的推理数据。这证明了推理能力可以从 RL 中涌现不需要人类示范。2025-2026 年LLM 进入 Agent 时代从对话到行动。Claude Code、Devin、SWE-agent 让 LLM 自主完成编码、调试、部署等复杂任务。万亿参数 MoE 模型DeepSeek V4、GPT-5成为新常态。 二、六大核心概念理解 LLM 的钥匙2.1 Scaling Law越大越强Scaling Law 是 LLM 最重要的经验规律模型性能随计算量、参数量、数据量的增加而可预测地提升。具体来说交叉熵损失 L 与计算量 C 的关系约为 L ∝ C^(-0.05)——看起来增长缓慢但在对数尺度上每增加 10 倍计算量损失稳定下降。Chinchilla 定律2022进一步指出给定计算预算模型参数 N 和数据量 D 应等比例增长且 D_opt ≈ 20N。这意味着 70B 模型需要约 1.4T Token 才能达到计算最优。Scaling Law 的意义它让 LLM 训练从炼金术变成工程学——你可以预测需要多少算力、多少数据、最终性能如何。2.2 涌现能力量变引起质变涌现能力是 LLM 最令人着迷的现象当模型规模超过某个阈值时某些能力突然出现——小模型完全不具备大模型突然会了。典型的涌现能力包括少样本学习Few-shot Learning、思维链推理Chain-of-Thought、指令跟随Instruction Following、代码生成Code Generation。这些能力在 10B 以下模型几乎为零在 100B 以上模型突然跃升。涌现能力的争议有研究认为涌现可能是评估指标的假象——如果用连续指标而非全对/全错的离散指标能力提升是平滑的而非突变的。但无论如何大模型确实能做小模型做不到的事——这是事实。2.3 上下文学习In-Context Learning上下文学习是 LLM 最神奇的能力不需要更新任何参数只需在 prompt 中给几个示例模型就能学会新任务。例如给模型三个情感分类示例“这部电影太棒了→ 正面”、“服务很差 → 负面”、“食物还行 → 中性”然后问演员演技不错 → “模型会回答正面”——它从示例中学会了情感分类没有任何梯度更新。上下文学习的本质仍在研究中但一种主流解释是预训练已经让模型学会了从上下文中推断任务的元学习能力。2.4 思维链推理Chain-of-Thought思维链是解锁 LLM 推理能力的关键技术让模型先思考输出中间步骤再回答输出最终答案。例如问一个商店有 23 个苹果卖了 15 个又进货了 8 个现在有多少“如果直接问模型可能答错。但如果加上让我们一步一步思考”模型会输出“原来有 23 个卖了 15 个剩下 23-158 个。又进货了 8 个现在有 8816 个。”——准确率大幅提升。思维链的意义它证明了 LLM 的推理能力不是背答案而是真正的逐步推理——只是需要被引导出来。2.5 对齐Alignment对齐是让 LLM 从能回答变成回答得好的关键步骤。原始预训练模型可能输出有害内容、编造事实、或拒绝回答——对齐通过人类偏好数据教会模型什么是好的回答。从 RLHF2022到 DPO2023到 GRPO2025对齐方法越来越简单、稳定、高效。DeepSeek R1 证明纯 RL 可以让推理能力涌现无需人类标注推理数据——这是对齐方法的范式转变。2.6 幻觉Hallucination幻觉是 LLM 最顽固的问题模型会自信地输出错误信息。LLM 是概率模型它生成的是最可能的下一个 Token而非真实的下一个 Token。当训练数据中没有相关信息时模型会编造看似合理但实际错误的内容。幻觉的根源LLM 没有真实世界的锚点——它只知道文本中的统计规律不知道哪些是事实、哪些是虚构。目前缓解幻觉的方法包括 RAG检索增强生成、事实核查工具、多模型交叉验证但完全消除幻觉仍是未解难题。 三、2026 生态格局三极世界3.1 闭源三巨头OpenAIGPT-5.5。GPT 系列的开创者能力天花板。GPT-5.5 在 MMLU-Pro、SWE-bench 等核心基准上领先但定价高昂$5-$75/1M Token且不可本地部署。AnthropicClaude Opus 4.7。安全优先的差异化路线。Constitutional AI 让 Claude 在安全性和可控性上领先。Claude Code 在编码 Agent 市场占据主导。GoogleGemini 3.1。多模态原生设计。Gemini 从第一天就支持文本图像视频音频在多模态任务上优势明显。Google 搜索Gemini 的整合是独特的分发优势。3.2 开源社区MetaLlama 4。开源 LLM 的旗手。Llama 系列每次发布都定义了开源模型的新标准。Llama 4 提供 8B-405B 全尺寸覆盖Apache 2.0 许可。Mistral。法国团队小而精。Mistral Large 在效率上领先Mixtral MoE 架构创新。Qwen通义千问。阿里巴巴中文能力最强。Qwen 3.6 在中文基准上领先多语言支持广泛。3.3 中国力量DeepSeekV4/R2。极致性价比的代名词。DeepSeek V4 Pro1.6T MoE性能逼近 GPT-5但 API 价格仅 1/10。R2 推理模型在数学和代码上达到世界顶尖水平。KimiK2.6。Agent 原生设计。K2.6 支持 4000 工具调用、12 小时持续执行在 Agent 场景上领先。GLM5.1。智谱 AI编码专精。GLM-5.1 在 SWE-bench Pro 上领先达到 Claude Opus 4.6 编码能力的 94.6%。MIT 开源。MiMoV2.5。小米全模态。原生支持文本图像视频音频半价推理。3.4 格局总结2026 年的 LLM 生态呈现三极格局闭源三巨头能力最强、开源社区自主可控、中国力量性价比创新。闭源的护城河正在被快速填平——DeepSeek V4 性能逼近 GPT-5成本仅 1/10。开源不再是追赶而是并行竞速。 四、系列路线图六篇深度拆解本系列将从六个维度逐层拆解 LLM每篇聚焦一个核心问题第 01 篇全景图本文。LLM 从哪来到哪去历史演进、核心概念、生态格局。第 02 篇内部运行机制。LLM 内部怎么运转从文本到向量的六步变换分词→嵌入→注意力→FFN→堆叠→输出。Transformer 块的内部数据流。第 03 篇训练方法。LLM 怎么从数据中学习三阶段流水线预训练→SFT→对齐。五种对齐算法RLHF/DPO/GRPO/KTO/ORPO。Scaling Law 与数据工程。第 04 篇推理与部署。LLM 怎么从实验室到生产KV Cache、GQA、MoE、Flash Attention、量化、推测解码。vLLM/TGI/DeepSpeed 等推理框架。第 05 篇Agent 与应用。LLM 怎么从对话到行动ReAct、MCTS、SWE-agent。RAG、记忆、工具调用。Claude Code / Devin 等 Agent 实战。第 06 篇安全与未来。LLM 的边界和风险在哪幻觉、越狱、偏见。Constitutional AI、Mechanistic Interpretability。AGI 路线图与风险。 总结速查卡五大时代时代时间核心方法代表工作关键教训规则1950s-80s知识库推理ELIZA/专家系统AI 不能靠人写规则统计1990s-2010s概率模型N-gram/Word2Vec语言有统计规律神经网络2013-2017RNN/LSTMSeq2Seq/Attention需要看到全局Transformer2017-2022自注意力GPT-3/BERT规模就是力量大模型2022-至今预训练对齐ChatGPT/DS R1从对话到行动六大核心概念概念一句话解释Scaling Law越大越强——性能随计算量可预测提升涌现能力量变引起质变——大模型突然会了小模型不会的事上下文学习不用训练给几个示例就能学会新任务思维链先思考再回答——逐步推理解锁复杂问题对齐从能回答到回答得好——教会模型人类偏好幻觉自信地编造——LLM 最顽固的未解难题一句话总结大语言模型的历史是三条线索的交织架构演进RNN→LSTM→Transformer→MoE、规模扩张1M→1B→100B→1T、范式转变规则→统计→神经网络→预训练对齐。三条线索在 2017 年 Transformer 处交汇在 2022 年 ChatGPT 处爆发。六大核心概念是理解 LLM 的钥匙Scaling Law越大越强、涌现能力量变引起质变、上下文学习不用训练就能学会、思维链先思考再回答、对齐从能回答到回答得好、幻觉最顽固的未解难题。2026 年生态呈三极格局闭源三巨头GPT-5.5/Claude Opus/Gemini 3.1能力最强开源社区Llama/Mistral/Qwen自主可控中国力量DeepSeek/Kimi/GLM/MiMo极致性价比MoE 创新。本系列将从全景图出发用六篇文章逐层拆解 LLM 的每个核心维度全景图→内部机制→训练方法→推理部署→Agent应用→安全未来。架构是骨架规模是肌肉范式是灵魂——理解了这三条线索就理解了 LLM 的过去、现在和未来。参考链接Attention Is All You Need (Vaswani et al., 2017)Scaling Laws for Neural Language Models (Kaplan et al., 2020)Training Compute-Optimal LLMs / Chinchilla (Hoffmann et al., 2022)Emergent Abilities of LLMs (Wei et al., 2022)Chain-of-Thought Prompting (Wei et al., 2022)InstructGPT / RLHF (Ouyang et al., 2022)
