大语言模型LLM全栈技术学习路线与博客汇总大家好近段时间我系统性地梳理了大语言模型LLM的全栈技术栈从最基础的常用术语扫盲、Transformer底层网络结构细化到公式到上层应用的 RAG、Agent 智能体开发再到后训练算法SFT、PEFT、强化学习与推理部署加速策略累计输出了37 篇学习笔记与技术解析。为了方便大家查阅和系统性学习我将这些文章整理成了这份学习路线与导航指南。无论是刚刚入局的初学者还是希望深入研究微调和Agent架构的开发者都可以按图索骥找到你需要的内容。建议大家收藏本页我会随着技术的迭代持续更新这篇导航 模块一夯实根基 —— LLM 基础理论与核心原理万丈高楼平地起。这一模块带你从最基本的术语概念入手深入理解 PyTorch、Transformer 底层原理以及大模型的推理机制。1. 零基础入门LLM 相关的常见术语及其含义2. 框架基础PyTorch 学习指南3. 核心架构Transformer 底层原理深度解析4. 进阶结构大模型前沿注意力机制优化笔记 (以 Qwen3.5-MoE 为例)5. 源码剖析大模型主流框架系列 (先看Transformer篇)6. 提示词工程Prompt Context Engineering 技巧7. 推理奥秘LLM 推理时的温度值、top_p、top_k 等采样算法原理 模块二知识外挂 —— 检索增强生成 (RAG) 进阶体系解决大模型“幻觉”与知识时效性问题的杀手锏。本模块从 RAG 发展史讲起全面覆盖检索算法、向量数据库及前沿的 GraphRAG 和评估框架。1. 架构演进RAG 的发展历史与核心逻辑2. 数据处理文本切片 (Chunking) 算法与策略3. 核心检索稠密向量检索算法解析4. 传统互补稀疏向量检索算法解析5. 模型对比Embedding 与 Rerank 重排模型结构6. 双剑合璧混合检索算法实践 (BM25 Embedding)7. 基建选型常见的向量数据库盘点与对比8. 智能融合Agentic RAG 架构探讨9. 自我反思Self-RAG 原理与应用10. 知识图谱火热的 GraphRAG 技术揭秘11. 效果度量RAGAS 评估框架使用指南 模块三智能体之魂 —— Agent 核心技术与前沿范式让大模型拥有“手”和“脑”。本模块详细拆解了当下主流的单智能体与多智能体架构教你如何让 LLM 具备规划、反思与工具调用能力。1. 宏观视角Agent 范式发展历程图鉴2. 经典必学ReAct Agent 基础介绍3. 踩坑实战ReAct Agent 进阶 —— 如何解决幻觉输出与工具调用难题4. 效率提升ReWOO Agent 介绍5. 拆解任务Plan Execute Agent 介绍6. 并发调度LLM Compiler Agent 介绍7. 基础反思Basic Reflection Agent 介绍8. 深度反思Reflexion Agent 介绍9. 自我探索Self-Discover Agent 介绍10. 树搜索LATS (Language Agent Tree Search) 介绍11. 长期记忆MemGPT 介绍12. 团队协作多智能体 (AutoGen, MetaGPT, ChatDev) 介绍13. 概念辨析Function Call vs MCP vs Skills 深度对比⚒️ 模块四炼丹实战 —— 后训练、微调与推理部署走向底层硬核技术。这一模块专为想要自己“炼丹”和部署开源模型的同学准备涵盖微调理论、强化学习对齐策略及工程化部署加速。1. 底层解析大语言模型全参数微调从前向推理到反向传播2. 监督微调常见的全参数微调 SFT 方法盘点3. 高效微调PEFT 训练指南 (以 LoRA 等技术为主)4. 人类对齐偏好对齐强化学习训练方法 (DPO, PPO, GRPO, GKD等)5. 分布式训练LLM 训练框架选型与并行策略解析6. 工程落地LLM 量化部署与推理加速算法策略 写在最后大模型技术仍在飞速迭代学习它是一个持续输入与打破认知的过程。初接触时我们或许容易陷入“达克效应”觉得调通几个 API开发了几个skill 搭建了几个 agent 就窥见了全貌但随着逐步深入应用落地发现不得不了解更多底层架构与算法反而越学越会生出一种“如履薄冰”的敬畏感。希望这套系列文章能帮大家建立起最基础的体系化的基本认知框架扎实地向深水区迈进。如果在阅读中有任何问题或灵感欢迎在评论区留言探讨
LLM (大模型) 从模型结构到推理到训练的底层原理到应用落地的全栈剖析
大语言模型LLM全栈技术学习路线与博客汇总大家好近段时间我系统性地梳理了大语言模型LLM的全栈技术栈从最基础的常用术语扫盲、Transformer底层网络结构细化到公式到上层应用的 RAG、Agent 智能体开发再到后训练算法SFT、PEFT、强化学习与推理部署加速策略累计输出了37 篇学习笔记与技术解析。为了方便大家查阅和系统性学习我将这些文章整理成了这份学习路线与导航指南。无论是刚刚入局的初学者还是希望深入研究微调和Agent架构的开发者都可以按图索骥找到你需要的内容。建议大家收藏本页我会随着技术的迭代持续更新这篇导航 模块一夯实根基 —— LLM 基础理论与核心原理万丈高楼平地起。这一模块带你从最基本的术语概念入手深入理解 PyTorch、Transformer 底层原理以及大模型的推理机制。1. 零基础入门LLM 相关的常见术语及其含义2. 框架基础PyTorch 学习指南3. 核心架构Transformer 底层原理深度解析4. 进阶结构大模型前沿注意力机制优化笔记 (以 Qwen3.5-MoE 为例)5. 源码剖析大模型主流框架系列 (先看Transformer篇)6. 提示词工程Prompt Context Engineering 技巧7. 推理奥秘LLM 推理时的温度值、top_p、top_k 等采样算法原理 模块二知识外挂 —— 检索增强生成 (RAG) 进阶体系解决大模型“幻觉”与知识时效性问题的杀手锏。本模块从 RAG 发展史讲起全面覆盖检索算法、向量数据库及前沿的 GraphRAG 和评估框架。1. 架构演进RAG 的发展历史与核心逻辑2. 数据处理文本切片 (Chunking) 算法与策略3. 核心检索稠密向量检索算法解析4. 传统互补稀疏向量检索算法解析5. 模型对比Embedding 与 Rerank 重排模型结构6. 双剑合璧混合检索算法实践 (BM25 Embedding)7. 基建选型常见的向量数据库盘点与对比8. 智能融合Agentic RAG 架构探讨9. 自我反思Self-RAG 原理与应用10. 知识图谱火热的 GraphRAG 技术揭秘11. 效果度量RAGAS 评估框架使用指南 模块三智能体之魂 —— Agent 核心技术与前沿范式让大模型拥有“手”和“脑”。本模块详细拆解了当下主流的单智能体与多智能体架构教你如何让 LLM 具备规划、反思与工具调用能力。1. 宏观视角Agent 范式发展历程图鉴2. 经典必学ReAct Agent 基础介绍3. 踩坑实战ReAct Agent 进阶 —— 如何解决幻觉输出与工具调用难题4. 效率提升ReWOO Agent 介绍5. 拆解任务Plan Execute Agent 介绍6. 并发调度LLM Compiler Agent 介绍7. 基础反思Basic Reflection Agent 介绍8. 深度反思Reflexion Agent 介绍9. 自我探索Self-Discover Agent 介绍10. 树搜索LATS (Language Agent Tree Search) 介绍11. 长期记忆MemGPT 介绍12. 团队协作多智能体 (AutoGen, MetaGPT, ChatDev) 介绍13. 概念辨析Function Call vs MCP vs Skills 深度对比⚒️ 模块四炼丹实战 —— 后训练、微调与推理部署走向底层硬核技术。这一模块专为想要自己“炼丹”和部署开源模型的同学准备涵盖微调理论、强化学习对齐策略及工程化部署加速。1. 底层解析大语言模型全参数微调从前向推理到反向传播2. 监督微调常见的全参数微调 SFT 方法盘点3. 高效微调PEFT 训练指南 (以 LoRA 等技术为主)4. 人类对齐偏好对齐强化学习训练方法 (DPO, PPO, GRPO, GKD等)5. 分布式训练LLM 训练框架选型与并行策略解析6. 工程落地LLM 量化部署与推理加速算法策略 写在最后大模型技术仍在飞速迭代学习它是一个持续输入与打破认知的过程。初接触时我们或许容易陷入“达克效应”觉得调通几个 API开发了几个skill 搭建了几个 agent 就窥见了全貌但随着逐步深入应用落地发现不得不了解更多底层架构与算法反而越学越会生出一种“如履薄冰”的敬畏感。希望这套系列文章能帮大家建立起最基础的体系化的基本认知框架扎实地向深水区迈进。如果在阅读中有任何问题或灵感欢迎在评论区留言探讨
