大模型通过预测下一个token的概率分布来生成文本核心是条件概率。文章解释了概率分布如何作为候选表条件概率如何用于预测联合概率如何评估整句话的合理性以及注意力权重如何分配上下文关注。此外还讨论了参数初始化和训练稳定性中的数值分布问题。通过这些概念读者可以理解大模型如何一步步根据上下文分配概率并生成语言。从零开始学习大模型: 大模型为什么总在算概率前两篇我们讲了概率论里几个最基础、但在大模型里非常常见的概念概率 概率分布 归一化 期望 条件概率 联合概率 极大似然估计如果只停留在数学定义上这些词很容易变成死记硬背。但一旦放进大模型里它们会变得非常直观。因为大模型生成一句话时底层其实一直在做一件事❝根据前面的内容预测下一个 token 的概率分布。❞注意这里更准确地说是token不是一定是“词”。token 可以是一个字、一个词也可以是词的一部分。为了方便阅读下面很多地方会说“下一个词”你可以先把它理解成“下一个 token”。这篇文章不讲复杂推导。我们只把前两篇的概率概念放回大模型里看它们到底怎么用。大模型不是“直接写答案”而是在预测下一个词很多人以为大模型生成回答时是这样工作的理解问题 - 想好整段答案 - 一次性写出来但从更底层来看它更像这样看前文 - 算下一词概率 - 选一个 token - 拼回前文 - 继续比如输入今天天气很____模型不会只看到一个唯一答案。它会先给出一张候选表好0.42 热0.23 差0.15 晴朗0.12 其他0.08这里的每个数字都表示❝在当前上下文下这个候选词作为下一个词的可能性。❞所以大模型不是完全确定地“写答案”。它是在一堆可能结果里根据概率一步步生成。概率分布模型的“下一词候选打分表”前面讲概率分布时我们说过❝概率分布就是把所有可能结果的概率都列出来。❞放到大模型里它就是❝下一 token 候选表。❞模型的词表可能有几万甚至更多 token。每一步生成时它都会给这些候选 token 一个分数再通过类似 Softmax 的方式变成概率分布。比如P(好) 0.42 P(热) 0.23 P(差) 0.15 P(晴朗) 0.12 P(其他) 0.08这组概率有两个关键点每个概率都在0到1之间所有候选的概率加起来等于1。概率越高表示这个 token 在当前上下文下越合理。但概率最高不代表它一定会被选中。因为模型后面还可能使用不同的选词策略。这个我们后面再讲。为什么语言可以用概率表示自然语言本身就带有不确定性。同一句话后面可以接很多合理的词。比如我早上喜欢喝____后面可以接茶 咖啡 牛奶 水这些都说得通。但如果接汽车 键盘 云服务器就明显不合理。所以概率不是模型“不知道答案所以乱猜”。更准确地说❝概率是在描述语言里的多种合理可能性。❞不同候选词都可能出现。只是它们在当前上下文里的合理程度不同。比如P(茶 | 我早上喜欢喝) 很高 P(咖啡 | 我早上喜欢喝) 也高 P(汽车 | 我早上喜欢喝) 很低语言不是只有一条路。概率分布就是模型对这些可能路径的排序。条件概率给定前文预测下一个词前一篇我们讲过条件概率❝在某个条件已经发生的情况下另一件事发生的概率。❞大模型里的核心动作几乎就是条件概率。它的形式可以写成P(w_t | w_1, w_2, ..., w_{t-1})拆开看w_1, w_2, ..., w_{t-1} 前面所有上下文 token w_t 当前要预测的下一个 token P(w_t | 前文) 在这个上下文下下一个 token 出现的概率举个例子我早上喜欢喝____模型要做的是P(茶 | 我早上喜欢喝) P(咖啡 | 我早上喜欢喝) P(汽车 | 我早上喜欢喝)正常情况下P(茶 | 我早上喜欢喝) P(汽车 | 我早上喜欢喝)为什么因为模型从海量文本中学到在“我早上喜欢喝”这个语境下“茶”“咖啡”“牛奶”这类词更常出现也更符合语义逻辑。而“汽车”虽然也是一个词但放在这里不合适。所以条件概率在大模型里的作用是❝给定前文判断每个候选 token 作为下一个 token 的可能性。❞自回归一句话是一个词一个词生成出来的常见生成式大语言模型通常是自回归语言模型。自回归这个词听起来很数学。但其实很简单❝当前生成出来的内容会变成后面预测的上下文。❞比如模型要生成我早上喜欢喝茶它不是一次性生成整句话。而是一步一步来我 我 早上 我 早上 喜欢 我 早上 喜欢 喝 我 早上 喜欢 喝 茶每一步都在做看已有前文 预测下一个 token 的概率分布 选出一个 token 把它拼回前文 继续预测所以你看到模型输出一整段话背后其实是很多次“下一词预测”连起来。这也是为什么前面生成错了后面可能一路跑偏。因为新的上下文已经带着前面的结果继续往下走了。联合概率整句话的概率是一串条件概率乘起来前一篇我们讲过联合概率❝多个事件同时发生的概率。❞一整句话也可以看作多个 token 依次出现。所以一句话的概率可以拆成一串条件概率。比如w1, w2, w3, ..., wn它的联合概率可以写成P(w1, w2, ..., wn) P(w1) × P(w2 | w1) × P(w3 | w1, w2) × ... × P(wn | w1, ..., w(n-1))❝一句话通不通顺要看每一步在当时上下文里是否合理。❞比如我 早上 喜欢 喝 茶每一步都比较自然。所以整句话整体概率会比较高。但如果是我 早上 喜欢 喝 汽车前面几步可能还行。到了“喝 汽车”这一步概率会非常低。于是整句话的整体概率就会被拉低。这就是联合概率在语言模型里的❝整句话的合理程度是由每一步上下文预测共同决定的。❞得到概率分布后模型怎么选词很多人以为❝模型一定会选择概率最高的词。❞不一定。得到概率分布之后模型可以有不同的选词策略。最简单的是「贪心选择」永远选概率最高的 token优点是稳定。缺点是可能死板甚至容易重复。另一种是「按概率采样」概率高的更容易被选中 概率低的也有一点机会这样生成会更自然也更有变化。但随机性太强时也更容易跑偏。所以实际生成时还会使用一些调节手段temperature top-k top-p你现在不需要掌握细节。先记住分布越尖模型越保守分布越散模型越发散选词策略会影响回答风格。概率分布只是候选表。最后怎么从候选表里挑词是另一个步骤。注意力权重当前位置对上下文词语的“关注分布”前两篇里我们还讲过一个很重要的点❝一组权重加起来等于 1就可以理解成“比例分配”。❞注意力机制里也有类似结构。对某个位置来说它会给上下文里的每个词分配一个注意力权重。比如句子小猫追着蝴蝶飞对“追”这个词来说它可能更关注小猫0.45 蝴蝶0.35 飞0.12 其他0.08这些注意力权重通常满足非负 加起来为 1所以它长得很像概率分布。不过这里要说清楚边界❝注意力权重更稳妥地说是“关注比例”不是语言输出里的下一个词概率。❞也就是说下一词概率表示哪个 token 更可能被生成注意力权重表示当前位置更应该参考哪些上下文信息。这两个东西都和“分布”有关但含义不同。注意力加权求和用“关注比例”融合上下文前面讲期望时我们说过❝期望 按概率做加权求和。❞注意力里的加权求和形式上也很像。常见写法是输出 Σ a_ij · v_j拆开看a_ij 第 i 个位置对第 j 个位置的注意力权重 v_j 第 j 个位置携带的语义向量简单来说就是权重大 - 多拿一点那个词的信息 权重小 - 少拿一点那个词的信息所以注意力不是只选一个词。它更像是❝按关注比例把上下文信息混合起来。❞比如“追”这个词如果更关注“小猫”和“蝴蝶”那输出向量里就会更多融合它们的信息。这样模型就能把局部词语变成带上下文关系的新表示。参数初始化为什么一开始要从分布里随机采样概率分布不只出现在输出词概率里。训练模型时参数初始化也经常和分布有关。模型训练前有大量权重矩阵。这些权重不能全部一样。如果所有参数都初始化成同一个值w1 0.1 w2 0.1 w3 0.1很多神经元的起点完全一样后面可能学到的东西也很像。这会让训练效率很差。所以初始化时通常会从某种分布中随机采样。比如正态分布、均匀分布或者更常见的 Xavier、He 等初始化方法。这里不要简单理解成❝随便随机一下就行。❞更准确来说是❝让初始参数有差异同时把数值控制在合适范围内。❞太大容易让后续计算爆掉。太小信号可能传不动。初始化分布就是为了给训练一个比较健康的起点。训练稳定性为什么工程师会看数值分布还有一类“分布”不一定是严格的概率分布但在工程里非常重要。比如隐藏层向量的数值分布 注意力分数的数值分布 梯度的数值分布 参数的数值分布这些东西不一定都服从某个固定分布。但工程师会观察它们的形状判断训练是否健康。比如「数值全部挤在一起。」说明模型可能学不到区分。「数值特别大。」可能出现梯度爆炸或不稳定。「梯度长期接近 0。」模型可能学不动。「分布突然异常。」训练过程可能出了问题。所以这里的“分布”更像一个健康监控面板。它不一定告诉你最终答案是什么。但它能告诉你❝模型内部的数值状态是不是正常。❞总结概率论在大模型里的位置现在把整条线收回来。前两篇我们讲概率可能性大小 概率分布所有候选各占多少 条件概率给定条件后重新看可能性 联合概率多个事件一起发生 期望按权重做加权求和这一篇我们把它们放进大模型概率分布 - 下一 token 候选表 条件概率 - 给定前文预测下一个 token 联合概率 - 整句话由一串条件概率组成 注意力权重 - 对上下文分配关注比例 数值分布 - 初始化和训练稳定性观察工具最后记住一句话❝大模型不是直接给答案而是一步步根据上下文分配概率再从概率里生成语言。❞最后如果说程序员已经是高薪职业那么干AI的程序员就是高薪中的高薪。现在的市场已经用数据给程序员指明了方向学AI大模型就是冲刺高薪的最优解看着身边越来越多的同行转型大模型、拿到高薪offer很多人心里都动了心但真正的难题来了零基础小白不知道从哪入门有基础的程序员找不到系统学习路径实战项目练手无门面试不知道考什么别慌今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包覆盖从入门到实战、从理论到面试、从基础到进阶的全流程所有资料均已整理归档无冗余、无套路免费分享给每一位想抓住AI风口的程序员和小白扫码免费领取全部内容1、大模型系统化学习路线2、大模型学习书籍文档3、AI大模型最新行业报告4、大模型项目实战配套源码5、大模型大厂面试真题四阶段精细化学习规划附时间节点可直接照做结合上述资源给大家整理了一份可直接落地的四阶段学习规划总时长约2个月小白可循序渐进程序员可根据自身基础调整节奏高效掌握大模型核心能力快速实现从“入门”到“能落地、能面试”的跨越。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容6、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
从零开始学大模型：大模型为什么总在算概率？（收藏版，小白程序员必备）
大模型通过预测下一个token的概率分布来生成文本核心是条件概率。文章解释了概率分布如何作为候选表条件概率如何用于预测联合概率如何评估整句话的合理性以及注意力权重如何分配上下文关注。此外还讨论了参数初始化和训练稳定性中的数值分布问题。通过这些概念读者可以理解大模型如何一步步根据上下文分配概率并生成语言。从零开始学习大模型: 大模型为什么总在算概率前两篇我们讲了概率论里几个最基础、但在大模型里非常常见的概念概率 概率分布 归一化 期望 条件概率 联合概率 极大似然估计如果只停留在数学定义上这些词很容易变成死记硬背。但一旦放进大模型里它们会变得非常直观。因为大模型生成一句话时底层其实一直在做一件事❝根据前面的内容预测下一个 token 的概率分布。❞注意这里更准确地说是token不是一定是“词”。token 可以是一个字、一个词也可以是词的一部分。为了方便阅读下面很多地方会说“下一个词”你可以先把它理解成“下一个 token”。这篇文章不讲复杂推导。我们只把前两篇的概率概念放回大模型里看它们到底怎么用。大模型不是“直接写答案”而是在预测下一个词很多人以为大模型生成回答时是这样工作的理解问题 - 想好整段答案 - 一次性写出来但从更底层来看它更像这样看前文 - 算下一词概率 - 选一个 token - 拼回前文 - 继续比如输入今天天气很____模型不会只看到一个唯一答案。它会先给出一张候选表好0.42 热0.23 差0.15 晴朗0.12 其他0.08这里的每个数字都表示❝在当前上下文下这个候选词作为下一个词的可能性。❞所以大模型不是完全确定地“写答案”。它是在一堆可能结果里根据概率一步步生成。概率分布模型的“下一词候选打分表”前面讲概率分布时我们说过❝概率分布就是把所有可能结果的概率都列出来。❞放到大模型里它就是❝下一 token 候选表。❞模型的词表可能有几万甚至更多 token。每一步生成时它都会给这些候选 token 一个分数再通过类似 Softmax 的方式变成概率分布。比如P(好) 0.42 P(热) 0.23 P(差) 0.15 P(晴朗) 0.12 P(其他) 0.08这组概率有两个关键点每个概率都在0到1之间所有候选的概率加起来等于1。概率越高表示这个 token 在当前上下文下越合理。但概率最高不代表它一定会被选中。因为模型后面还可能使用不同的选词策略。这个我们后面再讲。为什么语言可以用概率表示自然语言本身就带有不确定性。同一句话后面可以接很多合理的词。比如我早上喜欢喝____后面可以接茶 咖啡 牛奶 水这些都说得通。但如果接汽车 键盘 云服务器就明显不合理。所以概率不是模型“不知道答案所以乱猜”。更准确地说❝概率是在描述语言里的多种合理可能性。❞不同候选词都可能出现。只是它们在当前上下文里的合理程度不同。比如P(茶 | 我早上喜欢喝) 很高 P(咖啡 | 我早上喜欢喝) 也高 P(汽车 | 我早上喜欢喝) 很低语言不是只有一条路。概率分布就是模型对这些可能路径的排序。条件概率给定前文预测下一个词前一篇我们讲过条件概率❝在某个条件已经发生的情况下另一件事发生的概率。❞大模型里的核心动作几乎就是条件概率。它的形式可以写成P(w_t | w_1, w_2, ..., w_{t-1})拆开看w_1, w_2, ..., w_{t-1} 前面所有上下文 token w_t 当前要预测的下一个 token P(w_t | 前文) 在这个上下文下下一个 token 出现的概率举个例子我早上喜欢喝____模型要做的是P(茶 | 我早上喜欢喝) P(咖啡 | 我早上喜欢喝) P(汽车 | 我早上喜欢喝)正常情况下P(茶 | 我早上喜欢喝) P(汽车 | 我早上喜欢喝)为什么因为模型从海量文本中学到在“我早上喜欢喝”这个语境下“茶”“咖啡”“牛奶”这类词更常出现也更符合语义逻辑。而“汽车”虽然也是一个词但放在这里不合适。所以条件概率在大模型里的作用是❝给定前文判断每个候选 token 作为下一个 token 的可能性。❞自回归一句话是一个词一个词生成出来的常见生成式大语言模型通常是自回归语言模型。自回归这个词听起来很数学。但其实很简单❝当前生成出来的内容会变成后面预测的上下文。❞比如模型要生成我早上喜欢喝茶它不是一次性生成整句话。而是一步一步来我 我 早上 我 早上 喜欢 我 早上 喜欢 喝 我 早上 喜欢 喝 茶每一步都在做看已有前文 预测下一个 token 的概率分布 选出一个 token 把它拼回前文 继续预测所以你看到模型输出一整段话背后其实是很多次“下一词预测”连起来。这也是为什么前面生成错了后面可能一路跑偏。因为新的上下文已经带着前面的结果继续往下走了。联合概率整句话的概率是一串条件概率乘起来前一篇我们讲过联合概率❝多个事件同时发生的概率。❞一整句话也可以看作多个 token 依次出现。所以一句话的概率可以拆成一串条件概率。比如w1, w2, w3, ..., wn它的联合概率可以写成P(w1, w2, ..., wn) P(w1) × P(w2 | w1) × P(w3 | w1, w2) × ... × P(wn | w1, ..., w(n-1))❝一句话通不通顺要看每一步在当时上下文里是否合理。❞比如我 早上 喜欢 喝 茶每一步都比较自然。所以整句话整体概率会比较高。但如果是我 早上 喜欢 喝 汽车前面几步可能还行。到了“喝 汽车”这一步概率会非常低。于是整句话的整体概率就会被拉低。这就是联合概率在语言模型里的❝整句话的合理程度是由每一步上下文预测共同决定的。❞得到概率分布后模型怎么选词很多人以为❝模型一定会选择概率最高的词。❞不一定。得到概率分布之后模型可以有不同的选词策略。最简单的是「贪心选择」永远选概率最高的 token优点是稳定。缺点是可能死板甚至容易重复。另一种是「按概率采样」概率高的更容易被选中 概率低的也有一点机会这样生成会更自然也更有变化。但随机性太强时也更容易跑偏。所以实际生成时还会使用一些调节手段temperature top-k top-p你现在不需要掌握细节。先记住分布越尖模型越保守分布越散模型越发散选词策略会影响回答风格。概率分布只是候选表。最后怎么从候选表里挑词是另一个步骤。注意力权重当前位置对上下文词语的“关注分布”前两篇里我们还讲过一个很重要的点❝一组权重加起来等于 1就可以理解成“比例分配”。❞注意力机制里也有类似结构。对某个位置来说它会给上下文里的每个词分配一个注意力权重。比如句子小猫追着蝴蝶飞对“追”这个词来说它可能更关注小猫0.45 蝴蝶0.35 飞0.12 其他0.08这些注意力权重通常满足非负 加起来为 1所以它长得很像概率分布。不过这里要说清楚边界❝注意力权重更稳妥地说是“关注比例”不是语言输出里的下一个词概率。❞也就是说下一词概率表示哪个 token 更可能被生成注意力权重表示当前位置更应该参考哪些上下文信息。这两个东西都和“分布”有关但含义不同。注意力加权求和用“关注比例”融合上下文前面讲期望时我们说过❝期望 按概率做加权求和。❞注意力里的加权求和形式上也很像。常见写法是输出 Σ a_ij · v_j拆开看a_ij 第 i 个位置对第 j 个位置的注意力权重 v_j 第 j 个位置携带的语义向量简单来说就是权重大 - 多拿一点那个词的信息 权重小 - 少拿一点那个词的信息所以注意力不是只选一个词。它更像是❝按关注比例把上下文信息混合起来。❞比如“追”这个词如果更关注“小猫”和“蝴蝶”那输出向量里就会更多融合它们的信息。这样模型就能把局部词语变成带上下文关系的新表示。参数初始化为什么一开始要从分布里随机采样概率分布不只出现在输出词概率里。训练模型时参数初始化也经常和分布有关。模型训练前有大量权重矩阵。这些权重不能全部一样。如果所有参数都初始化成同一个值w1 0.1 w2 0.1 w3 0.1很多神经元的起点完全一样后面可能学到的东西也很像。这会让训练效率很差。所以初始化时通常会从某种分布中随机采样。比如正态分布、均匀分布或者更常见的 Xavier、He 等初始化方法。这里不要简单理解成❝随便随机一下就行。❞更准确来说是❝让初始参数有差异同时把数值控制在合适范围内。❞太大容易让后续计算爆掉。太小信号可能传不动。初始化分布就是为了给训练一个比较健康的起点。训练稳定性为什么工程师会看数值分布还有一类“分布”不一定是严格的概率分布但在工程里非常重要。比如隐藏层向量的数值分布 注意力分数的数值分布 梯度的数值分布 参数的数值分布这些东西不一定都服从某个固定分布。但工程师会观察它们的形状判断训练是否健康。比如「数值全部挤在一起。」说明模型可能学不到区分。「数值特别大。」可能出现梯度爆炸或不稳定。「梯度长期接近 0。」模型可能学不动。「分布突然异常。」训练过程可能出了问题。所以这里的“分布”更像一个健康监控面板。它不一定告诉你最终答案是什么。但它能告诉你❝模型内部的数值状态是不是正常。❞总结概率论在大模型里的位置现在把整条线收回来。前两篇我们讲概率可能性大小 概率分布所有候选各占多少 条件概率给定条件后重新看可能性 联合概率多个事件一起发生 期望按权重做加权求和这一篇我们把它们放进大模型概率分布 - 下一 token 候选表 条件概率 - 给定前文预测下一个 token 联合概率 - 整句话由一串条件概率组成 注意力权重 - 对上下文分配关注比例 数值分布 - 初始化和训练稳定性观察工具最后记住一句话❝大模型不是直接给答案而是一步步根据上下文分配概率再从概率里生成语言。❞最后如果说程序员已经是高薪职业那么干AI的程序员就是高薪中的高薪。现在的市场已经用数据给程序员指明了方向学AI大模型就是冲刺高薪的最优解看着身边越来越多的同行转型大模型、拿到高薪offer很多人心里都动了心但真正的难题来了零基础小白不知道从哪入门有基础的程序员找不到系统学习路径实战项目练手无门面试不知道考什么别慌今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包覆盖从入门到实战、从理论到面试、从基础到进阶的全流程所有资料均已整理归档无冗余、无套路免费分享给每一位想抓住AI风口的程序员和小白扫码免费领取全部内容1、大模型系统化学习路线2、大模型学习书籍文档3、AI大模型最新行业报告4、大模型项目实战配套源码5、大模型大厂面试真题四阶段精细化学习规划附时间节点可直接照做结合上述资源给大家整理了一份可直接落地的四阶段学习规划总时长约2个月小白可循序渐进程序员可根据自身基础调整节奏高效掌握大模型核心能力快速实现从“入门”到“能落地、能面试”的跨越。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容6、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
