0-机器学习与大模型开发数学教程

「ml-llm-math.zip」链接https://pan.quark.cn/s/35fc37047e5e完整的整理到了github 机器学习与大模型开发数学教程第0章 预备知识0-1 集合与逻辑基础集合运算、命题逻辑、量词0-2 数列与级数收敛性、幂级数0-3 函数初步多项式、指数、对数、三角函数、反函数0-4 复数与指数形式欧拉公式0-5 初等组合数学排列组合、二项式定理0-6 向量与坐标系线性组合、基、维数0-7 初等概率事件、条件概率、全概率公式、独立性直觉0-8 编程与数值计算基础浮点数精度、溢出、数值稳定性第1章 微分上单变量微积分1-1 课程介绍与数学在机器学习中的作用1-2 O(n) 表示法与时间复杂度1-3 极限与连续性1-4 导数与几何意义1-5 常用求导法积商法、隐函数、分部求导1-6 费马定理与极值判定1-7 函数逼近思想1-8 泰勒展开与高阶近似1-9 凸函数与凸优化基础1-10 本章总结与习题第2章 微分下多变量微积分2-1 多元函数与偏导数2-2 偏导与梯度2-3 方向导数与可微性2-4 链式法则标量→向量→矩阵2-5 Hessian矩阵与高阶导数2-6 拉格朗日乘数法等式约束优化2-7 约束优化的KKT条件预告 引入优化篇2-8 本章总结与习题第3章 线性代数3-1 向量、矩阵与张量3-2 向量与矩阵运算内积、外积、Hadamard积3-3 张量的运算Einstein求和约定3-4 矩阵的逆与伪逆3-5 行列式与秩3-6 线性方程组LU分解、数值解法3-7 二次型与正定性3-8 矩阵分解SVD、特征分解、QR、Cholesky3-9 特征值与谱理论3-10 主成分分析PCA与降维3-11 奇异值分解在推荐系统中的应用3-12 本章总结与习题第4章 概率与统计4-1 概率论基础样本空间、事件、概率公理4-2 随机变量与概率分布离散与连续4-3 常见分布伯努利、二项、正态、指数、Gamma、Beta4-4 条件概率与贝叶斯定理4-5 期望、方差、协方差与相关系数4-6 大数定律与中心极限定理4-7 特征函数与矩母函数4-8 极大似然估计MLE4-9 最大后验估计MAP4-10 信息论基础熵、交叉熵、KL散度、互信息4-11 蒙特卡洛方法与采样技巧4-12 Bootstrap方法4-13 EM算法与混合模型4-14 偏差-方差分解4-15 本章总结与习题第5章 优化方法5-1 优化问题分类凸、非凸、线性、非线性5-2 梯度下降法GD与随机梯度下降SGD5-3 最速下降法与动量法Momentum5-4 共轭梯度法5-5 牛顿法与拟牛顿法BFGS、L-BFGS5-6 Adam、RMSProp、AdaGrad 等自适应优化算法5-7 学习率调度warmup、余弦退火、OneCycle5-8 约束非线性优化5-9 KKT条件详解5-10 最优化在机器学习中的典型应用逻辑回归、SVM5-11 本章总结与习题第6章 数值计算与高性能计算6-1 浮点数精度与数值稳定性6-2 矩阵运算的数值误差分析6-3 高维矩阵稀疏性与压缩存储6-4 自动微分原理前向模式、反向模式6-5 GPU/TPU并行计算基础6-6 分布式训练中的数值注意事项梯度裁剪、混合精度6-7 大模型训练中的数值优化技巧混合精度、梯度累积6-8 本章总结第7章 大模型相关数学专题7-1 向量空间与嵌入embedding7-2 相似度度量余弦相似度、点积、欧氏距离7-3 注意力机制的数学表达softmax、加权和7-4 概率语言模型的数学N-gram、条件概率链式法则7-5 Transformer 的矩阵运算解析7-6 自注意力机制的计算复杂度分析7-7 损失函数数学交叉熵、MSE、对比学习损失7-8 正则化与泛化L1/L2、Dropout 概率解释7-9 预训练与微调的数理理解优化视角7-10 本章总结第8章 数学前沿与拓展8-1 最优传输理论与生成模型Wasserstein距离8-2 高维几何与流形学习8-3 图神经网络的数学基础图论、谱图理论8-4 信息几何与概率分布空间8-5 微分方程与神经微分方程Neural ODEs8-6 矩阵分解与低秩近似在推荐系统中的应用8-7 本书总结与展望