1、需解决的问题在工程应用中我们经常会用一组观测数据去估计模型的参数模型是我们根据经验知识定下的。比如我们有一组观测数据 (xi,yi)一维通过一些数据分析我们猜测 y 和 x 之间存在线性关系那么我们的模型就可以定为f(x) kxb。这个模型只有两个参数所以理论上我们只需要观测两组数据建立两个方程即可解出两个未知数。类似的假如模型有 n个参数我们只需要观测 n组数据就可求出参数换句话说在这种情况下模型的参数是唯一确定解。但是在实际应用中由于我们的观测会存在误差偶然误差、系统误差等所以我们总会做多余观测。比如在上述例子中尽管只有两个参数但是我们可能会观测 n组数据 (x1,y1)..,(xn,yn)。于是这就是我们要解决的问题虽然没有确定解但是我们能不能求出近似解使得模型能在各个观测点上达到“最佳”拟合。那么“最佳”的准则是什么可以是①所有观测点到直线的距离和最小也可以是②所有观测点到直线的误差真实值-理论值绝对值和最小也可以是③其它如果是你面临这个问题你会怎么做2、基本原理早在 19世纪勒让德就认为让“误差的平方和最小”估计出来的模型是最接近真实情形的有关推导见“7、最小二乘法的推导”。为什么就是误差平方而不是其它的这个问题连欧拉最优美公式-欧拉公式、拉普拉斯都未能成功回答后来是高斯建立了一套误差分析理论从而证明了确实是使误差的平方和最小的情况下系统最优。按照勒让德的最佳原则于是就是求亦即。这个目标函数取得最小值时的函数参数这就是最小二乘法的思想所谓“二乘”就是平方的意思。从这里我们可以看到最小二乘法其实就是用来做函数拟合的一种思想也可作为求函数极值的方法。观测值yi就是我们的多组样本理论值f(x)就是我们的假设拟合函数。目标函数L也就是在机器学习中常说的损失函数我们的目标是得到使L最小化时的拟合函数的模型。举一个最简单的线性回归的例子比如我们有 m个只有一个特征的样本样本采用下面的拟合函数形如 h(x) kxb。这样我们的样本有一个特征x对应的拟合函数有两个参数 θ0 和 θ1 需要求出。我们的目标函数为用最小二乘法做什么呢就是使 J(θ0,θ1) 最小并求出此时的 θ0 和 θ1这样拟合函数就得出了。那么最小二乘法怎么才能使 J(θ0,θ1) 最小呢3、代数法求解上面提到要使 J(θ0,θ1) 最小方法就是对 θ0 和 θ1 分别求偏导数数学-偏导数令偏导数为 0得到一个关于 θ0 和 θ1 的二元方程组。求解这个二元方程组就可以得到 θ0 和 θ1 的值。下面我们具体看看过程。J(θ0,θ1) 对 θ0 求导得到如下方程J(θ0,θ1) 对 θ1 求导得到如下方程①和②组成一个二元一次方程组容易求出 θ0 和 θ1 的值这个方法很容易推广到多个样本特征的线性拟合。拟合函数表示为其中为模型参数为每个样本的 n个特征值。这个表示可以简化我们增加一个特征 x0 1 这样拟合函数表示为损失函数表示为利用损失函数分别对求导并令导数为 0 可得这样我们得到一个 N1元一次方程组这个方程组有 N1个方程求解这个方程就可以得到所有的 N1个未知的 θ。这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样都是用损失函数对各个参数求导取 0然后求解方程组得到参数值。4、矩阵法求解矩阵法比代数法要简洁且矩阵运算可以取代循环所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。涉及的“线性代数”知识请移步数学-线性代数。这里用上面的多元线性回归例子来描述矩阵法求解。假设函数的矩阵表达方式为。其中 假设函数 hθ(X) 为 mX1 的向量θ 为 nX1 的向量里面有 n 个代数法的模型参数。X为 mXn 维的矩阵。m 代表样本的个数n 代表样本的特征数。损失函数定义为其中Y是样本的输出向量维度为mX11/2 在这主要是为了求导后系数为 1方便计算。根据最小二乘法的原理我们要对这个损失函数对 θ 向量求导取 0。结果如下式这里面用到了矩阵求导链式法则和两个矩阵求导的公式。公式1其中 x 为向量公式2其中为标量对上述求导等式整理后可得两边同时左乘可得这样我们就一下子求出了 θ 向量表达式的公式免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用算出 θ。5、几何意义几何意义会直观的帮助你理解最小二乘法究竟在干什么。首先先来解释一下矩阵乘法的几何意义对于一个方程组 Ax我们可以看做是 x 对矩阵A 的列向量的线性组合比如可以看作画在坐标轴上可以看到向量b 其实就是向量a1 和 a2 的线性组合因为他们都是在同一平面上显然有解。但是如文章开头所说由于存在观测误差我们往往会做多余观测比如要拟合一次方程y kxb我们可能观测了三个点(0,2)、(1,2)、(2,3)写成矩阵形式如下为表述方便用 x1 代替 kx2 代替 b表示成线性组合的方式a1 [1,0,2]、a2 [1,1,1]、b [2,2,3] 画在图中如下从图中我们可以看到无论 a1 和 a2 怎么线性组合都不可能得到 b因为 a1 和 a2 的线性组合成的向量只能落在它们组成的子空间S 中。退而求其次虽然我们不可能得到 b但在 S 上找一个和 b 最接近的总可以吧。那么将 b 投影在平面S 上得到的向量p 就是和 b 最接近的向量把向量看作点最接近的意思就是点到平面某点取得距离最短自然就是投影所成的交点。换句话说方程组 Ax b 虽然无解也就是 b 不在 A 的列空间中但是我们可以在 A 的列空间中找到一个和 b 最接近的向量 pp 就是 b 在 A 的列空间中的投影通过求 Ax p 的解就是原方程的最小二乘解。由几何意义可知垂线 e b−p b−Ax 正交于平面S 也就是写成矩阵形式。解得可以看到推导结果和矩阵法一样。从上面可以看到最小二乘法的几何意义就是求解 b 在 A 的列向量空间中的投影。本节内容引自一文让你彻底搞懂最小二乘法。6、局限性和适用场景从上面可以看出最小二乘法适用简洁高效比梯度下降法这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。①最小二乘法需要计算的逆矩阵有可能它的逆矩阵不存在这样就没有办法直接用最小二乘法了此时梯度下降法仍然可以使用。当然我们可以通过对样本数据进行整理去掉冗余特征。让的行列式不为 0然后继续使用最小二乘法。②当样本特征 n 非常的大的时候计算的逆矩阵是一个非常耗时的工作n*n 的矩阵求逆甚至不可行。此时以梯度下降法为代表的迭代法仍然可以使用。那这个 n 到底多大就不适合最小二乘法呢如果你没有很多的分布式大数据计算资源建议超过 10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。③如果拟合函数不是线性的这时无法使用最小二乘法需要通过一些技巧转化为线性才能使用此时梯度下降法仍然可以用。④讲一些特殊情况。当样本量 m 很少小于特征数n 的时候这时拟合方程是欠定的常用的优化方法都无法去拟合数据。当样本量m 特征数n 的时候用方程组求解就可以了。当 m n 时拟合方程是超定的也就是我们常用于最小二乘法的场景了。7、最小二乘法的推导1正态分布正态分布Normal Distribution又称为常态分布或高斯分布通常记作 X~N(μ,σ2)。其中μ 是正态分布的数学期望均值σ2 是正态分布的方差。μ 0,σ 1 的正态分布被称为标准正态分布。正态分布的概率密度函数显示为典型的钟形曲线这一形状类似于寺庙中的大钟因此也常被称为钟形曲线如下图7.1 所示。图7.1 绿线代表标准正态分布正态分布最初由法国数学家棣莫弗A. D. Moivre在 1733年引入最初的探索并未深入其在统计学上的应用尤其是在误差分析方面。随后高斯C. F. Gauss提出了关于“正态误差”的理论并与拉普拉斯P-S.Laplace共同深入研究了正态分布的各项特性。在现实世界中许多自然和社会现象如考试成绩和人体身高等都近似遵循正态分布。这种分布是统计分析和概率论中的核心概念广泛应用于诸如质量控制、频数估计以及制定医学参考标准等领域。正态分布在统计学领域具有深远的意义。2误差分析理论它其实说到底就一个结论观察值的误差服从标准正态分布(StandardNormal Distribution)即。这个结论现在在我们看来是理所当然的因为它实在太符合直觉了观测值距离理论值有时大有时小当观测样本多起来后根据大数定理这些样本的误差就一定会服从正态分布那么如何根据这个结论推导出最小二乘法呢我们先暂时忘记什么是最小二乘法重新审视一下这个问题我们观测得到了一组样本我们想通过这组样本去估计出模型的参数。我们假设真实的模型参数为θ模型的真实输出为 由于各种问题我们观测到的样本yi距离真实值都是存在误差的这个误差项记为ϵ。那么根据高斯误差分析的结论误差项ϵ 应当满足则每个观测样本yi应该有即观察到的样本yi是由理论值(模型的真实输出)叠加上高斯噪声ϵ 得到的这个不难理解。从概率统计的视角我们把观测样本看作随机变量其中随机变量yi符合概率分布目前已经给定了一批样本那么我如何去估计出模型的参数呢没错极大似然估计极大似然估计的思想总结来说就是最大化当前这个样本集发生的概率专业点说就是最大化似然函数(Likelihood Function)而似然函数就是样本的联合概率。由于我们通常都会假设样本是相互独立的因此联合概率就等于每个样本发生的概率乘积。在这个问题中每个样本yi发生的概率则似然函数一般来说我们会对似然函数取 log 以将连乘变成累加主要有两个目的防止溢出和方便求导则有去掉不包含 θ 的常数项以及系数则即极大化似然函数等价于极小化最小二乘法的代价函数这也表明了以误差平方和作为最佳拟合准则的合理性。因此我们可以这样说最小二乘法其实就是误差满足正态分布的极大似然估计本文为网络资源的整合如若喜欢这篇文章不妨留下您宝贵的点赞这将是对我莫大的鼓励。
数学-最小二乘法(曲线拟合)
1、需解决的问题在工程应用中我们经常会用一组观测数据去估计模型的参数模型是我们根据经验知识定下的。比如我们有一组观测数据 (xi,yi)一维通过一些数据分析我们猜测 y 和 x 之间存在线性关系那么我们的模型就可以定为f(x) kxb。这个模型只有两个参数所以理论上我们只需要观测两组数据建立两个方程即可解出两个未知数。类似的假如模型有 n个参数我们只需要观测 n组数据就可求出参数换句话说在这种情况下模型的参数是唯一确定解。但是在实际应用中由于我们的观测会存在误差偶然误差、系统误差等所以我们总会做多余观测。比如在上述例子中尽管只有两个参数但是我们可能会观测 n组数据 (x1,y1)..,(xn,yn)。于是这就是我们要解决的问题虽然没有确定解但是我们能不能求出近似解使得模型能在各个观测点上达到“最佳”拟合。那么“最佳”的准则是什么可以是①所有观测点到直线的距离和最小也可以是②所有观测点到直线的误差真实值-理论值绝对值和最小也可以是③其它如果是你面临这个问题你会怎么做2、基本原理早在 19世纪勒让德就认为让“误差的平方和最小”估计出来的模型是最接近真实情形的有关推导见“7、最小二乘法的推导”。为什么就是误差平方而不是其它的这个问题连欧拉最优美公式-欧拉公式、拉普拉斯都未能成功回答后来是高斯建立了一套误差分析理论从而证明了确实是使误差的平方和最小的情况下系统最优。按照勒让德的最佳原则于是就是求亦即。这个目标函数取得最小值时的函数参数这就是最小二乘法的思想所谓“二乘”就是平方的意思。从这里我们可以看到最小二乘法其实就是用来做函数拟合的一种思想也可作为求函数极值的方法。观测值yi就是我们的多组样本理论值f(x)就是我们的假设拟合函数。目标函数L也就是在机器学习中常说的损失函数我们的目标是得到使L最小化时的拟合函数的模型。举一个最简单的线性回归的例子比如我们有 m个只有一个特征的样本样本采用下面的拟合函数形如 h(x) kxb。这样我们的样本有一个特征x对应的拟合函数有两个参数 θ0 和 θ1 需要求出。我们的目标函数为用最小二乘法做什么呢就是使 J(θ0,θ1) 最小并求出此时的 θ0 和 θ1这样拟合函数就得出了。那么最小二乘法怎么才能使 J(θ0,θ1) 最小呢3、代数法求解上面提到要使 J(θ0,θ1) 最小方法就是对 θ0 和 θ1 分别求偏导数数学-偏导数令偏导数为 0得到一个关于 θ0 和 θ1 的二元方程组。求解这个二元方程组就可以得到 θ0 和 θ1 的值。下面我们具体看看过程。J(θ0,θ1) 对 θ0 求导得到如下方程J(θ0,θ1) 对 θ1 求导得到如下方程①和②组成一个二元一次方程组容易求出 θ0 和 θ1 的值这个方法很容易推广到多个样本特征的线性拟合。拟合函数表示为其中为模型参数为每个样本的 n个特征值。这个表示可以简化我们增加一个特征 x0 1 这样拟合函数表示为损失函数表示为利用损失函数分别对求导并令导数为 0 可得这样我们得到一个 N1元一次方程组这个方程组有 N1个方程求解这个方程就可以得到所有的 N1个未知的 θ。这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样都是用损失函数对各个参数求导取 0然后求解方程组得到参数值。4、矩阵法求解矩阵法比代数法要简洁且矩阵运算可以取代循环所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。涉及的“线性代数”知识请移步数学-线性代数。这里用上面的多元线性回归例子来描述矩阵法求解。假设函数的矩阵表达方式为。其中 假设函数 hθ(X) 为 mX1 的向量θ 为 nX1 的向量里面有 n 个代数法的模型参数。X为 mXn 维的矩阵。m 代表样本的个数n 代表样本的特征数。损失函数定义为其中Y是样本的输出向量维度为mX11/2 在这主要是为了求导后系数为 1方便计算。根据最小二乘法的原理我们要对这个损失函数对 θ 向量求导取 0。结果如下式这里面用到了矩阵求导链式法则和两个矩阵求导的公式。公式1其中 x 为向量公式2其中为标量对上述求导等式整理后可得两边同时左乘可得这样我们就一下子求出了 θ 向量表达式的公式免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用算出 θ。5、几何意义几何意义会直观的帮助你理解最小二乘法究竟在干什么。首先先来解释一下矩阵乘法的几何意义对于一个方程组 Ax我们可以看做是 x 对矩阵A 的列向量的线性组合比如可以看作画在坐标轴上可以看到向量b 其实就是向量a1 和 a2 的线性组合因为他们都是在同一平面上显然有解。但是如文章开头所说由于存在观测误差我们往往会做多余观测比如要拟合一次方程y kxb我们可能观测了三个点(0,2)、(1,2)、(2,3)写成矩阵形式如下为表述方便用 x1 代替 kx2 代替 b表示成线性组合的方式a1 [1,0,2]、a2 [1,1,1]、b [2,2,3] 画在图中如下从图中我们可以看到无论 a1 和 a2 怎么线性组合都不可能得到 b因为 a1 和 a2 的线性组合成的向量只能落在它们组成的子空间S 中。退而求其次虽然我们不可能得到 b但在 S 上找一个和 b 最接近的总可以吧。那么将 b 投影在平面S 上得到的向量p 就是和 b 最接近的向量把向量看作点最接近的意思就是点到平面某点取得距离最短自然就是投影所成的交点。换句话说方程组 Ax b 虽然无解也就是 b 不在 A 的列空间中但是我们可以在 A 的列空间中找到一个和 b 最接近的向量 pp 就是 b 在 A 的列空间中的投影通过求 Ax p 的解就是原方程的最小二乘解。由几何意义可知垂线 e b−p b−Ax 正交于平面S 也就是写成矩阵形式。解得可以看到推导结果和矩阵法一样。从上面可以看到最小二乘法的几何意义就是求解 b 在 A 的列向量空间中的投影。本节内容引自一文让你彻底搞懂最小二乘法。6、局限性和适用场景从上面可以看出最小二乘法适用简洁高效比梯度下降法这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。①最小二乘法需要计算的逆矩阵有可能它的逆矩阵不存在这样就没有办法直接用最小二乘法了此时梯度下降法仍然可以使用。当然我们可以通过对样本数据进行整理去掉冗余特征。让的行列式不为 0然后继续使用最小二乘法。②当样本特征 n 非常的大的时候计算的逆矩阵是一个非常耗时的工作n*n 的矩阵求逆甚至不可行。此时以梯度下降法为代表的迭代法仍然可以使用。那这个 n 到底多大就不适合最小二乘法呢如果你没有很多的分布式大数据计算资源建议超过 10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。③如果拟合函数不是线性的这时无法使用最小二乘法需要通过一些技巧转化为线性才能使用此时梯度下降法仍然可以用。④讲一些特殊情况。当样本量 m 很少小于特征数n 的时候这时拟合方程是欠定的常用的优化方法都无法去拟合数据。当样本量m 特征数n 的时候用方程组求解就可以了。当 m n 时拟合方程是超定的也就是我们常用于最小二乘法的场景了。7、最小二乘法的推导1正态分布正态分布Normal Distribution又称为常态分布或高斯分布通常记作 X~N(μ,σ2)。其中μ 是正态分布的数学期望均值σ2 是正态分布的方差。μ 0,σ 1 的正态分布被称为标准正态分布。正态分布的概率密度函数显示为典型的钟形曲线这一形状类似于寺庙中的大钟因此也常被称为钟形曲线如下图7.1 所示。图7.1 绿线代表标准正态分布正态分布最初由法国数学家棣莫弗A. D. Moivre在 1733年引入最初的探索并未深入其在统计学上的应用尤其是在误差分析方面。随后高斯C. F. Gauss提出了关于“正态误差”的理论并与拉普拉斯P-S.Laplace共同深入研究了正态分布的各项特性。在现实世界中许多自然和社会现象如考试成绩和人体身高等都近似遵循正态分布。这种分布是统计分析和概率论中的核心概念广泛应用于诸如质量控制、频数估计以及制定医学参考标准等领域。正态分布在统计学领域具有深远的意义。2误差分析理论它其实说到底就一个结论观察值的误差服从标准正态分布(StandardNormal Distribution)即。这个结论现在在我们看来是理所当然的因为它实在太符合直觉了观测值距离理论值有时大有时小当观测样本多起来后根据大数定理这些样本的误差就一定会服从正态分布那么如何根据这个结论推导出最小二乘法呢我们先暂时忘记什么是最小二乘法重新审视一下这个问题我们观测得到了一组样本我们想通过这组样本去估计出模型的参数。我们假设真实的模型参数为θ模型的真实输出为 由于各种问题我们观测到的样本yi距离真实值都是存在误差的这个误差项记为ϵ。那么根据高斯误差分析的结论误差项ϵ 应当满足则每个观测样本yi应该有即观察到的样本yi是由理论值(模型的真实输出)叠加上高斯噪声ϵ 得到的这个不难理解。从概率统计的视角我们把观测样本看作随机变量其中随机变量yi符合概率分布目前已经给定了一批样本那么我如何去估计出模型的参数呢没错极大似然估计极大似然估计的思想总结来说就是最大化当前这个样本集发生的概率专业点说就是最大化似然函数(Likelihood Function)而似然函数就是样本的联合概率。由于我们通常都会假设样本是相互独立的因此联合概率就等于每个样本发生的概率乘积。在这个问题中每个样本yi发生的概率则似然函数一般来说我们会对似然函数取 log 以将连乘变成累加主要有两个目的防止溢出和方便求导则有去掉不包含 θ 的常数项以及系数则即极大化似然函数等价于极小化最小二乘法的代价函数这也表明了以误差平方和作为最佳拟合准则的合理性。因此我们可以这样说最小二乘法其实就是误差满足正态分布的极大似然估计本文为网络资源的整合如若喜欢这篇文章不妨留下您宝贵的点赞这将是对我莫大的鼓励。
