机器学习篇---“优雅的数学家之刃”-SVM

它常被称为“优雅的数学家之刃”在深度学习出现之前是分类任务尤其是中小规模数据的王者。为了让零基础也能听懂我们还是从最直觉的几何想象开始。一、SVM的核心思想像“宽街道”一样划线想象桌上散落着黑白两色的围棋棋子你要用一根木棍把它们分开。这很简单但关键问题是木棍放在哪里最好SVM的回答是不仅要把棋子分开还要让木棍分割线离两边最近的棋子都尽可能的远。这样将来再掉下新棋子时落在正确一边的概率才最大。这根木棍就是决策边界而两边离木棍最近、支撑起这条“隔离带”的几个棋子就是支持向量。两边的支持向量到决策边界的距离就是间隔。SVM的全部目标就是最大化这个硬间隔或软间隔。所以SVM做的分类器本质上是要找到能最优区分两类数据的最大间隔超平面。二、两大绝招从线性到非线性如果棋子分布很规整一根直线就解决了这叫线性可分。但如果黑白棋子混成一团呢SVM有两大绝招来解决1. 软间隔与惩罚项C容忍“少数派”现实中数据常有噪声或几个点特别不听话。如果死板地追求绝对分界线反而会过拟合。软间隔的思路是允许一些点跨过隔离带甚至分界线但“犯规”要付出代价这个代价由一个参数C来控制。C很大像严厉的裁判不容忍任何犯规间隔窄可能过拟合。C很小像宽松的裁判允许较多点犯规间隔宽模型更平滑泛化能力强但可能欠拟合。可以把C理解为对“错误分类”的惩罚力度C大惩罚重模型会尽力把所有训练点分对C小则更看重整体的宽间隔。2. 核技巧从“看山是山”到“立体升维”这是SVM真正的魔法。如果黑白棋子混在一起在二维平面上无论如何也画不出一条直线完全分开。SVM的做法是把数据从二维平面映射到更高维的空间就像俯视棋盘分不开但站起来看可能发现黑子轻、白子重在三维空间用一个木板就轻松切开了。核函数就是做这个升维映射的高效“梯子”它能在不真正计算高维坐标的情况下直接算出数据在高维空间里的相似度。常用核函数有线性核K(xi,xj)xi⋅xjK(xi​,xj​)xi​⋅xj​ 不升维就是原始空间的线性SVM适用于特征多、样本少如文本分类的情况。多项式核能形成曲线边界需要指定维度用复杂曲线去拟合数据。高斯RBF核最常用的“万金油”理论上能把数据映射到无穷维拟合能力极强。参数gamma控制每个点的影响范围gamma大每个点影响圈小决策边界崎岖复杂容易过拟合gamma小影响圈大边界平滑。Sigmoid核源于神经网络但不常用。小结线性SVM本身就是一种正则化很强的模型。而非线性SVM的核心就是核技巧它可以理解为一个测量两数据点“相似度”的函数让算法在高维空间中找到最大间隔超平面。三、不止于二分类SVM处理多分类与回归SVM天生是二分类好手但一个方法可以解决多分类一对一每两类之间都训练一个SVM投票决定。K类需要K(K-1)/2个分类器。一对多训练时依次把某一类看作正类其余看作负类。K类只需K个分类器但容易有偏斜。对于回归任务有支持向量回归SVR。它的思想很有趣不追求预测值完全等于真实值而是设置一个宽度为εepsilon的不敏感管道。落在管道内的点不计误差落在管道外的点才计算损失目标是让管道尽可能平同时超过ε的点尽量少。四、SVM的优点与局限突出优点小样本专家在中小规模、高维度数据上表现出色不易过拟合。结果优雅最终模型仅由少数支持向量决定模型简洁。泛化能力强最大化间隔的思想使其天生具有不错的鲁棒性和泛化界限。主要局限大数据效率低计算复杂度高对海量样本和特征不友好。参数和核函数需要精心调教C、gamma和核函数的选择对结果影响巨大调参成本高。对缺失数据敏感。非概率输出直接输出的是到超平面的距离决策值而非直观的概率虽然可以通过Platt缩放等方式校准。五、总结框图这张mermaid图帮你将SVM的核心知识结构化