归一化与标准化机器学习核心预处理笔记核心前提机器学习中特征的量纲单位可能差异极大如身高cm、体重kg、收入万元会导致模型如KNN、线性回归、SVM偏向于量纲大的特征影响训练效果。核心目的消除特征量纲影响使所有特征处于同一量级让模型更公平地学习每个特征提升训练效率和模型精度。注意归一化和标准化均属于「特征预处理」仅针对输入特征X不处理标签y且需遵循「训练集拟合、测试集复用」原则用训练集的参数处理测试集避免数据泄露。一、归一化Normalization核心定义将特征值映射到 [0, 1] 或 [-1, 1] 的固定区间内消除量纲的同时压缩特征值范围。最常用类型最小-最大归一化Min-Max Scaling授课重点其他类型简要提及即可。核心公式Min-Max Scaling对于某一特征的所有样本值 ( x )归一化后的值 ( x_{\text{norm}} ) 计算如下xnormx−min(X)max(X)−min(X)x_{\text{norm}} \frac{x - \min(X)}{\max(X) - \min(X)}xnormmax(X)−min(X)x−min(X)( x )当前样本的特征值( \min(X) )该特征所有样本的最小值( \max(X) )该特征所有样本的最大值分母 ( \max(X) - \min(X) )该特征的取值范围若范围为0说明所有样本值相同无需归一化实操步骤授课可板书演示遍历某一特征的所有训练集样本计算该特征的 ( \min(X) ) 和 ( \max(X) )代入公式将训练集中每个样本的该特征值映射到 [0, 1] 区间用训练集计算的 ( \min(X) ) 和 ( \max(X) )复用公式处理测试集样本关键测试集不重新计算最值对所有需要预处理的特征重复上述步骤。举例简化计算便于授课讲解特征学生成绩相关4个特征与示例数组格式一致训练集样本模仿用户给出的数组格式数值简单、计算便捷x_train [[80, 3, 12, 42], [60, 5, 18, 48], [70, 4, 15, 45]]该数组共3个样本4个特征与用户给出的[[90,2,10,40],[60,4,15,45],[75,3,13,46]]格式一致数值简单、计算无复杂运算分别对4个特征做归一化演示特征1如课堂专注时长样本值 [80, 60, 70]计算最值( \min(X)60 )( \max(X)80 )范围20归一化计算样本80(80-60)/20 1.0样本60(60-60)/20 0.0样本70(70-60)/20 0.5归一化后结果[1.0, 0.0, 0.5]特征2如刷题时长样本值 [3, 5, 4]计算最值( \min(X)3 )( \max(X)5 )范围2归一化计算样本3(3-3)/2 0.0样本5(5-3)/2 1.0样本4(4-3)/2 0.5归一化后结果[0.0, 1.0, 0.5]特征3如背诵单词数样本值 [12, 18, 15]计算最值( \min(X)12 )( \max(X)18 )范围6归一化计算样本12(12-12)/6 0.0样本18(18-12)/6 1.0样本15(15-12)/6 0.5归一化后结果[0.0, 1.0, 0.5]特征4如作业完成率样本值 [42, 48, 45]计算最值( \min(X)42 )( \max(X)48 )范围6归一化计算样本42(42-42)/6 0.0样本48(48-42)/6 1.0样本45(45-42)/6 0.5归一化后结果[0.0, 1.0, 0.5]综上x_train归一化后完整结果[[1.0, 0.0, 0.0, 0.0], [0.0, 1.0, 1.0, 1.0], [0.5, 0.5, 0.5, 0.5]]计算简单适合课堂板书演示。适用场景与注意事项适用场景模型对特征范围有明确要求如神经网络输入层需输入[0,1]区间的值特征取值范围已知且固定如图像像素值0-255适合基于距离的模型如KNN、SVM能避免量纲大的特征主导距离计算。注意事项授课重点强调对异常值极敏感若特征中存在极端异常值如特征1出现100会严重压缩正常样本的取值范围导致归一化后的值集中在很小的区间仅适用于数值型特征分类特征如性别、标签无需归一化必须遵循“训练集拟合、测试集复用”否则会导致数据泄露影响模型泛化能力。二、标准化Standardization核心定义将特征值转换为「均值为0、标准差为1」的正态分布标准正态分布不固定特征值范围仅消除量纲保留特征的分布特性。最常用类型Z-Score 标准化授课重点唯一核心类型。核心公式Z-Score 标准化对于某一特征的所有样本值 ( x )标准化后的值 ( x_{\text{std}} ) 计算如下xstdx−μσx_{\text{std}} \frac{x - \mu}{\sigma}xstdσx−μ( x )当前样本的特征值( \mu )mu该特征所有训练集样本的均值( \sigma )sigma该特征所有训练集样本的标准差注意若标准差 ( \sigma 0 )说明所有样本值相同无需标准化。实操步骤授课可板书演示遍历某一特征的所有训练集样本计算该特征的均值 ( \mu ) 和标准差 ( \sigma )代入公式将训练集中每个样本的该特征值转换为标准正态分布用训练集计算的 ( \mu ) 和 ( \sigma )复用公式处理测试集样本关键测试集不重新计算均值和标准差对所有需要预处理的特征重复上述步骤。举例简化计算便于授课讲解沿用上述归一化的训练集样本x_train [[80, 3, 12, 42], [60, 5, 18, 48], [70, 4, 15, 45]]分别对4个特征做标准化演示数值简单计算无复杂运算特征1数学成绩样本值 [80, 60, 70]计算均值 ( \mu )(806070)/3 70计算标准差 ( \sigma )√[(80-70)²(60-70)²(70-70)²]/3 √(1001000)/3 √(200/3) ≈ 8.16标准化计算保留2位小数样本80(80-70)/8.16 ≈ 1.22样本60(60-70)/8.16 ≈ -1.22样本70(70-70)/8.16 ≈ 0.00标准化后结果[1.22, -1.22, 0.00]特征2刷题时长样本值 [3, 5, 4]计算均值 ( \mu )(354)/3 4计算标准差 ( \sigma )√[(3-4)²(5-4)²(4-4)²]/3 √(110)/3 √(2/3) ≈ 0.82标准化计算样本3(3-4)/0.82 ≈ -1.22样本5(5-4)/0.82 ≈ 1.22样本4(4-4)/0.82 ≈ 0.00标准化后结果[-1.22, 1.22, 0.00]特征3背诵单词数样本值 [12, 18, 15]计算均值 ( \mu )(121815)/3 15计算标准差 ( \sigma )√[(12-15)²(18-15)²(15-15)²]/3 √(990)/3 √(18/3) √6 ≈ 2.45标准化计算样本12(12-15)/2.45 ≈ -1.22样本18(18-15)/2.45 ≈ 1.22样本15(15-15)/2.45 ≈ 0.00标准化后结果[-1.22, 1.22, 0.00]特征4作业完成率样本值 [42, 48, 45]计算均值 ( \mu )(424845)/3 45计算标准差 ( \sigma )√[(42-45)²(48-45)²(45-45)²]/3 √(990)/3 √6 ≈ 2.45标准化计算样本42(42-45)/2.45 ≈ -1.22样本48(48-45)/2.45 ≈ 1.22样本45(45-45)/2.45 ≈ 0.00标准化后结果[-1.22, 1.22, 0.00]综上x_train标准化后完整结果[[1.22, -1.22, -1.22, -1.22], [-1.22, 1.22, 1.22, 1.22], [0.00, 0.00, 0.00, 0.00]]计算简单适合课堂板书演示。适用场景与注意事项适用场景模型假设特征服从正态分布如线性回归、逻辑回归、神经网络特征存在异常值标准化对异常值的鲁棒性更强不会过度压缩正常样本特征取值范围不确定、无明确边界如收入、年龄大多数机器学习模型的首选预处理方式通用性最强。注意事项授课重点强调标准化后特征值会分布在0附近可能出现负数不影响模型训练仅消除量纲同样遵循“训练集拟合、测试集复用”避免数据泄露若特征存在极端异常值可先处理异常值如删除、替换再进行标准化。三、归一化与标准化核心区别授课重点必讲对比维度归一化Min-Max标准化Z-Score核心作用映射到固定区间 [0,1]消除量纲压缩范围转换为标准正态分布仅消除量纲保留分布取值范围固定 [0,1]或[-1,1]无固定范围通常在[-3,3]之间正态分布特性异常值敏感性极敏感异常值会严重压缩正常样本范围鲁棒性强异常值影响较小仍需适当处理核心参数训练集的 min(X)、max(X)训练集的 均值μ、标准差σ适用场景特征范围固定、模型对输入范围有要求特征有异常值、模型假设正态分布通用首选典型模型KNN、SVM距离类模型线性回归、逻辑回归、神经网络通用四、授课补充要点讲师专用口诀记忆归一化定范围标准化定分布实操提醒在Python中可通过sklearn的MinMaxScaler归一化、StandardScaler标准化快速实现核心是调用fit_transform训练集和transform测试集易错点① 用测试集重新计算参数导致数据泄露② 对标签y进行预处理③ 特征存在异常值时优先用归一化拓展当特征取值范围差异不大如身高150-180cm体重50-80kg可不用预处理但只要存在量纲差异预处理能提升模型效果。五、总结归一化和标准化的核心目的一致消除特征量纲影响让模型公平学习每个特征选择原则优先用标准化鲁棒性强、通用性强若模型对输入范围有明确要求用归一化核心禁忌不处理标签、不重复计算测试集参数、不忽视异常值影响。
人工智能学习之归一化和标准化的区别
归一化与标准化机器学习核心预处理笔记核心前提机器学习中特征的量纲单位可能差异极大如身高cm、体重kg、收入万元会导致模型如KNN、线性回归、SVM偏向于量纲大的特征影响训练效果。核心目的消除特征量纲影响使所有特征处于同一量级让模型更公平地学习每个特征提升训练效率和模型精度。注意归一化和标准化均属于「特征预处理」仅针对输入特征X不处理标签y且需遵循「训练集拟合、测试集复用」原则用训练集的参数处理测试集避免数据泄露。一、归一化Normalization核心定义将特征值映射到 [0, 1] 或 [-1, 1] 的固定区间内消除量纲的同时压缩特征值范围。最常用类型最小-最大归一化Min-Max Scaling授课重点其他类型简要提及即可。核心公式Min-Max Scaling对于某一特征的所有样本值 ( x )归一化后的值 ( x_{\text{norm}} ) 计算如下xnormx−min(X)max(X)−min(X)x_{\text{norm}} \frac{x - \min(X)}{\max(X) - \min(X)}xnormmax(X)−min(X)x−min(X)( x )当前样本的特征值( \min(X) )该特征所有样本的最小值( \max(X) )该特征所有样本的最大值分母 ( \max(X) - \min(X) )该特征的取值范围若范围为0说明所有样本值相同无需归一化实操步骤授课可板书演示遍历某一特征的所有训练集样本计算该特征的 ( \min(X) ) 和 ( \max(X) )代入公式将训练集中每个样本的该特征值映射到 [0, 1] 区间用训练集计算的 ( \min(X) ) 和 ( \max(X) )复用公式处理测试集样本关键测试集不重新计算最值对所有需要预处理的特征重复上述步骤。举例简化计算便于授课讲解特征学生成绩相关4个特征与示例数组格式一致训练集样本模仿用户给出的数组格式数值简单、计算便捷x_train [[80, 3, 12, 42], [60, 5, 18, 48], [70, 4, 15, 45]]该数组共3个样本4个特征与用户给出的[[90,2,10,40],[60,4,15,45],[75,3,13,46]]格式一致数值简单、计算无复杂运算分别对4个特征做归一化演示特征1如课堂专注时长样本值 [80, 60, 70]计算最值( \min(X)60 )( \max(X)80 )范围20归一化计算样本80(80-60)/20 1.0样本60(60-60)/20 0.0样本70(70-60)/20 0.5归一化后结果[1.0, 0.0, 0.5]特征2如刷题时长样本值 [3, 5, 4]计算最值( \min(X)3 )( \max(X)5 )范围2归一化计算样本3(3-3)/2 0.0样本5(5-3)/2 1.0样本4(4-3)/2 0.5归一化后结果[0.0, 1.0, 0.5]特征3如背诵单词数样本值 [12, 18, 15]计算最值( \min(X)12 )( \max(X)18 )范围6归一化计算样本12(12-12)/6 0.0样本18(18-12)/6 1.0样本15(15-12)/6 0.5归一化后结果[0.0, 1.0, 0.5]特征4如作业完成率样本值 [42, 48, 45]计算最值( \min(X)42 )( \max(X)48 )范围6归一化计算样本42(42-42)/6 0.0样本48(48-42)/6 1.0样本45(45-42)/6 0.5归一化后结果[0.0, 1.0, 0.5]综上x_train归一化后完整结果[[1.0, 0.0, 0.0, 0.0], [0.0, 1.0, 1.0, 1.0], [0.5, 0.5, 0.5, 0.5]]计算简单适合课堂板书演示。适用场景与注意事项适用场景模型对特征范围有明确要求如神经网络输入层需输入[0,1]区间的值特征取值范围已知且固定如图像像素值0-255适合基于距离的模型如KNN、SVM能避免量纲大的特征主导距离计算。注意事项授课重点强调对异常值极敏感若特征中存在极端异常值如特征1出现100会严重压缩正常样本的取值范围导致归一化后的值集中在很小的区间仅适用于数值型特征分类特征如性别、标签无需归一化必须遵循“训练集拟合、测试集复用”否则会导致数据泄露影响模型泛化能力。二、标准化Standardization核心定义将特征值转换为「均值为0、标准差为1」的正态分布标准正态分布不固定特征值范围仅消除量纲保留特征的分布特性。最常用类型Z-Score 标准化授课重点唯一核心类型。核心公式Z-Score 标准化对于某一特征的所有样本值 ( x )标准化后的值 ( x_{\text{std}} ) 计算如下xstdx−μσx_{\text{std}} \frac{x - \mu}{\sigma}xstdσx−μ( x )当前样本的特征值( \mu )mu该特征所有训练集样本的均值( \sigma )sigma该特征所有训练集样本的标准差注意若标准差 ( \sigma 0 )说明所有样本值相同无需标准化。实操步骤授课可板书演示遍历某一特征的所有训练集样本计算该特征的均值 ( \mu ) 和标准差 ( \sigma )代入公式将训练集中每个样本的该特征值转换为标准正态分布用训练集计算的 ( \mu ) 和 ( \sigma )复用公式处理测试集样本关键测试集不重新计算均值和标准差对所有需要预处理的特征重复上述步骤。举例简化计算便于授课讲解沿用上述归一化的训练集样本x_train [[80, 3, 12, 42], [60, 5, 18, 48], [70, 4, 15, 45]]分别对4个特征做标准化演示数值简单计算无复杂运算特征1数学成绩样本值 [80, 60, 70]计算均值 ( \mu )(806070)/3 70计算标准差 ( \sigma )√[(80-70)²(60-70)²(70-70)²]/3 √(1001000)/3 √(200/3) ≈ 8.16标准化计算保留2位小数样本80(80-70)/8.16 ≈ 1.22样本60(60-70)/8.16 ≈ -1.22样本70(70-70)/8.16 ≈ 0.00标准化后结果[1.22, -1.22, 0.00]特征2刷题时长样本值 [3, 5, 4]计算均值 ( \mu )(354)/3 4计算标准差 ( \sigma )√[(3-4)²(5-4)²(4-4)²]/3 √(110)/3 √(2/3) ≈ 0.82标准化计算样本3(3-4)/0.82 ≈ -1.22样本5(5-4)/0.82 ≈ 1.22样本4(4-4)/0.82 ≈ 0.00标准化后结果[-1.22, 1.22, 0.00]特征3背诵单词数样本值 [12, 18, 15]计算均值 ( \mu )(121815)/3 15计算标准差 ( \sigma )√[(12-15)²(18-15)²(15-15)²]/3 √(990)/3 √(18/3) √6 ≈ 2.45标准化计算样本12(12-15)/2.45 ≈ -1.22样本18(18-15)/2.45 ≈ 1.22样本15(15-15)/2.45 ≈ 0.00标准化后结果[-1.22, 1.22, 0.00]特征4作业完成率样本值 [42, 48, 45]计算均值 ( \mu )(424845)/3 45计算标准差 ( \sigma )√[(42-45)²(48-45)²(45-45)²]/3 √(990)/3 √6 ≈ 2.45标准化计算样本42(42-45)/2.45 ≈ -1.22样本48(48-45)/2.45 ≈ 1.22样本45(45-45)/2.45 ≈ 0.00标准化后结果[-1.22, 1.22, 0.00]综上x_train标准化后完整结果[[1.22, -1.22, -1.22, -1.22], [-1.22, 1.22, 1.22, 1.22], [0.00, 0.00, 0.00, 0.00]]计算简单适合课堂板书演示。适用场景与注意事项适用场景模型假设特征服从正态分布如线性回归、逻辑回归、神经网络特征存在异常值标准化对异常值的鲁棒性更强不会过度压缩正常样本特征取值范围不确定、无明确边界如收入、年龄大多数机器学习模型的首选预处理方式通用性最强。注意事项授课重点强调标准化后特征值会分布在0附近可能出现负数不影响模型训练仅消除量纲同样遵循“训练集拟合、测试集复用”避免数据泄露若特征存在极端异常值可先处理异常值如删除、替换再进行标准化。三、归一化与标准化核心区别授课重点必讲对比维度归一化Min-Max标准化Z-Score核心作用映射到固定区间 [0,1]消除量纲压缩范围转换为标准正态分布仅消除量纲保留分布取值范围固定 [0,1]或[-1,1]无固定范围通常在[-3,3]之间正态分布特性异常值敏感性极敏感异常值会严重压缩正常样本范围鲁棒性强异常值影响较小仍需适当处理核心参数训练集的 min(X)、max(X)训练集的 均值μ、标准差σ适用场景特征范围固定、模型对输入范围有要求特征有异常值、模型假设正态分布通用首选典型模型KNN、SVM距离类模型线性回归、逻辑回归、神经网络通用四、授课补充要点讲师专用口诀记忆归一化定范围标准化定分布实操提醒在Python中可通过sklearn的MinMaxScaler归一化、StandardScaler标准化快速实现核心是调用fit_transform训练集和transform测试集易错点① 用测试集重新计算参数导致数据泄露② 对标签y进行预处理③ 特征存在异常值时优先用归一化拓展当特征取值范围差异不大如身高150-180cm体重50-80kg可不用预处理但只要存在量纲差异预处理能提升模型效果。五、总结归一化和标准化的核心目的一致消除特征量纲影响让模型公平学习每个特征选择原则优先用标准化鲁棒性强、通用性强若模型对输入范围有明确要求用归一化核心禁忌不处理标签、不重复计算测试集参数、不忽视异常值影响。
