用Python实战理解期望、方差与协方差告别数学公式恐惧很多数据分析师和机器学习工程师在面试时会被问到概率论的基础概念比如解释一下协方差的含义结果往往支支吾吾地说就是两个变量的相关性...。这种模糊的理解在实际工作中远远不够——当你需要评估两个金融产品的风险关联度或者分析用户行为特征间的依赖关系时仅凭直觉是远远不够的。1. 从数学公式到Python代码的思维转换传统概率论教学最大的问题是过度依赖数学符号而缺乏直观感受。让我们用Python构建一个虚拟班级的成绩数据集通过代码来感受这些统计量的实际意义。首先创建一个包含50名学生、3门课程成绩的DataFrameimport numpy as np import pandas as pd np.random.seed(42) students pd.DataFrame({ Math: np.random.normal(loc75, scale10, size50), Physics: np.random.normal(loc70, scale8, size50), Literature: np.random.normal(loc80, scale5, size50) })1.1 期望数据分布的中心点期望值(E)在概率论中代表随机变量取值的中心位置。在Python中我们直接用mean()方法计算math_mean students[Math].mean() physics_mean students[Physics].mean() print(f数学平均分: {math_mean:.2f}, 物理平均分: {physics_mean:.2f})输出结果可能显示数学约75分物理约70分。这意味着如果随机抽取一个学生他的数学成绩更可能接近75分。可视化理解期望值import matplotlib.pyplot as plt plt.hist(students[Math], bins15, alpha0.7) plt.axvline(math_mean, colorred, linestyle--) plt.title(数学成绩分布与期望值) plt.show()红线位置就是期望值它位于分布的中心区域。2. 方差与标准差数据离散程度的度量2.1 方差的计算与解读方差(D)衡量数据点与期望值的偏离程度。计算数学成绩的方差math_var students[Math].var(ddof0) # 总体方差 print(f数学成绩方差: {math_var:.2f})方差值越大说明学生成绩差异越大。但方差的单位是原始数据的平方不够直观因此常用标准差math_std students[Math].std(ddof0) print(f数学成绩标准差: {math_std:.2f})2.2 不同学科离散程度对比比较三个学科的标准差学科期望值标准差数学75.129.87物理70.247.92文学79.854.91从表格可见文学课成绩最集中数学成绩差异最大。这提示教师可能需要调整数学课的教学策略。3. 协方差与相关性变量关系的度量3.1 协方差的计算协方差衡量两个变量的共同变化趋势。计算数学与物理成绩的协方差cov_math_physics students[[Math, Physics]].cov().iloc[0,1] print(f数学与物理成绩协方差: {cov_math_physics:.2f})正值表示两科成绩倾向于同向变化负值则表示反向变化。3.2 相关系数更直观协方差的值受变量尺度影响相关系数(ρ)将其标准化到[-1,1]区间corr students[Math].corr(students[Physics]) print(f数学与物理成绩相关系数: {corr:.2f})相关系数解读指南0.8-1.0极强相关0.6-0.8强相关0.4-0.6中等相关0.2-0.4弱相关0.0-0.2极弱相关或无相关3.3 可视化变量关系绘制散点图观察两科成绩的关系plt.scatter(students[Math], students[Physics]) plt.xlabel(Math Scores) plt.ylabel(Physics Scores) plt.title(数学与物理成绩关系) plt.show()如果点呈右上趋势说明正相关如果呈右下趋势则是负相关。4. 实际应用案例股票投资组合分析4.1 模拟两只股票收益率创建两只相关股票的日收益率数据days 252 np.random.seed(42) # 股票A年化收益10%波动率20% returns_A np.random.normal(loc0.10/252, scale0.20/np.sqrt(252), sizedays) # 股票B与A有0.7的相关性 returns_B 0.7*returns_A np.random.normal(loc0.08/252, scale0.15/np.sqrt(252), sizedays) stocks pd.DataFrame({StockA: returns_A, StockB: returns_B})4.2 计算关键统计量print(期望收益率:) print(stocks.mean() * 252) print(\n年化波动率:) print(stocks.std() * np.sqrt(252)) print(\n收益率协方差矩阵:) print(stocks.cov() * 252) print(\n收益率相关系数:) print(stocks.corr())4.3 投资组合风险分析假设投资组合包含50%的A和50%的Bweights np.array([0.5, 0.5]) port_return np.dot(weights, stocks.mean()) * 252 port_volatility np.sqrt(np.dot(weights.T, np.dot(stocks.cov()*252, weights))) print(f组合预期年化收益: {port_return:.2%}) print(f组合年化波动率: {port_volatility:.2%})通过调整weights数组可以找到最优风险收益比的投资比例。5. 高级应用特征工程中的统计量在机器学习特征工程中这些统计量有广泛应用5.1 特征选择计算各特征与目标变量的相关系数筛选重要特征# 假设target是我们要预测的变量 data pd.concat([students, pd.Series(np.random.randint(0,2,50), nametarget)], axis1) corr_with_target data.corr()[target].abs().sort_values(ascendingFalse) print(特征与目标变量的相关性排序:) print(corr_with_target[1:]) # 排除target自身5.2 特征缩放不同尺度的特征需要标准化from sklearn.preprocessing import StandardScaler scaler StandardScaler() scaled_features scaler.fit_transform(students)标准化后各特征均值为0方差为1便于模型训练。5.3 异常值检测利用标准差识别异常值math_scores students[Math] outliers math_scores[(math_scores - math_mean).abs() 2*math_std] print(f数学成绩异常值: {outliers.values})在实际项目中我发现当特征间的相关系数超过0.9时通常只需要保留其中一个特征既能减少维度又能避免多重共线性问题。
别再死记公式了！用Python的NumPy和Pandas实战理解期望、方差与协方差
用Python实战理解期望、方差与协方差告别数学公式恐惧很多数据分析师和机器学习工程师在面试时会被问到概率论的基础概念比如解释一下协方差的含义结果往往支支吾吾地说就是两个变量的相关性...。这种模糊的理解在实际工作中远远不够——当你需要评估两个金融产品的风险关联度或者分析用户行为特征间的依赖关系时仅凭直觉是远远不够的。1. 从数学公式到Python代码的思维转换传统概率论教学最大的问题是过度依赖数学符号而缺乏直观感受。让我们用Python构建一个虚拟班级的成绩数据集通过代码来感受这些统计量的实际意义。首先创建一个包含50名学生、3门课程成绩的DataFrameimport numpy as np import pandas as pd np.random.seed(42) students pd.DataFrame({ Math: np.random.normal(loc75, scale10, size50), Physics: np.random.normal(loc70, scale8, size50), Literature: np.random.normal(loc80, scale5, size50) })1.1 期望数据分布的中心点期望值(E)在概率论中代表随机变量取值的中心位置。在Python中我们直接用mean()方法计算math_mean students[Math].mean() physics_mean students[Physics].mean() print(f数学平均分: {math_mean:.2f}, 物理平均分: {physics_mean:.2f})输出结果可能显示数学约75分物理约70分。这意味着如果随机抽取一个学生他的数学成绩更可能接近75分。可视化理解期望值import matplotlib.pyplot as plt plt.hist(students[Math], bins15, alpha0.7) plt.axvline(math_mean, colorred, linestyle--) plt.title(数学成绩分布与期望值) plt.show()红线位置就是期望值它位于分布的中心区域。2. 方差与标准差数据离散程度的度量2.1 方差的计算与解读方差(D)衡量数据点与期望值的偏离程度。计算数学成绩的方差math_var students[Math].var(ddof0) # 总体方差 print(f数学成绩方差: {math_var:.2f})方差值越大说明学生成绩差异越大。但方差的单位是原始数据的平方不够直观因此常用标准差math_std students[Math].std(ddof0) print(f数学成绩标准差: {math_std:.2f})2.2 不同学科离散程度对比比较三个学科的标准差学科期望值标准差数学75.129.87物理70.247.92文学79.854.91从表格可见文学课成绩最集中数学成绩差异最大。这提示教师可能需要调整数学课的教学策略。3. 协方差与相关性变量关系的度量3.1 协方差的计算协方差衡量两个变量的共同变化趋势。计算数学与物理成绩的协方差cov_math_physics students[[Math, Physics]].cov().iloc[0,1] print(f数学与物理成绩协方差: {cov_math_physics:.2f})正值表示两科成绩倾向于同向变化负值则表示反向变化。3.2 相关系数更直观协方差的值受变量尺度影响相关系数(ρ)将其标准化到[-1,1]区间corr students[Math].corr(students[Physics]) print(f数学与物理成绩相关系数: {corr:.2f})相关系数解读指南0.8-1.0极强相关0.6-0.8强相关0.4-0.6中等相关0.2-0.4弱相关0.0-0.2极弱相关或无相关3.3 可视化变量关系绘制散点图观察两科成绩的关系plt.scatter(students[Math], students[Physics]) plt.xlabel(Math Scores) plt.ylabel(Physics Scores) plt.title(数学与物理成绩关系) plt.show()如果点呈右上趋势说明正相关如果呈右下趋势则是负相关。4. 实际应用案例股票投资组合分析4.1 模拟两只股票收益率创建两只相关股票的日收益率数据days 252 np.random.seed(42) # 股票A年化收益10%波动率20% returns_A np.random.normal(loc0.10/252, scale0.20/np.sqrt(252), sizedays) # 股票B与A有0.7的相关性 returns_B 0.7*returns_A np.random.normal(loc0.08/252, scale0.15/np.sqrt(252), sizedays) stocks pd.DataFrame({StockA: returns_A, StockB: returns_B})4.2 计算关键统计量print(期望收益率:) print(stocks.mean() * 252) print(\n年化波动率:) print(stocks.std() * np.sqrt(252)) print(\n收益率协方差矩阵:) print(stocks.cov() * 252) print(\n收益率相关系数:) print(stocks.corr())4.3 投资组合风险分析假设投资组合包含50%的A和50%的Bweights np.array([0.5, 0.5]) port_return np.dot(weights, stocks.mean()) * 252 port_volatility np.sqrt(np.dot(weights.T, np.dot(stocks.cov()*252, weights))) print(f组合预期年化收益: {port_return:.2%}) print(f组合年化波动率: {port_volatility:.2%})通过调整weights数组可以找到最优风险收益比的投资比例。5. 高级应用特征工程中的统计量在机器学习特征工程中这些统计量有广泛应用5.1 特征选择计算各特征与目标变量的相关系数筛选重要特征# 假设target是我们要预测的变量 data pd.concat([students, pd.Series(np.random.randint(0,2,50), nametarget)], axis1) corr_with_target data.corr()[target].abs().sort_values(ascendingFalse) print(特征与目标变量的相关性排序:) print(corr_with_target[1:]) # 排除target自身5.2 特征缩放不同尺度的特征需要标准化from sklearn.preprocessing import StandardScaler scaler StandardScaler() scaled_features scaler.fit_transform(students)标准化后各特征均值为0方差为1便于模型训练。5.3 异常值检测利用标准差识别异常值math_scores students[Math] outliers math_scores[(math_scores - math_mean).abs() 2*math_std] print(f数学成绩异常值: {outliers.values})在实际项目中我发现当特征间的相关系数超过0.9时通常只需要保留其中一个特征既能减少维度又能避免多重共线性问题。
