计算示例本文用一个单输入、6 个隐藏神经元、单输出的多层感知机MLP作为例子展示如何用 Excel 公式完整复现一次训练迭代。配套 Excel 文件中的“MLP计算过程”工作表已经把前向传播、损失计算、反向传播梯度和参数更新全部写成可联动公式。1. 模型结构与初始参数本例的网络结构为1-6-1输入层 1 个神经元隐藏层 6 个神经元输出层 1 个神经元。输入值为x5目标值为y208学习率为η0.01。激活函数使用 Leaky ReLUf(t)IF(t0,t,0.05t)j隐藏层权重 W_j隐藏层偏置 b_j输出层权重 v_j1101010220102033010104201010510103062010202. 前向传播隐藏层第 j 个神经元先计算加权和z_j x·W_j b_j然后经过激活函数得到隐藏层输出h_j f(z_j)本例中隐藏层输出为h [60, 110, 160, 110, 60, 110]输出层加权和为s Σ(v_j·h_j) c 9520由于s0最终输出为ŷf(s)9520。3. 损失函数单样本平方误差为L(ŷ-y)^2(9520-208)^286,713,3444. 反向传播先计算输出层梯度∂L/∂s 2(ŷ-y)·f(s) 18,624然后逐层向前传递梯度。例如∂L/∂v_j ∂L/∂s · h_j∂L/∂c ∂L/∂s∂L/∂h_j ∂L/∂s · v_j∂L/∂z_j ∂L/∂h_j · f(z_j)∂L/∂W_j ∂L/∂z_j · x∂L/∂b_j ∂L/∂z_j5. 参数更新所有参数都使用梯度下降更新θ_new θ - η · ∂L/∂θ例如第 1 个隐藏层权重的更新为W_1_new 10 - 0.01 × 931200 -9302输出层偏置的更新为c_new 20 - 0.01 × 18624 -166.246. Excel 中的核心公式步骤Excel 公式作用隐藏层加权和B18*C18D18计算 z_j激活函数IF(E180,E18,$B$7*E18)计算 h_j输出层加权和SUMPRODUCT(H18:H23,F18:F23)B8计算 s损失函数(B10-B6)^2计算平方误差参数更新C18-$B$4*K18更新隐藏层权重提示本例主要用于展示 MLP 的计算链路。学习率较大时一次更新可能让参数变化非常明显实际训练中通常需要调整学习率、归一化数据并进行多轮迭代。7. 总结通过这个 Excel 示例可以清楚看到 MLP 的四个关键步骤前向传播得到预测值损失函数衡量预测误差反向传播计算每个参数的梯度最后用梯度下降更新参数。Excel 的优势在于每个单元格都可以显示公式非常适合用来学习神经网络的底层计算过程。
用 Excel 手算一个 1-6-1 MLP:前向传播、损失、反向传播与参数更新
计算示例本文用一个单输入、6 个隐藏神经元、单输出的多层感知机MLP作为例子展示如何用 Excel 公式完整复现一次训练迭代。配套 Excel 文件中的“MLP计算过程”工作表已经把前向传播、损失计算、反向传播梯度和参数更新全部写成可联动公式。1. 模型结构与初始参数本例的网络结构为1-6-1输入层 1 个神经元隐藏层 6 个神经元输出层 1 个神经元。输入值为x5目标值为y208学习率为η0.01。激活函数使用 Leaky ReLUf(t)IF(t0,t,0.05t)j隐藏层权重 W_j隐藏层偏置 b_j输出层权重 v_j1101010220102033010104201010510103062010202. 前向传播隐藏层第 j 个神经元先计算加权和z_j x·W_j b_j然后经过激活函数得到隐藏层输出h_j f(z_j)本例中隐藏层输出为h [60, 110, 160, 110, 60, 110]输出层加权和为s Σ(v_j·h_j) c 9520由于s0最终输出为ŷf(s)9520。3. 损失函数单样本平方误差为L(ŷ-y)^2(9520-208)^286,713,3444. 反向传播先计算输出层梯度∂L/∂s 2(ŷ-y)·f(s) 18,624然后逐层向前传递梯度。例如∂L/∂v_j ∂L/∂s · h_j∂L/∂c ∂L/∂s∂L/∂h_j ∂L/∂s · v_j∂L/∂z_j ∂L/∂h_j · f(z_j)∂L/∂W_j ∂L/∂z_j · x∂L/∂b_j ∂L/∂z_j5. 参数更新所有参数都使用梯度下降更新θ_new θ - η · ∂L/∂θ例如第 1 个隐藏层权重的更新为W_1_new 10 - 0.01 × 931200 -9302输出层偏置的更新为c_new 20 - 0.01 × 18624 -166.246. Excel 中的核心公式步骤Excel 公式作用隐藏层加权和B18*C18D18计算 z_j激活函数IF(E180,E18,$B$7*E18)计算 h_j输出层加权和SUMPRODUCT(H18:H23,F18:F23)B8计算 s损失函数(B10-B6)^2计算平方误差参数更新C18-$B$4*K18更新隐藏层权重提示本例主要用于展示 MLP 的计算链路。学习率较大时一次更新可能让参数变化非常明显实际训练中通常需要调整学习率、归一化数据并进行多轮迭代。7. 总结通过这个 Excel 示例可以清楚看到 MLP 的四个关键步骤前向传播得到预测值损失函数衡量预测误差反向传播计算每个参数的梯度最后用梯度下降更新参数。Excel 的优势在于每个单元格都可以显示公式非常适合用来学习神经网络的底层计算过程。