隐藏层是深度学习、神经网络和人工智能中非常基础的一个术语。它用来描述神经网络中位于输入层和输出层之间的计算层。换句话说隐藏层是在回答模型怎样把原始输入一步步加工成更有用的中间表示再交给输出层完成预测。如果说输入层负责接收数据输出层负责给出结果那么隐藏层就是神经网络真正进行特征变换和表示学习的主要部分。它通过权重、偏置和激活函数把上一层的信息转换成新的表示。因此隐藏层常用于多层感知器、卷积神经网络、循环神经网络、Transformer、表示学习和深度学习模型训练是理解神经网络表达能力的重要基础。一、基本概念什么是隐藏层隐藏层Hidden Layer是神经网络中位于输入层和输出层之间的层。一个简单神经网络可以表示为输入层 → 隐藏层 → 输出层如果有多个隐藏层则可以表示为输入层 → 隐藏层 1 → 隐藏层 2 → … → 输出层隐藏层之所以叫“隐藏”不是因为它真的无法查看而是因为它既不是原始输入也不是最终输出而是模型内部产生的中间表示。设输入为一个隐藏层通常可以写为其中• x 表示输入向量• W 表示权重矩阵• b 表示偏置向量• f 表示激活函数• h 表示隐藏层输出也叫隐藏表示从通俗角度看隐藏层可以理解为模型内部的加工层它把原始输入转换成更适合完成任务的中间特征。图 1隐藏层在神经网络中的位置与作用例如在图像识别中输入层接收像素值输出层给出类别而隐藏层可能逐步提取边缘、纹理、局部形状和物体部件。因此隐藏层是神经网络从“原始数据”走向“任务结果”的中间桥梁。二、为什么需要隐藏层隐藏层之所以重要是因为原始输入通常不能直接支持复杂判断。例如一张图片输入给模型时本质上是一组像素值。单个像素很难直接说明图片中是否有猫、狗或汽车。模型需要把这些像素逐步组合成更有意义的视觉特征像素 → 边缘 → 纹理 → 局部形状 → 物体部件 → 类别同样在文本处理中原始 token 本身也需要被加工成上下文相关的语义表示token → 词义表示 → 短语关系 → 句子语义 → 任务输出隐藏层的作用正是完成这种中间变换。如果没有隐藏层模型往往退化为简单线性模型。例如这类模型只能直接从输入到输出建立较简单的关系。加入隐藏层后模型可以变成其中h 是模型学到的中间表示。从通俗角度看隐藏层让模型不必直接从原始输入跳到最终答案而是可以先学会一系列中间特征。这正是神经网络能够处理复杂非线性问题的重要原因。三、隐藏层的核心计算过程隐藏层的基本计算通常包括两步线性变换 → 非线性激活1、线性变换隐藏层首先对上一层输入进行加权组合其中• W 表示权重矩阵• x 表示上一层输入• b 表示偏置向量• z 表示线性输入如果展开看第 j 个隐藏神经元可以写为其中• zⱼ 表示第 j 个隐藏神经元的线性输入• wⱼᵢ 表示第 i 个输入到第 j 个神经元的权重• bⱼ 表示第 j 个神经元的偏置从通俗角度看线性变换负责把上一层的信息按不同权重重新组合。2、非线性激活线性变换之后隐藏层通常会使用激活函数常见激活函数包括• ReLU• Tanh• Sigmoid• GELU例如ReLU 定义为如果没有激活函数多层线性变换叠加后仍然等价于一个线性变换因此激活函数的作用是让隐藏层具有非线性表达能力。从通俗角度看• 权重和偏置负责“重新组合信息”• 激活函数负责“引入非线性判断”二者共同构成隐藏层的基本计算。四、隐藏层如何学习特征表示隐藏层最重要的作用之一是学习表示。表示学习Representation Learning是指模型自动把原始数据转换成更有用的内部表示。一个神经网络中的多层隐藏层可以写为其中• h₁ 表示第一层隐藏表示• h₂ 表示第二层隐藏表示• h₃ 表示第三层隐藏表示每一层都在上一层表示基础上继续变换。从通俗角度看隐藏层会把原始输入逐步翻译成模型更容易理解的数学表示。图 2隐藏层如何逐层学习特征表示以图像识别为例• 第一层隐藏层可能学习边缘、角点、颜色变化• 中间隐藏层可能学习纹理、局部结构• 更深隐藏层可能学习眼睛、车轮、动物脸部等高级特征以文本模型为例• 较低层可能学习词形、词义、局部搭配• 中间层可能学习句法关系和上下文依赖• 较高层可能学习任务相关语义表示因此隐藏层不是简单的中间计算而是神经网络自动构建特征体系的地方。五、隐藏层数量与神经网络深度隐藏层的数量决定了神经网络的深度。如果网络只有一个隐藏层通常称为浅层神经网络或简单多层感知器。如果网络有多个隐藏层就形成更深的神经网络输入层 → 隐藏层 1 → 隐藏层 2 → 隐藏层 3 → 输出层深度学习中的“深”主要就是指模型包含多层隐藏层或多级特征变换。从通俗角度看隐藏层越多模型可以进行越多级的信息加工。例如• 低层简单特征• 中层组合特征• 高层语义特征不过隐藏层并不是越多越好。隐藏层增加会带来• 更强表达能力• 更多参数• 更高计算成本• 更大过拟合风险• 更复杂的训练问题例如深层网络可能遇到梯度消失、梯度爆炸或训练不稳定等问题。因此选择隐藏层数量时需要结合• 数据规模• 任务复杂度• 模型类型• 计算资源• 验证集表现从实践角度看隐藏层数量是一个重要结构超参数需要通过实验和验证集评估来确定。六、隐藏层宽度与神经元数量除了隐藏层数量每个隐藏层中神经元的数量也很重要。隐藏层神经元数量通常称为隐藏层宽度。例如输入层 → 64 个神经元 → 32 个神经元 → 输出层可以表示为hidden_layer_sizes(64, 32)其中• 第一隐藏层有 64 个神经元• 第二隐藏层有 32 个神经元隐藏层宽度影响模型容量。如果神经元太少模型可能表达能力不足容易欠拟合。如果神经元太多模型参数量增加可能更容易过拟合也会增加计算成本。从通俗角度看• 隐藏层数量决定模型加工多少轮• 隐藏层宽度决定每一轮能提取多少种特征例如在图像任务中一个隐藏层神经元可能关注某种局部模式更多神经元意味着模型可以同时关注更多模式。不过宽度增加并不总是带来更好效果。如果数据量不足或正则化不足较宽网络可能只是在记忆训练集。因此隐藏层宽度同样需要结合验证集表现、任务复杂度和计算资源进行选择。七、隐藏层在不同网络中的形式隐藏层并不只存在于普通多层感知器中。不同类型的神经网络中隐藏层有不同表现形式。1、多层感知器中的隐藏层在多层感知器中隐藏层通常是全连接层加激活函数它主要用于对向量特征进行非线性变换。常用于• 表格数据分类• 表格数据回归• 简单向量建模• 基础神经网络教学2、卷积神经网络中的隐藏层在卷积神经网络中隐藏层常由卷积层、激活函数、池化层等组成卷积层 → ReLU → 池化层它主要用于提取图像局部特征。例如像素 → 边缘 → 纹理 → 局部形状 → 物体部件3、循环神经网络中的隐藏状态在循环神经网络中隐藏层常与隐藏状态Hidden State相关。隐藏状态会在时间步之间传递用于保存序列中的历史信息当前输入 上一步隐藏状态 → 当前隐藏状态它适合处理时间序列、文本序列和语音序列。4、Transformer 中的隐藏表示在 Transformer 中每一层都会产生 token 的隐藏表示。这些隐藏表示经过注意力机制和前馈网络不断更新token 表示 → 注意力层 → 前馈网络 → 新的隐藏表示大语言模型中的每个 token 在每一层都有自己的隐藏表示。从通俗角度看不同神经网络中的隐藏层形式不同但共同作用都是学习输入的中间表示。八、隐藏层的优势、局限与使用注意事项1、隐藏层的主要优势隐藏层最大的优势是增强模型表达能力。它让神经网络不再只是从输入到输出的一次线性映射而可以通过多层变换学习复杂非线性关系。其次隐藏层支持表示学习。模型可以自动学习中间特征减少对人工特征工程的依赖。再次多层隐藏层可以形成层次化特征。低层学习简单模式高层学习复杂语义。从通俗角度看隐藏层的优势在于它让模型能够把复杂问题拆成多级加工过程。2、隐藏层的主要局限隐藏层也有局限。首先隐藏层越多、越宽参数通常越多计算成本越高。其次模型可能更难解释。隐藏层中每个神经元或每个维度的含义不一定能直接用人类语言说明。再次隐藏层过多或过宽可能导致过拟合。模型可能记住训练数据细节而不是学到一般规律。此外深层网络训练可能遇到梯度消失、梯度爆炸等问题需要合适的初始化、归一化、残差连接和优化器。3、使用隐藏层时需要注意的问题使用隐藏层时需要注意• 隐藏层不是越多越好• 神经元数量不是越多越好• 隐藏层后通常需要激活函数• 输入特征常需要标准化• 复杂模型需要关注过拟合• 深层模型训练要关注梯度传播• 模型效果应以验证集和测试集表现为准从实践角度看隐藏层是神经网络能力的来源之一但它必须和数据规模、任务复杂度、训练方法相匹配。九、Python 示例下面给出几个简单示例用来帮助理解隐藏层的基本使用。示例 1使用 Scikit-learn 指定隐藏层结构from sklearn.datasets import load_wine # 加载葡萄酒数据集from sklearn.model_selection import train_test_split # 数据集划分from sklearn.preprocessing import StandardScaler # 标准化from sklearn.neural_network import MLPClassifier # 多层感知机分类器from sklearn.metrics import classification_report # 分类报告 # 加载葡萄酒数据集178样本13特征3类别wine load_wine()X wine.data # 特征y wine.target # 标签 # 划分训练集和测试集测试集30%分层采样X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy # 保持类别比例) # 标准化使特征均值为0方差为1scaler StandardScaler()X_train_scaled scaler.fit_transform(X_train) # 拟合并转换训练集X_test_scaled scaler.transform(X_test) # 仅转换测试集 # 多层感知机两个隐藏层分别有16和8个神经元ReLU激活model MLPClassifier( hidden_layer_sizes(16, 8), activationrelu, max_iter2000, random_state42) # 训练模型model.fit(X_train_scaled, y_train) # 预测测试集y_pred model.predict(X_test_scaled) print(测试集准确率, model.score(X_test_scaled, y_test))print(分类报告)print(classification_report(y_test, y_pred, target_nameswine.target_names))这个例子中• hidden_layer_sizes(16, 8) 表示两个隐藏层• 第一隐藏层有 16 个神经元• 第二隐藏层有 8 个神经元• activationrelu 表示隐藏层使用 ReLU 激活函数示例 2使用 PyTorch 定义包含隐藏层的网络import torch # PyTorch框架import torch.nn as nn # 神经网络模块 # 定义简单前馈网络4维输入 → 16 → ReLU → 8 → ReLU → 3维输出class SimpleNet(nn.Module): def __init__(self): super().__init__() # 使用Sequential搭建网络 self.network nn.Sequential( nn.Linear(4, 16), # 全连接层输入4输出16 nn.ReLU(), # ReLU激活 nn.Linear(16, 8), # 全连接层16→8 nn.ReLU(), nn.Linear(8, 3) # 输出层8→3logits ) def forward(self, x): return self.network(x) # 前向传播 # 实例化模型model SimpleNet() # 一批随机输入5个样本每个样本4个特征x torch.randn(5, 4) # 前向传播得到logitslogits model(x) print(输出 logits 形状, logits.shape) # torch.Size([5, 3])print(logits)这个网络结构为4 维输入 → 16 维隐藏层 → 8 维隐藏层 → 3 类输出其中• nn.Linear(4, 16) 是第一隐藏层的线性变换• nn.ReLU() 是隐藏层激活函数• nn.Linear(16, 8) 是第二隐藏层的线性变换• 最后一层输出 logits示例 3提取隐藏层输出有时我们希望查看某一隐藏层学到的中间表示。import torch # PyTorch框架import torch.nn as nn # 神经网络模块 # 定义特征提取网络返回logits以及中间层特征class FeatureNet(nn.Module): def __init__(self): super().__init__() # 三个全连接层 self.hidden1 nn.Linear(4, 16) # 输入4 → 16 self.hidden2 nn.Linear(16, 8) # 16 → 8 self.output nn.Linear(8, 3) # 8 → 3输出logits self.activation nn.ReLU() # ReLU激活函数 def forward(self, x): h1 self.activation(self.hidden1(x)) # 第一隐层输出 h2 self.activation(self.hidden2(h1)) # 第二隐层输出 logits self.output(h2) # 最终输出logits return logits, h1, h2 # 返回logits和中间特征 # 实例化模型model FeatureNet() # 一批输入5个样本每个4个特征x torch.randn(5, 4) # 前向传播得到输出和中间层特征logits, h1, h2 model(x) print(第一隐藏层输出形状, h1.shape) # torch.Size([5, 16])print(第二隐藏层输出形状, h2.shape) # torch.Size([5, 8])print(logits 形状, logits.shape) # torch.Size([5, 3])这个例子中• h1 是第一隐藏层表示• h2 是第二隐藏层表示• logits 是输出层结果从表示学习角度看h1 和 h2 都是模型对输入数据学习到的中间表示。示例 4比较不同隐藏层规模from sklearn.datasets import load_wine # 加载葡萄酒数据集from sklearn.model_selection import train_test_split # 划分训练/测试集from sklearn.preprocessing import StandardScaler # 标准化from sklearn.neural_network import MLPClassifier # 多层感知机 wine load_wine()X wine.data # 特征y wine.target # 标签 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy # 分层采样) scaler StandardScaler()X_train_scaled scaler.fit_transform(X_train) # 拟合并转换训练集X_test_scaled scaler.transform(X_test) # 转换测试集 # 三种不同的隐藏层结构配置configs [ (8,), # 单隐藏层8个神经元 (16, 8), # 双隐藏层16→8 (64, 32) # 双隐藏层64→32] for config in configs: model MLPClassifier( hidden_layer_sizesconfig, activationrelu, max_iter2000, random_state42 ) model.fit(X_train_scaled, y_train) score model.score(X_test_scaled, y_test) print(f隐藏层结构 {config}测试集准确率{score:.4f})这个例子展示• 不同隐藏层规模会影响模型表现• 更大的隐藏层不一定总是更好• 最终应以验证集或测试集表现判断结构是否合适 小结隐藏层是神经网络中位于输入层和输出层之间的计算层。它通过权重、偏置和激活函数把输入逐步转换成更有用的中间表示。隐藏层是神经网络表达能力和表示学习能力的重要来源低层可以学习简单特征高层可以学习复杂语义。对初学者而言可以把隐藏层理解为模型内部负责加工和重组信息的层它让神经网络能够从原始数据逐步走向最终判断。“点赞有美意赞赏是鼓励”
AI 术语通俗词典：隐藏层
隐藏层是深度学习、神经网络和人工智能中非常基础的一个术语。它用来描述神经网络中位于输入层和输出层之间的计算层。换句话说隐藏层是在回答模型怎样把原始输入一步步加工成更有用的中间表示再交给输出层完成预测。如果说输入层负责接收数据输出层负责给出结果那么隐藏层就是神经网络真正进行特征变换和表示学习的主要部分。它通过权重、偏置和激活函数把上一层的信息转换成新的表示。因此隐藏层常用于多层感知器、卷积神经网络、循环神经网络、Transformer、表示学习和深度学习模型训练是理解神经网络表达能力的重要基础。一、基本概念什么是隐藏层隐藏层Hidden Layer是神经网络中位于输入层和输出层之间的层。一个简单神经网络可以表示为输入层 → 隐藏层 → 输出层如果有多个隐藏层则可以表示为输入层 → 隐藏层 1 → 隐藏层 2 → … → 输出层隐藏层之所以叫“隐藏”不是因为它真的无法查看而是因为它既不是原始输入也不是最终输出而是模型内部产生的中间表示。设输入为一个隐藏层通常可以写为其中• x 表示输入向量• W 表示权重矩阵• b 表示偏置向量• f 表示激活函数• h 表示隐藏层输出也叫隐藏表示从通俗角度看隐藏层可以理解为模型内部的加工层它把原始输入转换成更适合完成任务的中间特征。图 1隐藏层在神经网络中的位置与作用例如在图像识别中输入层接收像素值输出层给出类别而隐藏层可能逐步提取边缘、纹理、局部形状和物体部件。因此隐藏层是神经网络从“原始数据”走向“任务结果”的中间桥梁。二、为什么需要隐藏层隐藏层之所以重要是因为原始输入通常不能直接支持复杂判断。例如一张图片输入给模型时本质上是一组像素值。单个像素很难直接说明图片中是否有猫、狗或汽车。模型需要把这些像素逐步组合成更有意义的视觉特征像素 → 边缘 → 纹理 → 局部形状 → 物体部件 → 类别同样在文本处理中原始 token 本身也需要被加工成上下文相关的语义表示token → 词义表示 → 短语关系 → 句子语义 → 任务输出隐藏层的作用正是完成这种中间变换。如果没有隐藏层模型往往退化为简单线性模型。例如这类模型只能直接从输入到输出建立较简单的关系。加入隐藏层后模型可以变成其中h 是模型学到的中间表示。从通俗角度看隐藏层让模型不必直接从原始输入跳到最终答案而是可以先学会一系列中间特征。这正是神经网络能够处理复杂非线性问题的重要原因。三、隐藏层的核心计算过程隐藏层的基本计算通常包括两步线性变换 → 非线性激活1、线性变换隐藏层首先对上一层输入进行加权组合其中• W 表示权重矩阵• x 表示上一层输入• b 表示偏置向量• z 表示线性输入如果展开看第 j 个隐藏神经元可以写为其中• zⱼ 表示第 j 个隐藏神经元的线性输入• wⱼᵢ 表示第 i 个输入到第 j 个神经元的权重• bⱼ 表示第 j 个神经元的偏置从通俗角度看线性变换负责把上一层的信息按不同权重重新组合。2、非线性激活线性变换之后隐藏层通常会使用激活函数常见激活函数包括• ReLU• Tanh• Sigmoid• GELU例如ReLU 定义为如果没有激活函数多层线性变换叠加后仍然等价于一个线性变换因此激活函数的作用是让隐藏层具有非线性表达能力。从通俗角度看• 权重和偏置负责“重新组合信息”• 激活函数负责“引入非线性判断”二者共同构成隐藏层的基本计算。四、隐藏层如何学习特征表示隐藏层最重要的作用之一是学习表示。表示学习Representation Learning是指模型自动把原始数据转换成更有用的内部表示。一个神经网络中的多层隐藏层可以写为其中• h₁ 表示第一层隐藏表示• h₂ 表示第二层隐藏表示• h₃ 表示第三层隐藏表示每一层都在上一层表示基础上继续变换。从通俗角度看隐藏层会把原始输入逐步翻译成模型更容易理解的数学表示。图 2隐藏层如何逐层学习特征表示以图像识别为例• 第一层隐藏层可能学习边缘、角点、颜色变化• 中间隐藏层可能学习纹理、局部结构• 更深隐藏层可能学习眼睛、车轮、动物脸部等高级特征以文本模型为例• 较低层可能学习词形、词义、局部搭配• 中间层可能学习句法关系和上下文依赖• 较高层可能学习任务相关语义表示因此隐藏层不是简单的中间计算而是神经网络自动构建特征体系的地方。五、隐藏层数量与神经网络深度隐藏层的数量决定了神经网络的深度。如果网络只有一个隐藏层通常称为浅层神经网络或简单多层感知器。如果网络有多个隐藏层就形成更深的神经网络输入层 → 隐藏层 1 → 隐藏层 2 → 隐藏层 3 → 输出层深度学习中的“深”主要就是指模型包含多层隐藏层或多级特征变换。从通俗角度看隐藏层越多模型可以进行越多级的信息加工。例如• 低层简单特征• 中层组合特征• 高层语义特征不过隐藏层并不是越多越好。隐藏层增加会带来• 更强表达能力• 更多参数• 更高计算成本• 更大过拟合风险• 更复杂的训练问题例如深层网络可能遇到梯度消失、梯度爆炸或训练不稳定等问题。因此选择隐藏层数量时需要结合• 数据规模• 任务复杂度• 模型类型• 计算资源• 验证集表现从实践角度看隐藏层数量是一个重要结构超参数需要通过实验和验证集评估来确定。六、隐藏层宽度与神经元数量除了隐藏层数量每个隐藏层中神经元的数量也很重要。隐藏层神经元数量通常称为隐藏层宽度。例如输入层 → 64 个神经元 → 32 个神经元 → 输出层可以表示为hidden_layer_sizes(64, 32)其中• 第一隐藏层有 64 个神经元• 第二隐藏层有 32 个神经元隐藏层宽度影响模型容量。如果神经元太少模型可能表达能力不足容易欠拟合。如果神经元太多模型参数量增加可能更容易过拟合也会增加计算成本。从通俗角度看• 隐藏层数量决定模型加工多少轮• 隐藏层宽度决定每一轮能提取多少种特征例如在图像任务中一个隐藏层神经元可能关注某种局部模式更多神经元意味着模型可以同时关注更多模式。不过宽度增加并不总是带来更好效果。如果数据量不足或正则化不足较宽网络可能只是在记忆训练集。因此隐藏层宽度同样需要结合验证集表现、任务复杂度和计算资源进行选择。七、隐藏层在不同网络中的形式隐藏层并不只存在于普通多层感知器中。不同类型的神经网络中隐藏层有不同表现形式。1、多层感知器中的隐藏层在多层感知器中隐藏层通常是全连接层加激活函数它主要用于对向量特征进行非线性变换。常用于• 表格数据分类• 表格数据回归• 简单向量建模• 基础神经网络教学2、卷积神经网络中的隐藏层在卷积神经网络中隐藏层常由卷积层、激活函数、池化层等组成卷积层 → ReLU → 池化层它主要用于提取图像局部特征。例如像素 → 边缘 → 纹理 → 局部形状 → 物体部件3、循环神经网络中的隐藏状态在循环神经网络中隐藏层常与隐藏状态Hidden State相关。隐藏状态会在时间步之间传递用于保存序列中的历史信息当前输入 上一步隐藏状态 → 当前隐藏状态它适合处理时间序列、文本序列和语音序列。4、Transformer 中的隐藏表示在 Transformer 中每一层都会产生 token 的隐藏表示。这些隐藏表示经过注意力机制和前馈网络不断更新token 表示 → 注意力层 → 前馈网络 → 新的隐藏表示大语言模型中的每个 token 在每一层都有自己的隐藏表示。从通俗角度看不同神经网络中的隐藏层形式不同但共同作用都是学习输入的中间表示。八、隐藏层的优势、局限与使用注意事项1、隐藏层的主要优势隐藏层最大的优势是增强模型表达能力。它让神经网络不再只是从输入到输出的一次线性映射而可以通过多层变换学习复杂非线性关系。其次隐藏层支持表示学习。模型可以自动学习中间特征减少对人工特征工程的依赖。再次多层隐藏层可以形成层次化特征。低层学习简单模式高层学习复杂语义。从通俗角度看隐藏层的优势在于它让模型能够把复杂问题拆成多级加工过程。2、隐藏层的主要局限隐藏层也有局限。首先隐藏层越多、越宽参数通常越多计算成本越高。其次模型可能更难解释。隐藏层中每个神经元或每个维度的含义不一定能直接用人类语言说明。再次隐藏层过多或过宽可能导致过拟合。模型可能记住训练数据细节而不是学到一般规律。此外深层网络训练可能遇到梯度消失、梯度爆炸等问题需要合适的初始化、归一化、残差连接和优化器。3、使用隐藏层时需要注意的问题使用隐藏层时需要注意• 隐藏层不是越多越好• 神经元数量不是越多越好• 隐藏层后通常需要激活函数• 输入特征常需要标准化• 复杂模型需要关注过拟合• 深层模型训练要关注梯度传播• 模型效果应以验证集和测试集表现为准从实践角度看隐藏层是神经网络能力的来源之一但它必须和数据规模、任务复杂度、训练方法相匹配。九、Python 示例下面给出几个简单示例用来帮助理解隐藏层的基本使用。示例 1使用 Scikit-learn 指定隐藏层结构from sklearn.datasets import load_wine # 加载葡萄酒数据集from sklearn.model_selection import train_test_split # 数据集划分from sklearn.preprocessing import StandardScaler # 标准化from sklearn.neural_network import MLPClassifier # 多层感知机分类器from sklearn.metrics import classification_report # 分类报告 # 加载葡萄酒数据集178样本13特征3类别wine load_wine()X wine.data # 特征y wine.target # 标签 # 划分训练集和测试集测试集30%分层采样X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy # 保持类别比例) # 标准化使特征均值为0方差为1scaler StandardScaler()X_train_scaled scaler.fit_transform(X_train) # 拟合并转换训练集X_test_scaled scaler.transform(X_test) # 仅转换测试集 # 多层感知机两个隐藏层分别有16和8个神经元ReLU激活model MLPClassifier( hidden_layer_sizes(16, 8), activationrelu, max_iter2000, random_state42) # 训练模型model.fit(X_train_scaled, y_train) # 预测测试集y_pred model.predict(X_test_scaled) print(测试集准确率, model.score(X_test_scaled, y_test))print(分类报告)print(classification_report(y_test, y_pred, target_nameswine.target_names))这个例子中• hidden_layer_sizes(16, 8) 表示两个隐藏层• 第一隐藏层有 16 个神经元• 第二隐藏层有 8 个神经元• activationrelu 表示隐藏层使用 ReLU 激活函数示例 2使用 PyTorch 定义包含隐藏层的网络import torch # PyTorch框架import torch.nn as nn # 神经网络模块 # 定义简单前馈网络4维输入 → 16 → ReLU → 8 → ReLU → 3维输出class SimpleNet(nn.Module): def __init__(self): super().__init__() # 使用Sequential搭建网络 self.network nn.Sequential( nn.Linear(4, 16), # 全连接层输入4输出16 nn.ReLU(), # ReLU激活 nn.Linear(16, 8), # 全连接层16→8 nn.ReLU(), nn.Linear(8, 3) # 输出层8→3logits ) def forward(self, x): return self.network(x) # 前向传播 # 实例化模型model SimpleNet() # 一批随机输入5个样本每个样本4个特征x torch.randn(5, 4) # 前向传播得到logitslogits model(x) print(输出 logits 形状, logits.shape) # torch.Size([5, 3])print(logits)这个网络结构为4 维输入 → 16 维隐藏层 → 8 维隐藏层 → 3 类输出其中• nn.Linear(4, 16) 是第一隐藏层的线性变换• nn.ReLU() 是隐藏层激活函数• nn.Linear(16, 8) 是第二隐藏层的线性变换• 最后一层输出 logits示例 3提取隐藏层输出有时我们希望查看某一隐藏层学到的中间表示。import torch # PyTorch框架import torch.nn as nn # 神经网络模块 # 定义特征提取网络返回logits以及中间层特征class FeatureNet(nn.Module): def __init__(self): super().__init__() # 三个全连接层 self.hidden1 nn.Linear(4, 16) # 输入4 → 16 self.hidden2 nn.Linear(16, 8) # 16 → 8 self.output nn.Linear(8, 3) # 8 → 3输出logits self.activation nn.ReLU() # ReLU激活函数 def forward(self, x): h1 self.activation(self.hidden1(x)) # 第一隐层输出 h2 self.activation(self.hidden2(h1)) # 第二隐层输出 logits self.output(h2) # 最终输出logits return logits, h1, h2 # 返回logits和中间特征 # 实例化模型model FeatureNet() # 一批输入5个样本每个4个特征x torch.randn(5, 4) # 前向传播得到输出和中间层特征logits, h1, h2 model(x) print(第一隐藏层输出形状, h1.shape) # torch.Size([5, 16])print(第二隐藏层输出形状, h2.shape) # torch.Size([5, 8])print(logits 形状, logits.shape) # torch.Size([5, 3])这个例子中• h1 是第一隐藏层表示• h2 是第二隐藏层表示• logits 是输出层结果从表示学习角度看h1 和 h2 都是模型对输入数据学习到的中间表示。示例 4比较不同隐藏层规模from sklearn.datasets import load_wine # 加载葡萄酒数据集from sklearn.model_selection import train_test_split # 划分训练/测试集from sklearn.preprocessing import StandardScaler # 标准化from sklearn.neural_network import MLPClassifier # 多层感知机 wine load_wine()X wine.data # 特征y wine.target # 标签 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy # 分层采样) scaler StandardScaler()X_train_scaled scaler.fit_transform(X_train) # 拟合并转换训练集X_test_scaled scaler.transform(X_test) # 转换测试集 # 三种不同的隐藏层结构配置configs [ (8,), # 单隐藏层8个神经元 (16, 8), # 双隐藏层16→8 (64, 32) # 双隐藏层64→32] for config in configs: model MLPClassifier( hidden_layer_sizesconfig, activationrelu, max_iter2000, random_state42 ) model.fit(X_train_scaled, y_train) score model.score(X_test_scaled, y_test) print(f隐藏层结构 {config}测试集准确率{score:.4f})这个例子展示• 不同隐藏层规模会影响模型表现• 更大的隐藏层不一定总是更好• 最终应以验证集或测试集表现判断结构是否合适 小结隐藏层是神经网络中位于输入层和输出层之间的计算层。它通过权重、偏置和激活函数把输入逐步转换成更有用的中间表示。隐藏层是神经网络表达能力和表示学习能力的重要来源低层可以学习简单特征高层可以学习复杂语义。对初学者而言可以把隐藏层理解为模型内部负责加工和重组信息的层它让神经网络能够从原始数据逐步走向最终判断。“点赞有美意赞赏是鼓励”
