神经网络与卷积神经网络（CNN）

1️⃣ 神经网络概念神经网络 一系列“黑盒计算模块”堆起来的函数输入 → 中间层 → 输出每一层学习规律特征类比做菜食材 输入数据每道加工步骤 每层计算成品 输出结果2️⃣ 卷积Convolution / Conv专门处理图像的操作类比滤镜滑过图片计算加权和 → 输出特征图feature map输出通道数 卷积核数量卷积核作用提取边缘、纹理、颜色变化每个输出通道对应一个卷积核提取的特征3️⃣ 激活函数Activation Function作用非线性映射让网络可以表示复杂关系常见激活函数ReLU负值变 0正值保留Sigmoid输出 0~1Tanh输出 -1~1卷积 激活卷积提取特征激活非线性处理 → 输出特征图activation作为下一层输入4️⃣ 特征图流动每层卷积 激活 → 输出特征图特征图一层层往下 → 层与层串行依赖每层内部计算可以并行GPU/NPU 加速5️⃣ 卷积核与通道数每层卷积核数量 输出通道数每个卷积核都接收上一层所有通道 → 加权求和 → 输出一个通道上层通道数不一定等于下层通道数浅层 → 通道少深层 → 通道多特殊阶段 → 可以压缩bottleneck6️⃣ 神经网络训练1. 前向传播Forward Pass输入 → 每层卷积 激活 → 输出预测权重不变只计算输出2. 计算损失Loss预测 vs 标签 → 误差分类、检测等有不同损失函数3. 反向传播Backward Pass计算每个卷积核对损失的梯度更新权重weight_new weight_old - learning_rate * gradient激活函数影响梯度大小4. 训练 vs 推理阶段权重变化张量类型训练权重更新float32推理权重固定float327️⃣ 网络设计选择影响因素任务复杂度数据量和输入尺寸硬件能力与实时性实验验证常用经验浅层少通道 → 提取低级特征深层多通道 → 提取高级特征车端 / 嵌入式 → 层少通道少 → 快速推理8️⃣ 开源项目参考例如 YOLO 系列YOLOv3固定 backbone head → 53 层卷积 残差YOLOv3-tiny / YOLOv8n → 轻量化网络适合车端优势网络结构经过大量实验验证可直接拿来训练或部署 这篇笔记总结了神经网络基础、卷积、激活、通道、训练