CNN卷积神经网络学习笔记

1.卷积类比滤波器用一个小的模板卷积核/滤波器在输入信号图像上滑动对局部区域进行加权求和从而改变或提取信号的某些特征。1.2卷积核,权重3*3里面具体的9个数可学习卷积核3*3等步长核每次滑动的格数填充补零1.3感受野视觉感受区域的大小CNN中某一层输出结果的一个元素对应输入层的一个映射。一幅图中的重要特征。卷积核是“可移动的观察窗口”。感受野是“这个窗口在原始图上映射的实际范围”。卷积可以实验感受野滤波功能提取特征。1.4空洞卷积在卷积核中插入空洞扩大感受野不增加计算量。可控制插入空洞的数量。适用于需要大范围上下文信息但不能损失分辨率的场景比如语义分割、语音合成。主要为了扩大感受野提升精度计算量变化不大。1.5深度可分离卷积将标准卷积分解为逐点卷积和深度卷积减少计算量先对每个通道分别进行卷积操作然后通过逐点卷积将不同通道的结果融合在一起。可以减少计算量对结果损失较小应用于轻量化网络如果要将模型跑到资源有限的设备上需要考虑轻量化。深度可分离卷积是分组卷积的一种特殊组合形式。1.6分组卷积按通道分组并行计算显著减少参数适用于大规模数据处理。空洞卷积深度可分离卷积分组卷积可以出现在下采样之前作为特征提取器也可以通过调整步长1来充当下采样空洞卷积一般用来代替下采样。1.7反卷积上采样3*3——7*7将低维特征图映射到高维空间常用于图像重建上采样。对低分辨率输入特征图像素之间插入0或进行特定的填充。卷积核可训练1.8PixelShuffle亚像素卷积上采样广泛应用在如图像分割等计算机视觉问题上相比反卷积它克服了反卷积容易产生的棋盘格的问题。1.9计算特征图大小输入尺寸2*填充-卷积核尺寸/步长11.10多通道卷积x方向卷积核第一行元素为1其他为01.11池化下采样4*4——2*2平均池化最大池化2.Lenet 5卷积神经网络CNN卷积神经网络的开山鼻祖之一卷积神经网络Convolutional Neural Network, CNN是一类专门用于处理网格状数据如图像、视频、时间序列的深度学习模型。它的设计灵感来自动物视觉皮层通过模拟局部感受野、权值共享等机制极大地减少了参数数量并能自动学习层次化的空间特征。核心构件卷积层激活函数池化层全连接层。输入—2个 卷积层6个卷积核6个通道提取特征—两个池化—两个全连接—输出32*32——卷积非线性RELU6个卷积核5*5——6*28*28——池化压缩数据2*2——6*14*14——卷积5*516个卷积核——16*10*10——池化——16*5*5——两个全连接卷积核后28*28*632-51共享卷积核权重共5*51*6个参数需要优化1是偏置连接有5*51*6*28*28个前馈有多少个连接就有多少个参数池化后参数有2*62一个权重一个偏置个连接2*21*6*14*14个第二个卷积14-511016个卷积核和6个通道有对应关系有关参数计算16个卷积核分别对前6个通道中的几个通道叠加后进行卷积全连接层16*5*5200第一层将前面提取的局部特征进行全局整合并映射到样本标记空间。梯度下降法优化权重与偏置。迭代慢——控制学习速率·或·其他