深度学习学习笔记

Day06机器学习、深度学习——都是实现AI一种途径方式机器学习只要数学好公式都能推导出来深度学习解释性稍微差例如分层-6层就是比5层好不知道为什么但是实验结果是如此什么是神经网络人工神经网络Artificial Neural Network简写为ANN也称为神经网络NN是一种模仿生物神经网络结构和功能的计算模型。人脑可以看作是一个生物神经网络由众多的神经元连接而成。各个神经元传递复杂的电信号树突接收到输入信号然后对信号进行处理通过轴突输出信号当电信号通过树突进入到细胞核时会逐渐聚集电荷。达到一定的电位后细胞就会被激活通过轴突发出电信号如何构建神经网络神经网络是由多个神经元组成构建神经网络就是再构建神经元神经元构建说明加权求和——通过sigmoid映射前面的加权求和这个过程就像来源不同的树突树突都会由不同的权重的信息进行的加权计算输入到细胞中做加和再通过激活函数输出细胞值使用多个神经元来构建神经网络相邻层之间的神经元相互连接并给每一个连接分配一个强度权重文字介绍神经网络中信息只向一个方向移动即从输入节点向前移动通过隐藏节点再向输出节点移动。其中的基本部分是1、输入层Input Layer即输入x的那一层如图像、文本、声音等。每个输入特征对应一个神经元。输入层将数据传递给下一层的神经元2、输出层Output Layer即输出y的那一层。输出层的神经网络的任务回归分类等生成的最终的预测结果3、隐藏层Hidden Layers输入层和输出层之间都是隐藏层在神经网络中隐藏层是介于输入层与输出层之间的所有网络层负责对输入特征进行逐层变换和抽象提取是实现模型非线性拟合能力的核心部分。神经网络特点同一层的神经网络之间没有连接第N层的每个神经元和第N-1层的所以神经元相连这就是full connected的含义这就是全连接神经网络全连接神经网络接收的样本数据是二维的数据再每一层之间需要以二维的形式传递第N-1层神经元的输出就是第N层神经元的输入每个连接都有一个权重w系数和b系数加权求和激活函数——神经元神经元——神经网络激活函数激活函数用于对每层的输出数据进行变换进而为整个网络注入了非线性因素。此时神经网络就可以拟合各种曲线1、没有引入非线性因素的网络等价于使用一个线性模型来拟合2、通过给网络输出增加激活函数实现引入非线性因素使得网络模型可以逼近任意函数提升网络对复杂问题的拟合能力常见的激活函数-sigmoid激活函数激活函数公式x越大整体越大激活函数求导公式sigmoid激活函数的函数图像1、sigmoid函数可以将任意的输入映射到01之间当输入的值大致在-6或者》6时意味着输入任何值得到的激活值都是差不多的这样会丢失部分信息。比如输入100和输出10000经过sigmoid的激活函数几乎都是等于1的但是输入的数据之间相差100倍的信息就丢失了2、对应sigmoid函数而言输入值在[-6,-6]之间输出值才会有明显差异输入值在[-3,3]之间才会有比较好的效果3、通过上述导数图像我们发现倒数数值范围是00.25当输入-6或者6时sigmoid激活函数图像的导数接近为0此时网络参数将更新极其缓慢或者无法更新。4、一般来说sigmoid网络在5层之内就会产生梯度消失的现象。而且该激活函数并不是以0为中心的所以在实践中这种激活函数使用很少。sigmoid函数一般只用于二分类的输出层