认知科学——研究人的智能 系统的智能类脑计算——借鉴生物大脑的处理方式 从结构和功能模拟生物神经系统研究大脑是如何运作的》神经元如何编码 如何进行通信和计算获得研究和设计类脑结构的能力类脑计算特点每个神经元独立放电异步、事件驱动、存内计算存算一体脉冲动作电位传统神经网络是同步的脉冲神经网络是离散的自己可以自发放电的人工审计网络神经元的原理是空间域的第二章脉冲神经网络的原理自带时间维度神经系统的生理学基础神经系统基本组成神经系统由 神经元 和 神经胶质细胞神经元信息处理 信息传递最基本信息处理单元 具有兴奋性 能被激活并以脉冲形式传递神经胶质细胞对神经元提供支持保护 结构支撑 后勤部动态极化电信号单向传播连接特异性神经元仅在特定接触点与特定突出相连神经元结构树突输入胞体处理轴突输出突触——两个神经元的轴突、树突连接处轴突输出方向——前膜轴突输入方向——后膜传递的时候存在电信号-化学信号-电信号神经元类型感觉神经元——两个轴突将传感器的信息传到中枢神经系统中运动神经元——中间神经元——神经元电位神经元的细胞膜神经元的细胞膜是双层磷脂分子层构成离子通道——离子传导通道由跨膜蛋白质组成具有选择通透性部分离子通道是被动的保持敞开部分离子通道是受控的特性离子选择性门控特性跨膜传导NaK离子泵由跨膜蛋白质组成水解一个单位ATP泵出3个NA 泵入两个K膜电位VIN-VOUT 一般为负细胞内带负电胞外带正电离子流动造成内外电压差从而发射脉冲膜电位下神经元的状态极化——两极分化差异很大 静息电位去极化——动作电位复极化——动作电位超极化——动作电位静息电位的形成——浓度差 电位差平衡上面是没信号的时候下面是有信号的时候第三章 神经信号与突触传递神经信号信号是由脉冲组成受刺激后脉冲的频率随着刺激强度增加而升高但幅度不变若没有达到预制就不会产生动作电位。特征信号的幅度和形态恒定全由全无01单向传播从轴突胞体传递到轴突末梢幅度不由传播距离衰减四个问题如何 表示信息 传递信息 如何存储 如何特征提取动作电位的形成如何产生的Na开Na进压差变小K开K出压差变大K继续开K流出压差变大 超极化K关回归静息电位突出信息传递如何传递分为化学突触囊泡释放神经递质和突触后膜结合 单向的 和电突触间隙远小于化学突触允许离子直接通过不需要转换为化学信号 双向的到达后膜后会形成一个突触后电位兴奋性突触后电位EPSP去极化 电压上升抑制性突出后电位 IPSP超极化 电压下降动作电位与局部电位这些都是局部电位多点输入真正的输出要看谁更强EPSPIPSP突触后神经元动作电位的产生产生部位轴突始段产生的动作电位会沿着轴突传递到末梢影响下一个输入一方面传导胞体和树突使其恢复到静息电位初始化神经递质与受体判断一个物质是否是神经递质要满足1. 在神经元中合成合成2. 存储在突触前末梢并在一定条件下克岩大量释放触发3. 克岩将其其从作用位点移除删除突触整合空间求和来自不同突触位置的EPSPIPSP在突触后膜叠加时间求和统一突触在短时间内多次释放递质叠加神经环路有什么影响神经元-突触神经元神经环路-大脑前馈兴奋信息流经一系列兴奋神经元会聚 发散神经元神经信息处理和人工智能算法第四章 神经元模型与计算机制考点MP神经元特点不应期神经元受刺激后不能再响应新刺激了起飞后再撸也没有反应了现在DL的人工神经元输入输出都是连续的值不涉及时间的累积。MP神经元不可以反向传播修改权重脉冲神经元拥有时间维度 计算更简单☆考察点Hodgkin-Huxley模型如何构建可计算的神经元Il是指一直开放的通道n^4是指膜上有四个na离子通道m^3h指有两种k门公式是由基尔霍夫电流定律得到的g是电导门的值是其开放概率必须全部开放才能通过LIF模型leaky-integrate-and-FireHH模型的计算代价很大但生物拟合性很棒我们找一个折中LIF模型基于突触输入的神经计算时间窗突出权重表示电流阈值机制叠加电流、无输入自衰减、不应期课堂考点☆公式推导 区别星马梦缘:突触分为两种通过两种情况会激发突触后电位EPSP IPSP原理然后讲的局部电位和动作电位空间求和 时间求和MP神经元和现代神经元的区别星马梦缘:脉冲神经元特性脉冲神经元和人工神经元的区别周期和频率要会计算第五章神经信息编码感知编码机制——各种感官如何获取信息如何将触觉、视觉、听觉信息转换为01的形式进行编码2类思路模拟生物的感知系统借助统计和概率模型进行编码大脑如何获取信息的通过感知神经元讲外界刺激转换为脉冲信息触觉形变触发离子通道变化产生动作电位听觉声音传播到耳蜗中讲声波转换为脉冲。声音传递到耳朵后引发毛细胞形变外毛细胞起放大作用内毛细胞传递声波为信号到神经有些对高音、低音有反应各个细胞对不同的频率强度的声音其反应这是一种稀疏编码仅将敏感的声音上传到神经网络视觉视网膜——神经元如何用脉冲表达图像的看到一副图片亮暗看到图片后会有部分神经元先感受到图像有些后感受到图像且激活的数量也不愿意神经节细胞有感受野中心-环绕结构有oncenteroffcenter两种。只有中心是暗点才会有强烈的脉冲发出颜色具体什么颜色都可以通过分析脉冲的频率得到。味觉一个细胞响应多个味道一个味道也有多个细胞感受嗅觉一个气味由多个神经元表示脉冲编码——将外界信号转为脉冲序列在外界信息经过神经编码后以时空脉冲模式参与计算。一般分为频率速率编码和时间编码编码信息以时间延迟多少编码信息以频率大小比率编码——刺激和脉冲频率成正比延迟编码——大刺激延迟时间比较小间隔编码——相位编码——频率编码一个时间窗内脉冲个数与输入成正比优点抗噪性强容易通过实验测量放电率缺点忽略脉冲精确时间先后中包含的信息时间编码生物对刺激的反应可以达到毫秒级神经编码的分辨率是在毫秒级反馈快方法、延迟、计算复杂度、鲁棒性、承载信息量频率编码有多个脉冲表示信息有多次表达的机会。什么时候发放并不重要而时间编码只有依次表达信息的机会。能传递更多信息。典型的编码算法频率编码适合图像编码任务频率编码生成的脉冲序列在一定程度上保留了输入的实数值信息表达方式简介因此在深度脉冲神经网络中被广泛采用均匀编码将像素归一化到0-1之间作为发放频率脉冲在窗口内均匀分布间隔一样脉冲发放越早说明刺激越大只需要看第一个脉冲就能知道谁最大泊松编码展开成列向量然后每个时刻随机生成一个值当列向量的值大于时刻值就会产生脉冲考点★ 时间编码时滞编码——刺激越大响应越快首次脉冲发放时间编码延迟编码特例等级排序编码分桶思想划分刺激等级每个等级的同时发出相位编码群体编码/簇编码用一组脉冲发放表达信息兼顾了频率编码和时间编码一次发放多个脉冲有两个地方携带信息脉冲数量和脉冲间隔ISI是输出间隔P是像素值像素值越大ISI越小间隔越小各编码差异爆发式编码如何压缩信息如何压缩脉冲信息感受野细胞的数量是10^8但神经节细胞是10^6让神经细胞感受到编码对其每个点都找到其最近的峰值对应上压缩将其映射到同一个脉冲细胞上空间信息通过行为保留可以从单个脉冲细胞找回去是谁发放的网络直接编码使得编码方式可以被学习之前的映射都是死的无法自学习。直接将信号输入到脉冲神经网络感知设备直接编码意识是安全可控的小概率事件第六章 神经可塑性 神经元会自学习大脑能够做记忆的基础神经系统的两大挑战一个是保持可塑性一个是维持稳定性。依据所处的环境改变神经系统的功能以适应环境。同时改变后也能维持稳定性。可塑性是大脑主动调节结构和功能的能力结构可塑性在学习过程中形成新的网络结构自学习性功能可塑性在受损时将受损区域的功能转移到健康区域恢复能力本质上是通过改变突触的联系和结构实现的。突触可塑性神经网络的调控分为突触可塑性和神经元自身行为的调节【突触的强度可以增强减弱】也i就是权重的强弱是可变的。如何在生理机制上改变的呢1.通过改变突触前神经递质的释放量来实现。2.通过突触后受体的可用数量反应在离子通道电流的幅度上。---电活动水平决定神经网络的整体动态影响神经元与突触的功能调节神经元内部一起直接的精确定时神经调质物质突触可塑性有什么作用是神经结构发展记忆形成和学习过程种的关键机制。体现了突触效应随时间动态变化的能力。有不同的时间 持续时间 和 触发机制短期突触可塑性由突触前脉冲序列激发短期突触抑制短期突出增强突触前发射端释放的神经递质增加神经促进/脉冲促进最短当前脉冲紧随前一个脉冲出现突触增强较长在重复刺激后增加释放可能性后强直性长期突触可塑性前后脉冲序列触发的在电刺激诱发动作电位脉冲后突触反应水平持续增强持续若干小时。在原有的受体增加离子通透性。AMPA受体由于接收高频释放的na把mg从NMDA通道中挤出来了使其可以响应谷氨酸。增加受体。释放CO促进递质的释放长期突触抑制长期突出增强LTD LTX 虽然效果相反但是诱导机制相同同质可塑性同质突触可塑性具有输入特异性刺激仅对单个位置的受体增强/减弱可塑性但不会影响其他位置的受体。异质可塑性在异质突触可塑性中一个特定神经元的连接突触强度改变也会影响其他位置的突触强度。在类比学习中很有用稳态可塑性LTP会产生级联反应一个神经元被放大后下一个神经元的输入和频率也会增加。稳态可塑性是对长期活动水平变化的补偿使其稳定。通过缩放能力保持输入等比缩放防止无限发放。第七章无监督学习赫布规则一起发放的神经元会连接在一起A发放B也发放A轴突和B突触足够近且能反复持续刺激B使其产生脉冲那么从A到B的突触效能就会增强。一段时间后哪怕来的是低频电位B的输出依然很高☆ 脉冲时序依赖可塑性继承赫布规则STDPA必须先发放才能触发B的发放。一种根据神经元输入与输出脉冲的相对时间关系来调整必须是前神经元先发放脉冲后神经元才发放脉冲则突触权重会增加。如果突触后脉冲先于突触前脉冲发放则突触权重会降低。MP神经元构成的Perception单层感知机可以求梯度感知机的处理任务建立在“线性二分类”的条件上。输入N维输出-1 1最小化损失函数选择初始值wb-选一个样本-计算结果-如果误分类-更新权重和偏置直到没有误分类点MLP多层感知机 的训练可以求梯度前向传播-误差计算-反向传播-参数更新mlp的表达能力强能提取更多特征。解决非线性的问题。且引入隐藏层可以学习高级特征。输入层接收原始特征隐藏层通过权重和偏置wb堆信息加权组合并施加前向传播计算第n层的输出值计算输出值和实际值的残差再求导将误差反向传递。反向传播基于梯度下降先计算最后一次输出值在计算损失函数从后往前传每一层更新参数。脉冲神经元-脉冲神经网络 的训练离散 无监督学习☆考点 有监督/无监督学习的区别无需外部教师信号自主探索环境规律。减少外部资源依赖更快适应环境资源效率演化适应反向传播是监督学习的一种。‘无监督学习依赖于突触可塑性机制。有可塑性才能支持无监督学习。赫布学习规则根据突触前后神经元的活动改变突触权重的调整方式。反向传播需要考虑后面所有层的误差来调整一起发放的神经元会连接在一起A发放B也发放A轴突和B突触足够近且能反复持续刺激B使其产生脉冲那么从A到B的突触效能就会增强。一段时间后哪怕来的是低频电位B的输出依然很高揭示了神经元集群同步激活形成功能连结的机制任何两个同时/重复处于活跃的细胞都会区域形成关联。巴甫洛夫的狗铃声响 和 发放食物两个活动模式反复出现时铃声响会触发后系神经元Hebb学习规则满足局部性突触权重只与前后突触的频率有关以及本身wij因此频率模型中突触权值的改变量可以表达为标准的Hebb学习规则协同性同时活跃才会增强突触权重请注意这里是变化量不是值前后神经元频率越大权重变化量越大标准的Hebb学习规则突触权重约束如果没有约束权重会无限增加将常量C(wij)定义为一个函数与此前权重有关。当权重接近于1则基本不变化基于衰减的Hebb学习规则前两者都没有考虑减小权重的情况。现在考虑如果没有刺激的话yw会随时间逐渐衰减指数衰减当权重接近1时更容易衰减当权重接近0时更容易增强基于前门控的Hebb规则前面都把前后神经元同等对待(是否更新)只有当前门j激活时才会发生权重更新。(更新多少更新多少由(vi-vθ)决定BCM规则我们希望阈值vθ动态变化取这段时间的平均值。后续每个神经元响应一类输入也就是感受野的形成。基于后门控的Hebb规则有一些前神经元活跃大于vθ则增强vθ变大其他竞争不过就减弱协变规则只考虑相关性不考虑强度只有同时强弱才会变强总结Hebb规则的特性协同性同时活跃才增强有界性软边界基于衰减竞争性BCM归一化并限制权重的总和不变STDP学习规则仅依靠脉冲频率并不能完全反应如初可塑性的实际作用。突触效能的改变方向还和发放的精确时许有关这就是STDP对Hebb增加的时间维度时间窗口权重依赖的STDP防止再STDP中权重无限增加/减弱硬边界到wmax就卡掉软边界硬边界可能导致权重在边界附近“饱和”显著影响突触的动态调节能力。而软边界使权重逐渐趋于上下限但不会完全固定。较大的权重增长速度会减慢而较小的权重减小速度会逐渐变缓公式表示为狄拉克函数 开关函数在线STDP每个神经元可以发放多个脉冲那么计算Δt就需要计算多组脉冲计算是困难的。因此引入迹trace实现用于记录脉冲活动的累计效应。收到一个脉冲就加1然后后续衰减如果检测到突触后的发放则可以找到此刻突触前神经元的值只有当ttf的时候才触发STP STDxj(ttf)是衰减函数计算出来的遗留值迹A是权重δ狄拉克函数只是一个开关三元STDP不仅看一对脉冲而是每个突触维护一个突触前迹apre两个突触后迹apost1 apost2当一个突触前脉冲到达时apre增加1指数衰减突触后脉冲的时间常数不同而已当到达时不仅要看前迹还要看另一个不同衰减常熟的后迹apost2带约束相当于softmax总和不变L瓜分比例STDP特性分析快速响应训练会使得反应更快时间精度强使劲相关性的输入增强噪声减弱题目STDP的应用重复脉冲模式检测可以在带有噪音的序列中搜寻到重复的有效信息序列基于快速响应且加强响应的特性具有重复的脉冲在多次迭代后会更早触发更强WTA Winner_Take_All 饮者通吃真正剩下的神经元是对其响应对强烈的神经元输出神经元激活后会发放抑制信号给同层神经元如何用多个神经元学习一个/多个模式增强鲁棒性让多个神经元学习一个模式但间隔发放通过抑制连接实现多模式 多个神经元会通过STDP和WTA机制会自动分配STDP 识别手写数字侧向抑制作用导致兴奋性神经元之间的竞争只用这个网络结构输入层是28*28个神经元对应图片像素点。神经元需要发放脉冲如何将像素转为脉冲呢将频率和像素的灰度成正比。先把发放率设为像素点的强度如果大了就除以2。太小了就乘以2。处理层包括兴奋层红色和抑制层灰色输入层跟兴奋层全连接。兴奋层和抑制层一对一连接。确保前面的兴奋层发放则抑制神经元也发放。而抑制层反链接到兴奋层的所有神经元,除了自己对应的神经元。这样就能实现赢者通吃会筛选对反应最强烈的神经元无监督无法执行分类用0-9的样本测试输出层谁的响应最大就对应谁要求输出兴奋性是可以权重可视化、兴奋性神经元个数与准确率的关系、训练样本个数与训练准确率的关系、混淆矩阵、错误样本第八章 脉冲神经网络监督学习算法如何将成熟的ANN网络的反向传播应用在脉冲网络中SNN的难度高效学习突出权重和时序特征经典人工神经网络学习算法t是输出更新☆ 考点输出是0.3388单层脉冲神经网络学习算法Tempotron 用于训练单层网络的。电压驱动 解决基于时间编码的模式识别的问题解决二分类问题。让匹配模式是神经元发放。用单个神经元实现二分类如果预测1对了就不修改。如果不是就调节最高电位的权重。使其超过发放阈值正样本的修正这个θ是指01函数为1则为1.结合负样本如何更新网络Tmax可以通过离散点枚举最高的或者前面的公式计算。然后假设在最大点附近导数为零则后面这一项可以去掉多酚类拓展temptron到多个分类场景那么就需要将输出神经元扩大到C个。训练时则样本k对应的神经元应该发放其他神经元不发放。如何识别1.那个神经元发放就选那个或者谁发放早就选最早的。2.选择拥有最大膜电位的类别另一种适合于单层神经网络训练的方法 远程监督学习算法 ReSuMe 动态权重调节法temptron是依赖于架构的换架构整个公式就要换。而ReSuMe与神经元模型无关只与STDP机制有关。非监督学习变得监督学习化Tempton只关注一个脉冲发布发放而ReSume是关注整个脉冲序列。↓希望输出序列和目标序列同时发放。第一个位置发放的太早了因此要降低权重将提前的时间作为减小的权重。第二个位置应该发放了却延迟发放了因此要增加权重将延迟的时间作为增加的权重。ad初始状态。Sd是期望的发放情况So是实际的发放情况两者的值是0/1如果期望发放却没发放就是1X后面的调整量。深度多层脉冲神经网络学习算法浅层的缺点无法解决复杂任务。深度SNN有很多挑战时间维度有信息、数据离散尝试改BP改到SNN上使用。那么最重要的是不可微的特性。基于代理梯度的学习方法——梯度求不了就找伪梯度基于脉冲发放时间的学习方法——基于代理梯度的学习方法但是由于激活函数是突变的导数要么是0要么是无穷用平滑曲线拟合阶跃函数STBP 时空反向传播算法时间的传播神经元还需要接受自己上一刻的信息因此有回环要同时考虑在时间和空间的误差反向传播1.迭代LIF模型2.时空反向传播训练框架3.代理梯度函数迭代LIF神经元模型神经元的膜电压由 输入 和 自身漏电 决定的I代表前一层的wXi。神经元的u(t)可以通过末次放电的u(t-1)近似神经元的膜电压和输入和自身漏电决定的上标代表t1时刻、第n层的第i个神经元接受到的输入输入由前一层的输出传入o是n-1层的j是指把前一层所有与i相连的神经元都纳入考虑l(n-1)是指前一层与i相连的神经元u是电压电压由前一层的输入和自身的漏电构成最后一层是门控函数只输出0/1f是遗忘门漏电o是输出门是否超过阈值。反向传播过程最后要计算L对每一层的wb的导数。考虑电压是如何来的空间时间空间上是来自前一层的脉冲在这一时刻完成一整个网络的传播。时间域上由前一个时间漏电得到的所以这个式子就包括了空间域和时间域的传递信息。uf是时间域代表漏电的衰减后面的xb是空间域由前一层传递过来的。utn2会输出otn2o会输出给下一层。还会把自身的漏电电压uf传递给下一个时刻的自身。相当于是先传播一层然后再把自身的值通过漏电函数传给下一刻的自身。如何通过损失函数回传第一种情况如果是最后一层·我们必须看整个时间域内的所有输出取平均作为输出值和目标值做差得到损失值。相当于是这一列的红色o输出。注意这里o对u求导是g函数也就是门控阶跃函数因此无法求导需要用伪梯度。一会再解决这个问题第二种情况当在最后一个时间步但是不是最后一个输出层相当于没有来自上一层的反向传播值了但是要考虑来自前层n1的反向传播值。第三种情况是输出层但是不是组后一个时间步第四种情况既不是最后一个时间步也不是最后一个n代理梯度函数他们都是狄拉克函数的近似。但是如果u太大太小还是会出现梯度消失的问题。其尖锐程度由α决定。共同特点中心在阈值附近远离阈值为0阈值附近最大积分面积为1mem_update膜电压更新——传入四个值卷积操作 被卷积的x 上一个时刻的mem和spike得到新的电压和脉冲用总数 平均 最后一层最后一个时刻作为output、不用做time循环了都封装好了用spikingjelly转换算法 ANN-SNN Conversion精度不变将ANN转为SNN将权重copy过来。两个网络结构一致。通过类比ANN和SNN的两个层之间的映射关系。可以发现如果输入的一样的话输出就应该一样。即Rsl近似al时前一层发放率激活值。经过缩放和设置阈值之后就能得到一样的输出。那么我们的目的就是让二者的发放率激活值第一种映射方式 Ratecoding 将激活值映射到频率上假设不漏电也没有不应期就一直积累。不是每个时间步看要不要发放。积累到阈值θ的多倍然后统一发放多个脉冲。为了凑这个下取整式子是第L层的脉冲发放频率相当于一个没有leaky的IF的神经元 无不应期转换流程精度损失的来源欠激活 过激活 脉冲随机性 都可以通过找到合适的阈值 权重来平衡那怎么办如何找到合适的权重 阈值如何进行限制阈值归一化的 database和modelbase方案什么区别 ☆ 考点防止单步的发放率》1或太低是基于训练集的最大值的如果测试集的分布不同最大值就不一样就没用了。另一种映射方式——TTFS 将激活值映射到时序上time to first spike之发放一次根据发放时间先后代表权重。映射如果定义时间窗口为t的话对应的发放时刻应该是t1-a。a是强度越强t小t不能无限大。K是狄拉克函数只考虑当前发放的时间晚于前一层发放的时间你不能在接受到前一层刺激之前就发放。当计算的V值等于θ1阈值时就发放。时间窗口每一层都是不一样的。当T1时tlil1-al每一层的时间窗口是独立的。那么越后面时间窗口就越大如果共享窗口那么可能出现后一层的发放时间算出来比前一层的输出还早。其他问题——过早放电核心是引入了时间的积累。需要有一个“动量“的变化会有延迟。ANN SNN不对应。正输入先到负数入后到原本是不发放但是发放了的。漏放电问题由于正负输入的时间差很小原本应该发放的由于负输入先输入的时间累计导致正输入无法在时间窗口内发放。动态分配时间窗口在前一个神经元发放之前时间窗口前阈值设置为无穷大必须进入时间窗口时所有神经元的脉冲都到达后设置阈值为1离开时间窗口如果都没有发发放就强制发放。如果ANN本身就不发放你强制最后一刻发放对吗你怎么知道前一层所有的都发放了时间窗口如何设置起始点为什么不用串行按照每一层一个固定的时间片时间扭曲问题由于权重不同哪怕输入的激活值一致输出的时间刻也不一样。我们希望训练的时候使得Lw0让网络自己找到权重和小于1的。或者硬约束。题目1. STBP 代码分析Forward 与 Backward问题在这段代码中forward 和 backward 分别实现了什么为什么不能直接使用真实的阶跃函数导数解答forward(前向传播)实现了脉冲发放函数Spike Generation。代码return input.gt(thresh).float()判断输入膜电位input是否大于阈值thresh。如果大于输出为1发放脉冲否则输出为0。backward(反向传播)实现了代理梯度Surrogate Gradient。代码temp abs(input - thresh) lens创建了一个矩形窗口脉冲发射时刻附近的一个窄区间。在反向传播中它用这个窗口内的非零梯度值通常是1或某种高斯/矩形函数值来近似真正的梯度。为什么不能直接用真实阶跃函数导数真实的阶跃函数如Heaviside函数在阈值处是不可导的导数为无穷大或未定义而在其他地方导数为0。直接使用真实导数会导致梯度消失问题由于脉冲生成的导数几乎处处为0如果使用真实导数误差梯度在反向传播时无法回传网络参数权重将无法更新。因此必须使用代理梯度来模拟脉冲的导数使梯度能够顺利传播。2. Data-based Normalization 权重缩放问题在 />3. Rate-based vs. TTFS-based ANN-SNN 转换的区别问题请比较 rate-based ANN-SNN 转换和 TTFS-based ANN-SNN 转换的主要区别。解答比较维度Rate-based (基于发放率)TTFS-based (基于首次脉冲时间)信息编码方式脉冲数量频率通过在一个时间窗口内统计发放的脉冲总数来表示数值。数值越大发放频率越高。脉冲时间通过首个脉冲发生的时间来编码信息。时间越早表示数值越大或越小取决于定义。时间窗口需要较长的时间窗口Timesteps来保证统计稳定性延迟高。时间窗口短延迟低往往只需几毫秒就可以完成信息传递。转换原理将 ANN 的 ReLU 激活值映射到 SNN 脉冲发放率归一化。将 ANN 的 ReLU 输出映射为 SNN 中神经元到达阈值的时间点。模拟复杂度相对简单易从现有 ANN 迁移但模拟时间长。相对复杂对时间同步和相对数值关系要求高。硬件优势传统脉冲神经网络芯片容易支持。更适合强调低延迟和低能耗的硬件应用场景。总结Rate-based 更看重统计平均适合图像分类等非实时任务TTFS-based 更看重时间序列的精准度适合需要极低延迟的实时处理任务。第九章 类脑计算应用神经形态相机有两类运行的大致原理亮度变化阈值产生事件。亮度增加减少产生ONOFF有点是什么异步 稀疏 稿时间分辨率事件流编码方式 如何处理和使用二值事件帧编码TimeSUrface编码如果有密集的事件发生值就会更大保留局部时间信息。控制tau控制衰减率本次离上一次越近就越强。语音处理是否有人生说了什么生源从哪里来首先要检测是否有任说话然后识别指令第十章 脑机接口分类 头皮 皮层 深层群公告课件地址https://icloud.sdu.edu.cn/link/AA7E9E1E6B642044518F8F0834E5828D72文件夹名认知科学与类脑计算提取码leinaojisuan大作业第16周开始 一节理论课 2界实验课完成速度 越早完成越好 要做PPT 展示一下要包含 选题 用什么编码方法 用什么网络 网络结构 用什么训练算法STBP STDP 结果如何和现有结果更好要有对比 越丰富 【我用不用某个方案对模型的最后效果如何】一定要模块化构建方便写去掉某个方案的效果变化。不超过两分钟准备代码现场复现其中一个结果 对比试验的结果选择简答 计算sduneuromorphiccomputingoutlook.com
认知科学与类脑计算 笔记草稿 非最终版
认知科学——研究人的智能 系统的智能类脑计算——借鉴生物大脑的处理方式 从结构和功能模拟生物神经系统研究大脑是如何运作的》神经元如何编码 如何进行通信和计算获得研究和设计类脑结构的能力类脑计算特点每个神经元独立放电异步、事件驱动、存内计算存算一体脉冲动作电位传统神经网络是同步的脉冲神经网络是离散的自己可以自发放电的人工审计网络神经元的原理是空间域的第二章脉冲神经网络的原理自带时间维度神经系统的生理学基础神经系统基本组成神经系统由 神经元 和 神经胶质细胞神经元信息处理 信息传递最基本信息处理单元 具有兴奋性 能被激活并以脉冲形式传递神经胶质细胞对神经元提供支持保护 结构支撑 后勤部动态极化电信号单向传播连接特异性神经元仅在特定接触点与特定突出相连神经元结构树突输入胞体处理轴突输出突触——两个神经元的轴突、树突连接处轴突输出方向——前膜轴突输入方向——后膜传递的时候存在电信号-化学信号-电信号神经元类型感觉神经元——两个轴突将传感器的信息传到中枢神经系统中运动神经元——中间神经元——神经元电位神经元的细胞膜神经元的细胞膜是双层磷脂分子层构成离子通道——离子传导通道由跨膜蛋白质组成具有选择通透性部分离子通道是被动的保持敞开部分离子通道是受控的特性离子选择性门控特性跨膜传导NaK离子泵由跨膜蛋白质组成水解一个单位ATP泵出3个NA 泵入两个K膜电位VIN-VOUT 一般为负细胞内带负电胞外带正电离子流动造成内外电压差从而发射脉冲膜电位下神经元的状态极化——两极分化差异很大 静息电位去极化——动作电位复极化——动作电位超极化——动作电位静息电位的形成——浓度差 电位差平衡上面是没信号的时候下面是有信号的时候第三章 神经信号与突触传递神经信号信号是由脉冲组成受刺激后脉冲的频率随着刺激强度增加而升高但幅度不变若没有达到预制就不会产生动作电位。特征信号的幅度和形态恒定全由全无01单向传播从轴突胞体传递到轴突末梢幅度不由传播距离衰减四个问题如何 表示信息 传递信息 如何存储 如何特征提取动作电位的形成如何产生的Na开Na进压差变小K开K出压差变大K继续开K流出压差变大 超极化K关回归静息电位突出信息传递如何传递分为化学突触囊泡释放神经递质和突触后膜结合 单向的 和电突触间隙远小于化学突触允许离子直接通过不需要转换为化学信号 双向的到达后膜后会形成一个突触后电位兴奋性突触后电位EPSP去极化 电压上升抑制性突出后电位 IPSP超极化 电压下降动作电位与局部电位这些都是局部电位多点输入真正的输出要看谁更强EPSPIPSP突触后神经元动作电位的产生产生部位轴突始段产生的动作电位会沿着轴突传递到末梢影响下一个输入一方面传导胞体和树突使其恢复到静息电位初始化神经递质与受体判断一个物质是否是神经递质要满足1. 在神经元中合成合成2. 存储在突触前末梢并在一定条件下克岩大量释放触发3. 克岩将其其从作用位点移除删除突触整合空间求和来自不同突触位置的EPSPIPSP在突触后膜叠加时间求和统一突触在短时间内多次释放递质叠加神经环路有什么影响神经元-突触神经元神经环路-大脑前馈兴奋信息流经一系列兴奋神经元会聚 发散神经元神经信息处理和人工智能算法第四章 神经元模型与计算机制考点MP神经元特点不应期神经元受刺激后不能再响应新刺激了起飞后再撸也没有反应了现在DL的人工神经元输入输出都是连续的值不涉及时间的累积。MP神经元不可以反向传播修改权重脉冲神经元拥有时间维度 计算更简单☆考察点Hodgkin-Huxley模型如何构建可计算的神经元Il是指一直开放的通道n^4是指膜上有四个na离子通道m^3h指有两种k门公式是由基尔霍夫电流定律得到的g是电导门的值是其开放概率必须全部开放才能通过LIF模型leaky-integrate-and-FireHH模型的计算代价很大但生物拟合性很棒我们找一个折中LIF模型基于突触输入的神经计算时间窗突出权重表示电流阈值机制叠加电流、无输入自衰减、不应期课堂考点☆公式推导 区别星马梦缘:突触分为两种通过两种情况会激发突触后电位EPSP IPSP原理然后讲的局部电位和动作电位空间求和 时间求和MP神经元和现代神经元的区别星马梦缘:脉冲神经元特性脉冲神经元和人工神经元的区别周期和频率要会计算第五章神经信息编码感知编码机制——各种感官如何获取信息如何将触觉、视觉、听觉信息转换为01的形式进行编码2类思路模拟生物的感知系统借助统计和概率模型进行编码大脑如何获取信息的通过感知神经元讲外界刺激转换为脉冲信息触觉形变触发离子通道变化产生动作电位听觉声音传播到耳蜗中讲声波转换为脉冲。声音传递到耳朵后引发毛细胞形变外毛细胞起放大作用内毛细胞传递声波为信号到神经有些对高音、低音有反应各个细胞对不同的频率强度的声音其反应这是一种稀疏编码仅将敏感的声音上传到神经网络视觉视网膜——神经元如何用脉冲表达图像的看到一副图片亮暗看到图片后会有部分神经元先感受到图像有些后感受到图像且激活的数量也不愿意神经节细胞有感受野中心-环绕结构有oncenteroffcenter两种。只有中心是暗点才会有强烈的脉冲发出颜色具体什么颜色都可以通过分析脉冲的频率得到。味觉一个细胞响应多个味道一个味道也有多个细胞感受嗅觉一个气味由多个神经元表示脉冲编码——将外界信号转为脉冲序列在外界信息经过神经编码后以时空脉冲模式参与计算。一般分为频率速率编码和时间编码编码信息以时间延迟多少编码信息以频率大小比率编码——刺激和脉冲频率成正比延迟编码——大刺激延迟时间比较小间隔编码——相位编码——频率编码一个时间窗内脉冲个数与输入成正比优点抗噪性强容易通过实验测量放电率缺点忽略脉冲精确时间先后中包含的信息时间编码生物对刺激的反应可以达到毫秒级神经编码的分辨率是在毫秒级反馈快方法、延迟、计算复杂度、鲁棒性、承载信息量频率编码有多个脉冲表示信息有多次表达的机会。什么时候发放并不重要而时间编码只有依次表达信息的机会。能传递更多信息。典型的编码算法频率编码适合图像编码任务频率编码生成的脉冲序列在一定程度上保留了输入的实数值信息表达方式简介因此在深度脉冲神经网络中被广泛采用均匀编码将像素归一化到0-1之间作为发放频率脉冲在窗口内均匀分布间隔一样脉冲发放越早说明刺激越大只需要看第一个脉冲就能知道谁最大泊松编码展开成列向量然后每个时刻随机生成一个值当列向量的值大于时刻值就会产生脉冲考点★ 时间编码时滞编码——刺激越大响应越快首次脉冲发放时间编码延迟编码特例等级排序编码分桶思想划分刺激等级每个等级的同时发出相位编码群体编码/簇编码用一组脉冲发放表达信息兼顾了频率编码和时间编码一次发放多个脉冲有两个地方携带信息脉冲数量和脉冲间隔ISI是输出间隔P是像素值像素值越大ISI越小间隔越小各编码差异爆发式编码如何压缩信息如何压缩脉冲信息感受野细胞的数量是10^8但神经节细胞是10^6让神经细胞感受到编码对其每个点都找到其最近的峰值对应上压缩将其映射到同一个脉冲细胞上空间信息通过行为保留可以从单个脉冲细胞找回去是谁发放的网络直接编码使得编码方式可以被学习之前的映射都是死的无法自学习。直接将信号输入到脉冲神经网络感知设备直接编码意识是安全可控的小概率事件第六章 神经可塑性 神经元会自学习大脑能够做记忆的基础神经系统的两大挑战一个是保持可塑性一个是维持稳定性。依据所处的环境改变神经系统的功能以适应环境。同时改变后也能维持稳定性。可塑性是大脑主动调节结构和功能的能力结构可塑性在学习过程中形成新的网络结构自学习性功能可塑性在受损时将受损区域的功能转移到健康区域恢复能力本质上是通过改变突触的联系和结构实现的。突触可塑性神经网络的调控分为突触可塑性和神经元自身行为的调节【突触的强度可以增强减弱】也i就是权重的强弱是可变的。如何在生理机制上改变的呢1.通过改变突触前神经递质的释放量来实现。2.通过突触后受体的可用数量反应在离子通道电流的幅度上。---电活动水平决定神经网络的整体动态影响神经元与突触的功能调节神经元内部一起直接的精确定时神经调质物质突触可塑性有什么作用是神经结构发展记忆形成和学习过程种的关键机制。体现了突触效应随时间动态变化的能力。有不同的时间 持续时间 和 触发机制短期突触可塑性由突触前脉冲序列激发短期突触抑制短期突出增强突触前发射端释放的神经递质增加神经促进/脉冲促进最短当前脉冲紧随前一个脉冲出现突触增强较长在重复刺激后增加释放可能性后强直性长期突触可塑性前后脉冲序列触发的在电刺激诱发动作电位脉冲后突触反应水平持续增强持续若干小时。在原有的受体增加离子通透性。AMPA受体由于接收高频释放的na把mg从NMDA通道中挤出来了使其可以响应谷氨酸。增加受体。释放CO促进递质的释放长期突触抑制长期突出增强LTD LTX 虽然效果相反但是诱导机制相同同质可塑性同质突触可塑性具有输入特异性刺激仅对单个位置的受体增强/减弱可塑性但不会影响其他位置的受体。异质可塑性在异质突触可塑性中一个特定神经元的连接突触强度改变也会影响其他位置的突触强度。在类比学习中很有用稳态可塑性LTP会产生级联反应一个神经元被放大后下一个神经元的输入和频率也会增加。稳态可塑性是对长期活动水平变化的补偿使其稳定。通过缩放能力保持输入等比缩放防止无限发放。第七章无监督学习赫布规则一起发放的神经元会连接在一起A发放B也发放A轴突和B突触足够近且能反复持续刺激B使其产生脉冲那么从A到B的突触效能就会增强。一段时间后哪怕来的是低频电位B的输出依然很高☆ 脉冲时序依赖可塑性继承赫布规则STDPA必须先发放才能触发B的发放。一种根据神经元输入与输出脉冲的相对时间关系来调整必须是前神经元先发放脉冲后神经元才发放脉冲则突触权重会增加。如果突触后脉冲先于突触前脉冲发放则突触权重会降低。MP神经元构成的Perception单层感知机可以求梯度感知机的处理任务建立在“线性二分类”的条件上。输入N维输出-1 1最小化损失函数选择初始值wb-选一个样本-计算结果-如果误分类-更新权重和偏置直到没有误分类点MLP多层感知机 的训练可以求梯度前向传播-误差计算-反向传播-参数更新mlp的表达能力强能提取更多特征。解决非线性的问题。且引入隐藏层可以学习高级特征。输入层接收原始特征隐藏层通过权重和偏置wb堆信息加权组合并施加前向传播计算第n层的输出值计算输出值和实际值的残差再求导将误差反向传递。反向传播基于梯度下降先计算最后一次输出值在计算损失函数从后往前传每一层更新参数。脉冲神经元-脉冲神经网络 的训练离散 无监督学习☆考点 有监督/无监督学习的区别无需外部教师信号自主探索环境规律。减少外部资源依赖更快适应环境资源效率演化适应反向传播是监督学习的一种。‘无监督学习依赖于突触可塑性机制。有可塑性才能支持无监督学习。赫布学习规则根据突触前后神经元的活动改变突触权重的调整方式。反向传播需要考虑后面所有层的误差来调整一起发放的神经元会连接在一起A发放B也发放A轴突和B突触足够近且能反复持续刺激B使其产生脉冲那么从A到B的突触效能就会增强。一段时间后哪怕来的是低频电位B的输出依然很高揭示了神经元集群同步激活形成功能连结的机制任何两个同时/重复处于活跃的细胞都会区域形成关联。巴甫洛夫的狗铃声响 和 发放食物两个活动模式反复出现时铃声响会触发后系神经元Hebb学习规则满足局部性突触权重只与前后突触的频率有关以及本身wij因此频率模型中突触权值的改变量可以表达为标准的Hebb学习规则协同性同时活跃才会增强突触权重请注意这里是变化量不是值前后神经元频率越大权重变化量越大标准的Hebb学习规则突触权重约束如果没有约束权重会无限增加将常量C(wij)定义为一个函数与此前权重有关。当权重接近于1则基本不变化基于衰减的Hebb学习规则前两者都没有考虑减小权重的情况。现在考虑如果没有刺激的话yw会随时间逐渐衰减指数衰减当权重接近1时更容易衰减当权重接近0时更容易增强基于前门控的Hebb规则前面都把前后神经元同等对待(是否更新)只有当前门j激活时才会发生权重更新。(更新多少更新多少由(vi-vθ)决定BCM规则我们希望阈值vθ动态变化取这段时间的平均值。后续每个神经元响应一类输入也就是感受野的形成。基于后门控的Hebb规则有一些前神经元活跃大于vθ则增强vθ变大其他竞争不过就减弱协变规则只考虑相关性不考虑强度只有同时强弱才会变强总结Hebb规则的特性协同性同时活跃才增强有界性软边界基于衰减竞争性BCM归一化并限制权重的总和不变STDP学习规则仅依靠脉冲频率并不能完全反应如初可塑性的实际作用。突触效能的改变方向还和发放的精确时许有关这就是STDP对Hebb增加的时间维度时间窗口权重依赖的STDP防止再STDP中权重无限增加/减弱硬边界到wmax就卡掉软边界硬边界可能导致权重在边界附近“饱和”显著影响突触的动态调节能力。而软边界使权重逐渐趋于上下限但不会完全固定。较大的权重增长速度会减慢而较小的权重减小速度会逐渐变缓公式表示为狄拉克函数 开关函数在线STDP每个神经元可以发放多个脉冲那么计算Δt就需要计算多组脉冲计算是困难的。因此引入迹trace实现用于记录脉冲活动的累计效应。收到一个脉冲就加1然后后续衰减如果检测到突触后的发放则可以找到此刻突触前神经元的值只有当ttf的时候才触发STP STDxj(ttf)是衰减函数计算出来的遗留值迹A是权重δ狄拉克函数只是一个开关三元STDP不仅看一对脉冲而是每个突触维护一个突触前迹apre两个突触后迹apost1 apost2当一个突触前脉冲到达时apre增加1指数衰减突触后脉冲的时间常数不同而已当到达时不仅要看前迹还要看另一个不同衰减常熟的后迹apost2带约束相当于softmax总和不变L瓜分比例STDP特性分析快速响应训练会使得反应更快时间精度强使劲相关性的输入增强噪声减弱题目STDP的应用重复脉冲模式检测可以在带有噪音的序列中搜寻到重复的有效信息序列基于快速响应且加强响应的特性具有重复的脉冲在多次迭代后会更早触发更强WTA Winner_Take_All 饮者通吃真正剩下的神经元是对其响应对强烈的神经元输出神经元激活后会发放抑制信号给同层神经元如何用多个神经元学习一个/多个模式增强鲁棒性让多个神经元学习一个模式但间隔发放通过抑制连接实现多模式 多个神经元会通过STDP和WTA机制会自动分配STDP 识别手写数字侧向抑制作用导致兴奋性神经元之间的竞争只用这个网络结构输入层是28*28个神经元对应图片像素点。神经元需要发放脉冲如何将像素转为脉冲呢将频率和像素的灰度成正比。先把发放率设为像素点的强度如果大了就除以2。太小了就乘以2。处理层包括兴奋层红色和抑制层灰色输入层跟兴奋层全连接。兴奋层和抑制层一对一连接。确保前面的兴奋层发放则抑制神经元也发放。而抑制层反链接到兴奋层的所有神经元,除了自己对应的神经元。这样就能实现赢者通吃会筛选对反应最强烈的神经元无监督无法执行分类用0-9的样本测试输出层谁的响应最大就对应谁要求输出兴奋性是可以权重可视化、兴奋性神经元个数与准确率的关系、训练样本个数与训练准确率的关系、混淆矩阵、错误样本第八章 脉冲神经网络监督学习算法如何将成熟的ANN网络的反向传播应用在脉冲网络中SNN的难度高效学习突出权重和时序特征经典人工神经网络学习算法t是输出更新☆ 考点输出是0.3388单层脉冲神经网络学习算法Tempotron 用于训练单层网络的。电压驱动 解决基于时间编码的模式识别的问题解决二分类问题。让匹配模式是神经元发放。用单个神经元实现二分类如果预测1对了就不修改。如果不是就调节最高电位的权重。使其超过发放阈值正样本的修正这个θ是指01函数为1则为1.结合负样本如何更新网络Tmax可以通过离散点枚举最高的或者前面的公式计算。然后假设在最大点附近导数为零则后面这一项可以去掉多酚类拓展temptron到多个分类场景那么就需要将输出神经元扩大到C个。训练时则样本k对应的神经元应该发放其他神经元不发放。如何识别1.那个神经元发放就选那个或者谁发放早就选最早的。2.选择拥有最大膜电位的类别另一种适合于单层神经网络训练的方法 远程监督学习算法 ReSuMe 动态权重调节法temptron是依赖于架构的换架构整个公式就要换。而ReSuMe与神经元模型无关只与STDP机制有关。非监督学习变得监督学习化Tempton只关注一个脉冲发布发放而ReSume是关注整个脉冲序列。↓希望输出序列和目标序列同时发放。第一个位置发放的太早了因此要降低权重将提前的时间作为减小的权重。第二个位置应该发放了却延迟发放了因此要增加权重将延迟的时间作为增加的权重。ad初始状态。Sd是期望的发放情况So是实际的发放情况两者的值是0/1如果期望发放却没发放就是1X后面的调整量。深度多层脉冲神经网络学习算法浅层的缺点无法解决复杂任务。深度SNN有很多挑战时间维度有信息、数据离散尝试改BP改到SNN上使用。那么最重要的是不可微的特性。基于代理梯度的学习方法——梯度求不了就找伪梯度基于脉冲发放时间的学习方法——基于代理梯度的学习方法但是由于激活函数是突变的导数要么是0要么是无穷用平滑曲线拟合阶跃函数STBP 时空反向传播算法时间的传播神经元还需要接受自己上一刻的信息因此有回环要同时考虑在时间和空间的误差反向传播1.迭代LIF模型2.时空反向传播训练框架3.代理梯度函数迭代LIF神经元模型神经元的膜电压由 输入 和 自身漏电 决定的I代表前一层的wXi。神经元的u(t)可以通过末次放电的u(t-1)近似神经元的膜电压和输入和自身漏电决定的上标代表t1时刻、第n层的第i个神经元接受到的输入输入由前一层的输出传入o是n-1层的j是指把前一层所有与i相连的神经元都纳入考虑l(n-1)是指前一层与i相连的神经元u是电压电压由前一层的输入和自身的漏电构成最后一层是门控函数只输出0/1f是遗忘门漏电o是输出门是否超过阈值。反向传播过程最后要计算L对每一层的wb的导数。考虑电压是如何来的空间时间空间上是来自前一层的脉冲在这一时刻完成一整个网络的传播。时间域上由前一个时间漏电得到的所以这个式子就包括了空间域和时间域的传递信息。uf是时间域代表漏电的衰减后面的xb是空间域由前一层传递过来的。utn2会输出otn2o会输出给下一层。还会把自身的漏电电压uf传递给下一个时刻的自身。相当于是先传播一层然后再把自身的值通过漏电函数传给下一刻的自身。如何通过损失函数回传第一种情况如果是最后一层·我们必须看整个时间域内的所有输出取平均作为输出值和目标值做差得到损失值。相当于是这一列的红色o输出。注意这里o对u求导是g函数也就是门控阶跃函数因此无法求导需要用伪梯度。一会再解决这个问题第二种情况当在最后一个时间步但是不是最后一个输出层相当于没有来自上一层的反向传播值了但是要考虑来自前层n1的反向传播值。第三种情况是输出层但是不是组后一个时间步第四种情况既不是最后一个时间步也不是最后一个n代理梯度函数他们都是狄拉克函数的近似。但是如果u太大太小还是会出现梯度消失的问题。其尖锐程度由α决定。共同特点中心在阈值附近远离阈值为0阈值附近最大积分面积为1mem_update膜电压更新——传入四个值卷积操作 被卷积的x 上一个时刻的mem和spike得到新的电压和脉冲用总数 平均 最后一层最后一个时刻作为output、不用做time循环了都封装好了用spikingjelly转换算法 ANN-SNN Conversion精度不变将ANN转为SNN将权重copy过来。两个网络结构一致。通过类比ANN和SNN的两个层之间的映射关系。可以发现如果输入的一样的话输出就应该一样。即Rsl近似al时前一层发放率激活值。经过缩放和设置阈值之后就能得到一样的输出。那么我们的目的就是让二者的发放率激活值第一种映射方式 Ratecoding 将激活值映射到频率上假设不漏电也没有不应期就一直积累。不是每个时间步看要不要发放。积累到阈值θ的多倍然后统一发放多个脉冲。为了凑这个下取整式子是第L层的脉冲发放频率相当于一个没有leaky的IF的神经元 无不应期转换流程精度损失的来源欠激活 过激活 脉冲随机性 都可以通过找到合适的阈值 权重来平衡那怎么办如何找到合适的权重 阈值如何进行限制阈值归一化的 database和modelbase方案什么区别 ☆ 考点防止单步的发放率》1或太低是基于训练集的最大值的如果测试集的分布不同最大值就不一样就没用了。另一种映射方式——TTFS 将激活值映射到时序上time to first spike之发放一次根据发放时间先后代表权重。映射如果定义时间窗口为t的话对应的发放时刻应该是t1-a。a是强度越强t小t不能无限大。K是狄拉克函数只考虑当前发放的时间晚于前一层发放的时间你不能在接受到前一层刺激之前就发放。当计算的V值等于θ1阈值时就发放。时间窗口每一层都是不一样的。当T1时tlil1-al每一层的时间窗口是独立的。那么越后面时间窗口就越大如果共享窗口那么可能出现后一层的发放时间算出来比前一层的输出还早。其他问题——过早放电核心是引入了时间的积累。需要有一个“动量“的变化会有延迟。ANN SNN不对应。正输入先到负数入后到原本是不发放但是发放了的。漏放电问题由于正负输入的时间差很小原本应该发放的由于负输入先输入的时间累计导致正输入无法在时间窗口内发放。动态分配时间窗口在前一个神经元发放之前时间窗口前阈值设置为无穷大必须进入时间窗口时所有神经元的脉冲都到达后设置阈值为1离开时间窗口如果都没有发发放就强制发放。如果ANN本身就不发放你强制最后一刻发放对吗你怎么知道前一层所有的都发放了时间窗口如何设置起始点为什么不用串行按照每一层一个固定的时间片时间扭曲问题由于权重不同哪怕输入的激活值一致输出的时间刻也不一样。我们希望训练的时候使得Lw0让网络自己找到权重和小于1的。或者硬约束。题目1. STBP 代码分析Forward 与 Backward问题在这段代码中forward 和 backward 分别实现了什么为什么不能直接使用真实的阶跃函数导数解答forward(前向传播)实现了脉冲发放函数Spike Generation。代码return input.gt(thresh).float()判断输入膜电位input是否大于阈值thresh。如果大于输出为1发放脉冲否则输出为0。backward(反向传播)实现了代理梯度Surrogate Gradient。代码temp abs(input - thresh) lens创建了一个矩形窗口脉冲发射时刻附近的一个窄区间。在反向传播中它用这个窗口内的非零梯度值通常是1或某种高斯/矩形函数值来近似真正的梯度。为什么不能直接用真实阶跃函数导数真实的阶跃函数如Heaviside函数在阈值处是不可导的导数为无穷大或未定义而在其他地方导数为0。直接使用真实导数会导致梯度消失问题由于脉冲生成的导数几乎处处为0如果使用真实导数误差梯度在反向传播时无法回传网络参数权重将无法更新。因此必须使用代理梯度来模拟脉冲的导数使梯度能够顺利传播。2. Data-based Normalization 权重缩放问题在 />3. Rate-based vs. TTFS-based ANN-SNN 转换的区别问题请比较 rate-based ANN-SNN 转换和 TTFS-based ANN-SNN 转换的主要区别。解答比较维度Rate-based (基于发放率)TTFS-based (基于首次脉冲时间)信息编码方式脉冲数量频率通过在一个时间窗口内统计发放的脉冲总数来表示数值。数值越大发放频率越高。脉冲时间通过首个脉冲发生的时间来编码信息。时间越早表示数值越大或越小取决于定义。时间窗口需要较长的时间窗口Timesteps来保证统计稳定性延迟高。时间窗口短延迟低往往只需几毫秒就可以完成信息传递。转换原理将 ANN 的 ReLU 激活值映射到 SNN 脉冲发放率归一化。将 ANN 的 ReLU 输出映射为 SNN 中神经元到达阈值的时间点。模拟复杂度相对简单易从现有 ANN 迁移但模拟时间长。相对复杂对时间同步和相对数值关系要求高。硬件优势传统脉冲神经网络芯片容易支持。更适合强调低延迟和低能耗的硬件应用场景。总结Rate-based 更看重统计平均适合图像分类等非实时任务TTFS-based 更看重时间序列的精准度适合需要极低延迟的实时处理任务。第九章 类脑计算应用神经形态相机有两类运行的大致原理亮度变化阈值产生事件。亮度增加减少产生ONOFF有点是什么异步 稀疏 稿时间分辨率事件流编码方式 如何处理和使用二值事件帧编码TimeSUrface编码如果有密集的事件发生值就会更大保留局部时间信息。控制tau控制衰减率本次离上一次越近就越强。语音处理是否有人生说了什么生源从哪里来首先要检测是否有任说话然后识别指令第十章 脑机接口分类 头皮 皮层 深层群公告课件地址https://icloud.sdu.edu.cn/link/AA7E9E1E6B642044518F8F0834E5828D72文件夹名认知科学与类脑计算提取码leinaojisuan大作业第16周开始 一节理论课 2界实验课完成速度 越早完成越好 要做PPT 展示一下要包含 选题 用什么编码方法 用什么网络 网络结构 用什么训练算法STBP STDP 结果如何和现有结果更好要有对比 越丰富 【我用不用某个方案对模型的最后效果如何】一定要模块化构建方便写去掉某个方案的效果变化。不超过两分钟准备代码现场复现其中一个结果 对比试验的结果选择简答 计算sduneuromorphiccomputingoutlook.com
