说实在的 深度学习人类都搞不清里面的黑盒子干了些什么?

1952年SNN被提出来,至今人类也不知道神经元之间到底如何架构和功能组成的

我真的想问 SNN有个屁用,关键是一大堆人再学习

当然也包括我 ,真不要脸。

人工神经网络被分为三个阶段  第一 BP代表  第二DL深度学习  第三 SNN脉冲神经网络

 

SNN有什么特质,我们知道ANN只是利用权重不断向前计算,求得中间层对应值,然后使用BP进行降低损失函数的值,而SNN发送的是神经脉冲,本身神经元有个membrane voltage膜电位, 就想想有抑制神经元和兴奋神经元吧

平时我是不工作,只要脉冲发过来,超过了膜电位的阈值 兴奋神经元就向前传递一个脉冲,而之前一直不计算 降低能耗嘛!

传递之后 膜电位立刻下降回原始水平,等待下一个脉冲。

 

个人感觉和权重传递差不多,因为我们不是有激励函数嘛!

 

问题是 脉冲神经网络有时候不动的,我们现在的深度学习,不管有没有用,前面来了数据都得计算,

形象的说是 我们在一个大部门,有些事 不需要我出面,其他人自己就搞完了,多节省资源啊

DL的不人性化在 不管和你是否相关  有事来了 全军上阵,不嫌累啊!

 

这样子SNN就更符合真是生物神经元的传递过程,

有个问题你的注意了  那就是脉冲的时间序列

你要知道一阵序列何时来 值是多少  术语 叫做编码频率

从人类的眼来看  我暂时可能不知道某个编码频率的序列干了些什么事情   可是我会学习啊

等你有足够的信息描述这个脉冲序列

你是否觉得 就可以对生物神经网络做分类啦

 

上百亿个神经元 ,你想搞清楚   ?我还想再活五百年!

 

上图:

首先,脉冲神经网络与传统的人工神经网络的神经元模型不同。在非脉冲神经网络中,神经元的计算模型大致是这样,layer之间传递的是一个个值。

而在脉冲神经网络中,神经元传递的是一个个脉冲,每个神经元有一个membrane voltage,一个神经元接受输入脉冲,导致membrane voltage变化(inhibitory neurons和excitatory neurons分别起反向和正向作用),当神经元的membrane voltage达到一个阈值时,便发送一个脉冲,这个脉冲再向后传递。

由于脉冲神经网络传递的是一个个脉冲,它们组成了一个脉冲序列,单个脉冲之间的时间间隔不一定,脉冲序列中蕴含了temporal information,这是传统的人工神经网络所不能表达的。

除此之外,脉冲神经网络中的每个神经元只有接收到一个脉冲时,才需要进行计算,功耗更低,计算更快;而传统人工神经网络需要一层层的计算,计算量要大很多。

但是脉冲神经网络暂时并没有找到一个完美的训练算法,尤其是需要训练深层网络的时候。而传统人工神经网络借助统计与优化等数学工具得到充分发展,训练得到的效果目前比脉冲神经网络要更好。

因此目前也有一些工作在做将传统人工神经网络比如CNN,DBN转化为SNN(spiking neural network),这样相当于是将传统人工神经网络中一个神经元的值,当做是对脉冲的频率编码。

总的来说,脉冲神经网络有更强的生物学基础,潜在的能力更强大,但尚待开发;而传统人工神经网络充分利用统计学与优化等数学工具,现在取得的效果更好。(知乎某神)