RNN and LSTM

知识其实是积累的过程, 从开始死磕神经网络到现在搞清楚其内部细节问题也算是颇费工夫, 一步一个脚印,过了时间点 自然就会豁然开朗, 当初搞CNN画了一个多星期才明白其中的细节 RNN花掉了好几倍的时间   今天把我对RNN的思索反馈写出来 CNN是根据人的视觉神经环路开发出来的神经网络,具有明显的层次 而RNN是一个链条式的神经网络,有着时间属性,当然你可以并行多部个RNN单元并进行计算 这也是将来的一大进展,   重点在如RNN的 long short term memroty 这个算法,初学者很难理解   其中的各种门让人无语,如果没有门 我认为更好记忆 只需要明白RNN干了些什么事情       我们对ht进行分析 输入: Xt    t时间点的数据 Ct-1     上一个时间点的细胞状态   处理过程: 首先生成一个过滤器,其实即使对新数据和细胞状态做sigmoid操作:f=sigmoid(Wt[Xt,Ct-1]+Bt) 这个过滤器很重要,RNN后面的处理都需要这个过滤器来进行操作   生成过滤器以后,我们要想办法算出细胞最新的状态