Hebb's rule

Hebb’s rule(赫布定律)是1949年Donad Hebb提出的关于神经网络可塑性的假说。这一理论奠定了现在关于神经记忆的研究基础。它的完整表述为:

我们可以假定,反射活动的持续与重复会导致神经元稳定性的持久性提升……当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时,这两个神经元或其中一个便会发生某些生长过程或代谢变化,致使A作为能使B兴奋的细胞之一,它的效能增强了。

Pavlov的狗

Pavlov's dog
这个理论在宏观上其实就是初中生物学过的“条件反射”。前苏联科学家Ivan Pavlov提出过一个经典的实验,被称作“Pavlov的狗”。狗的唾液分泌对食物刺激敏感,但不对铃声敏感。Pavlov通过给狗吃食物的同时摇铃,训练一段时间后,狗在不给食物,只有铃声刺激的情况下,唾液分泌也会增加。也就是说,狗的神经网络建立起了,铃声听觉刺激和唾液分泌之间的联系。从计算神经学的角度上看,就是铃声感受神经(SN)和唾液分泌神经(MN)之间的连接权重增加了。

实验

Pyramidal cell
赫布定律在大脑海马体(Hippocampus)的锥体细胞(pyramidal cell)连接中得到了证实。当一个锥体细胞兴奋时,如果连接到它的另一个突触前细胞也处于兴奋状态,那么它们之间的连接强度则会增强。在实验室条件下训练一对突触前后的锥体细胞可以通过电极同时刺激前后细胞让它们同时兴奋,从而建立起联系。另一种增强连接的方式是当突触前神经细胞高频率(比如100Hz)兴奋时,突触后细胞的膜电位来不及恢复就很快再次被累积,从而促使突触后细胞最终兴奋,这样也可以建立两个细胞见的高权重连接。

记忆

由赫布定律产生的记忆称为关联记忆(associative memory)。也就是说记忆的内容总是一个个的模式,这个模式由那些一起兴奋的神经元来定义。比如,假如我们有10个神经元组成的网络,通过训练,我们可以让这个10个神经元的网络中前5个神经元组成一个模式,后5个神经元组成另一个模式。这样当我们只刺激1,2,3号神经元时,4,5号神经元也会跟着自动兴奋起来,因为它们属于一个模式。而6~10号神经元则会一值保持沉默,因为它们属于另外一个模式。上文中提到的Pavlov的狗,就是通过赫布定律学习,建立起了铃声和唾液分泌这样一个新的模式。

数学模型

赫布定律简而言之就是,当前后神经元一起兴奋时,它们之间的权重会改变。用数学语言描述则是:

其中w表示权重;下标i表示突触前神经元,j表示突触后神经元;μ是学习效率;f是一个函数;s表示兴奋值,0为不兴奋,1为兴奋。

分享到 评论