人工神经网络的概念:人工神经网络(Artificial Neural Networks,ANN),一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力,可以通过预先提供的一批相互对应的输入-输出数据,分析掌握两者之间潜在的规律,最终根据这些规律,用新的输入数据来推算输出结果,这种学习分析的过程被称为“训练”。(引自《环球科学》2007年第一期《神经语言:老鼠胡须下的秘密》)。它是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
基本特征:并行处理、自适应性、自组织性、自学习性和联想记忆及鲁棒性。(石 英,郭靖芬,基于理想方案的BP神经网络土地利用规划方案评价【J】,南昌大学学报,2008.2)
鲁棒性:鲁棒性就是系统的健壮性。它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持某些性能的特性。根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。
神经元处理单元:网络中处理单元的类型分为三类:输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据;输出单元实现系统处理结果的输出;隐单元是处在输入和输出单元之间,不能由系统外部观察的单元。
生物神经网络:
生物神经网络的六个特性:
软件:MatLab软件
神经网络的模型:BP模型,该模型是1986年由Rumelhart提出的。
(吴承祯、洪伟、何东进,桤柏混交林密度变化规律的人工神经网络模型研究【J】,西北植物学报,1999)
反向传播模型又称反向传播神经网络或BP模型,它是一种前馈型人工神经网络。由于含有一个隐层的神经网络可以逼近任何连续函数,所以这里只考虑含有一个隐层的反向传播神经网络(简称BP网)。BP网的信息传播方向是前馈的,即从输入层→隐含层→输出层。它的结构是分层次的,各层次的神经元之间形成全互连接,各层次内的神经元之间没有连接。
对于输入层的神经元,其输出与输入相同。如对神经元i,输入为xi,输出为ui,则ui=xi。
对于隐含层和输出层的神经元,其输入和输出关系为:
(1)
式中:wij为神经元i与神经元j的连接权;θj为阈值。
yj=f(uj)=1/[1+exp(-uj)] (2)
式中:yj为神经元j的输出(状态值);f(.)为映射函数,其形式取为
yj=1/[1+exp(-uj)]
yj在区间[0,1]上取值,由于
(3)
当yj→0或yj→1时,yj/uj最小,即yj对uj的变化率最小;当yj→1/2时,yj对uj的变化率最大。
以下称输入层和隐含层神经元的连接权为第一连接权,称隐含层和输出层神经元的连接权为第二层连接权,连接权和阈值统称为权值。
BP学习算法
BP算法是有导师的δ学习律:
在对BP网进行训练时,首先要提供一组学习样本(x1,x2,…,xp),与相对应的教师(理想输出)为(t1,t2,…,tp)。当网络的所有实际输出与理想输出一致时,表明训练结束,否则通过实际输出与理想输出的误差来修改连接权值与相应的阈值。
BP学习算法如下:
(1)对权值进行初始化,即随机地给全部权值赋以初始值(很小的随机数);
(2)在已知P个学习样本中,顺序地将其输入BP网中,并输入相应的教师;
(3)按(1)式和(2)式计算实际输出yk;
(4)计算每次学习的误差(tkp-ykp)和总的误差E。
(4)
(5)修改权值;
(6)按新权值重新计算,直到达到误差精度要求为止,否则回到(2);
BP算法对权值的修改采用梯度法,即使总误差不断减小。反向调整连接权值wij和阈值θj修正量的第n+1次迭代算式为:
(5)
(6)