李立平 韩兵欣
摘 要： 针对静态人工神经网络具有在反映系统动态行为时网络结构复杂、不能很好地反映系统动态性能的缺点，提出一种由带有积分器和可调反馈系数的神经元构成的新型动力学神经网络模型。该网络比以前的动态网络即递归网络或在此基础上改进的网络能更好地反映系统的动态性能，网络的结构更加简单，训练过程加快，从而使系統能够更好的运行。利用梯度下降法研究了该网络的权值调整算法，并通过李雅普诺夫稳定性判据讨论了这种新型动力学神经网络的稳定性条件。该网络研究为反映系统的动力学行为提供了更好的模型结构和理论算法，为神经网络的发展提供了新的研究方向。
关键词： 动力学神经网络； 梯度下降法； 李雅普诺夫稳定性判据； 权值调整算法
中图分类号： TN711?34 文献标识码： A 文章编号： 1004?373X（2017）03?0167?04
Construction of dynamics neural network model and its stability study
LI Liping1， HAN Bingxin2
（1. Shijiazhuang Tiedao University Sifang College， Shijiazhuang 051132， China； 2. Shijiazhuang Tiedao University， Shijiazhuang 050000， China）
Abstract： Since the static artificial neural network has the complicated network structure while reflecting on the system dynamic behavior， and can′t reflect on the system dynamic performance better， a new dynamics neural network model composed of the neuron with adjustable feedback coefficient and integrator is proposed. The new neural network can better reflect on the system dynamic performance than the previous dynamic network （recursion network） or the network improved on the basis of it， has simpler network structure and faster training process to make the system run better. The gradient descent method is used to study the weight adjustment algorithm of the network. The stability condition of the new dynamics neural network is discussed according to the Lyapunov stability criteria. The study of the network provides a better model structure and theory algorithm for reflecting on the system dynamics behavior， and a new research direction for the development of the neural network.
Keywords： dynamics neural network； gradient descent method； Lyapunov stability criteria； weight adjustment algorithm
鉴于传统神经网络处理动态问题能力的不足，本文提出一种由带有积分器和可调反馈系数的神经元构成的动力学神经网络，并研究了其稳定性。此网络能更好地处理时变输入或输出通过时延环节反馈到输入的问题，可以不需要像静态网络那样通过外时延环节反馈来描述动态系统，可以大大地简化网络模型。新型网络中的积分环节可以时刻反应输出状态以便于更好地实时检测系统，而可调的反馈系数使网络得到更好的训练。
1 动力学神经网络模型的建立
1.1 动力学神经元模型
当系统从一个稳态向另一个稳态转变，尤其是在工况条件发生较大变化时，得到的稳态模型将无法准确地反映输入与输出之间的关系，而动态模型可以完成这一任务。
传统动态网络如递归网络[1～5] 是通过在静态网络中加入延时单元，把以前的状态存储在延时单元中。此时可以看作是把时间信号转变为空间表示后再送给静态的前馈网络，将动态时间建模问题变为一个静态空间建模问题，可是这样会增加网络结构的复杂程度。
本设计引入反馈使网络成为一个动态系统，故提出了一种新的动力学神经元模型，结构图如图1所示。它本身带有积分器和反馈环，使得神经网络能够用微分方程来描述，微分方程能够描述真正意义上的动力学行为，从而使动态神经元构成的动力学神经网络包含更多的信息，更接近于人脑的思维活动。
其中：
得到如下模型方程：
式中：[ui（t）]为[t]时刻神经元[j]接收的来自神经元[i]的信息输入；[wji（t）]为神经元的突触连接系数或权重值；[fvt]为神经元转移函数；[xt]为输出量。
1.2 动力学神经网络模型的构建
由动态神经元构成的动力学神经网络如图2所示。
2 动力学神经网络的理论算法推导研究
2.1 动力学神经网络的学习
确定动力学神经网络结构后，要通过输入和输出样本集对网络进行训练，即对网络的阈值和权值进行学习和修正，使网络实现给定的输入输出映射关系。
动力学网络的学习过程[6～8]为：
（1） 输入一组学习样本，通过设置网络结构和前一次迭代的权值和阈值，从网络的第一层向后计算神经元的输出。
（2） 对权值和阈值进行修改，从最后一层向前计算各权值和阈值对总误差的影响梯度，据此对各权值和阈值进行修改。
（3） 步骤（1），（2）反复交替，直到网络收敛为止。
一般反馈网络的权值每次调整的规律是相同的，不是经过反复学习获得的，而是按一定规则进行设计，网络权值一旦确定就不再改变，没有权值调整的训练过程。而动力学神经网络的权值在调整时反馈系数是不断变化的，权值的调整规律也是不断变化的。
2.2 动力学神经网络的理论算法推导
目前对非线性动力学神经网络的研究已经开始，对于不同的神经网络结构模型采取的算法也是不同的[9～10]。
带有积分环节和反馈环节的动力学神经网络同BP网络基本相近，当带有积分环节和反馈环节的动力学神经网络的关联节点为0时，这时的动力学神经网络就是BP网络，所以在考虑动力学神经网络的权值调整规则时可以借用BP算法。
动力学神经网络学习按照神经元的[δ]学习规则即梯度下降法学习。学习由动态地改变网络单元连接的权值来实现，当权值达到特定要求后就转到网络的状态动力学过程。
将动力学神经网络的误差定义为：
3 动力学神经网络稳定性的研究
一个控制系统最重要的特性要求莫过于它的稳定性。系统是否稳定以及怎样改善其稳定性是系统分析与设计的首要问题。
神经网络控制系统也必须满足稳定性要求。早在1892年，俄国数学家李雅普诺夫 （Lyapunov）就提出了判定系统稳定性的方法[11?12]。李雅普诺夫第二法是借助于一个李雅普诺夫函数或直接对系统平衡状态的稳定性做出判断，是从能量的观点进行稳定性分析的。
应用此种方法判定动力学神经网络的稳定性，最重要的是寻找一个李雅普诺夫函数[V（x），]然后根据[V（x）=dV（x）dt]的符号特征判别系统的稳定性。对于动力学神经网络，若能找到一个正定的标量函数[V（x），][V（x）]是小于零的，则网络是渐近稳定的。
证明：首先定义一个李雅普诺夫（Lyapunov）函数[V（n）=12e2（n）=12E]
若要判定网络是否稳定，需要判断[V]的变化是不是小于零的，即[ΔV（n）<0]是否成立。
现在来分析满足什么条件时，[ΔV（n）<0]。因为：
学习算法的稳定性取决于学习速率因子[η]。当[η]取较大值时，可以加快网络的训练速度，但是如果[η]的值太大，会导致网络的稳定性降低和训练误差增加。当[η]较小时，算法自适应过程较慢，算法记忆更多的过去数据，结果就更加精确。也就是说，算法的运行时间和学习速率因子成反比或者说学习速率因子的倒数就表示了算法的记忆容量。所以学习速率因子[η]应在满足式（26）的条件下取较大的值，保证收敛速率，随着迭代次数的增加，[η]的值也应该减小，以保证精度。
4 结 论
本文总结现存网络的优缺点，在此基础上提出了一种新型的动力学神经网络模型，并进行了建模；利用梯度下降法研究了该网络的权值调整算法，并通过李雅普诺夫稳定性判据讨论了这种新型动力学神经网络稳定性的条件。此网络结构更加简单，训练过程加快，从而使系统能够更好的运行。本网络研究为反映系统的动力学行为提供了更好的模型结构和理论算法，为神经网络的发展提供了新的研究方向。
参考文献
[1] MAO Z H， MASSAQUOI S G. Dynamics of winner?take?all competition in recurrent neural networks with lateral inhibition [J]. IEEE transactions on neural networks， 2007， 18（1）： 55?69.
[2] HOU Z G， GUPTA M M， NIKIFORUK P N， et al. A recurrent neural network for hierarchical control of interconnected dynamic systems [J]. IEEE transactions on neural networks， 2007， 18（2）： 466?481.
[3] TASSA Y， EREZ T. Least squares solutions of the HJB equation with neural network value?function approximators [J]. IEEE transactions on neural networks， 2007， 18（4）： 1031?1041.
[4] KIERIER R J. Design and implementation of multi?pattern ge?nerators in analog VLSI [J]. IEEE transactions on neural networks， 2006， 17（4）： 1025?1038.
[5] LIU P Z， HAN Q L. Discrete?time analogs for a class of conti?nuous?time recurrent neural networks [J]. IEEE transactions on neural networks， 2007， 18（5）： 1343?1355.
[6] 胡伍生.神经网络理论及其工程应用[M].北京：测绘出版社，2006：30?38.
[7] 朱大奇.人工神经网络原理及应用[M].北京：科学出版社，2006：7?20.
[8] 胡德文.神经网络自适应控制[M].长沙：国防科技大学出版社，2006.
[9] 何燕玲.几类神经网络模型的动力学行为研究[D].长沙：湖南大学，2006.
[10] YAN Keyu， ZHONG Shouming， YANG Jinxiang. Asymptotic properties of a dynamic neural system with asymmetric connection weights [J]. Journal of electronic science and technology of China， 2005， 3（1）： 78?86.
[11] 刘豹.现代控制理论[M].北京：机械工业出版社，2000：141?146.
[12] ZENG Zhigang， WANG Jun. Improved conditions for global exponential stability of recurrent neural networks with time?varying delays [J]. IEEE transactions on neural networks， 2006， 17（3）： 623?635.
