2017, Vol. 382. 国网池州供电公司，安徽 池州 247100
2. Chizhou Power Supply Company of State Grid, Chizhou 247100, China.
非线性优化可以广义地理解为带有等式和不等式约束条件的目标函数优化问题[1-11].在各种各样的科学与工程领域中都经常遇到这类最优化问题.目前，已经有很多方法可以解决这类问题，然而，在这些方法中，多数需要大量的计算，而且并不适合于解决实时或近似实时最优化的问题.神经网络方法为解决约束最优化问题提供了一个有效的发展方向，通过使用具有高度并行计算能力的神经网络体系结构，使许多复杂的最优化问题得到实时解决[2].
1982年美国物理学家Hopfield教授首次将优化问题与一类神经网络相联系[3]，并利用能量函数的概念，使所设计的神经网络能够等解相应的优化问题.然而，因为网络中要用到目标函数和约束函数的梯度，所以大部分神经网络模型只适用于解决光滑凸优化问题；但在实际应用中，大部分优化问题都不具备光滑的凸性性质，所以设计适当的神经网络来解决非光滑凸优化和非光滑非凸优化问题是很必要的.
文献[4]构造了一个神经网络模型来求解非光滑凸优化问题，文献[5]建立了一个单层递归神经网络模型来求解带有线性等式约束条件的伪凸优化问题；然而文献[4-5]求解的都是只带有线性等式约束的非光滑凸优化问题，没有考虑不等式约束的情况.
文献[6]中不是任意的初始点都可以使神经网络收敛于优化问题的最优解.文献[7]中由于正增益的不同，神经网络的解是不一样的，很可能不收敛.无论待解决的最优化问题是否光滑，大部分的神经网络技术解决此类约束最优化问题都是带惩罚项的，而且只能给出近似解或有可能无法用电路实现.基于此，文献[9]提出了一种带有微分包含形式的神经网络模型来解决非光滑凸优化问题，克服了罚函数法引入的目标函数二阶导数不连续的缺点; 但是在优化计算时，仍存在收敛速度慢，需要可行域来确保神经网络的有效性，以及从不可行域逐步收敛到解的不足.
为克服上述文献中的缺点，本文通过在网络模型中引入含有加权矩阵的高阶补偿项，重新构造了一类优化神经网络，不仅对于任意的初始值，神经网络的解都能收敛到优化问题的最优解，而且不用确定收敛域来确保神经网络的有效性，收敛速度也得到了提高.
1 神经网络模型与理论分析 1.1 预备知识首先给出非线性规划的一般形式：
|
(1) |
式中：
如果f：Rn→R在Rn上是局部Lipschitz的，则f在x点沿方向v∈Rn的广义方向导数定义为
|
引理1 [9]如果V：Rn→R对x(t) 是正则函数且x(t) 对t是可微的，且在t附近是Lipschitz的，则
|
满足所有约束条件的点集 (可行域) 可表示为
|
为解决问题 (1)，构造如下神经网络模型
|
(2) |
I是单位矩阵，P=AT(AAT)－1A.
|
|
(3) |
|
式中bd (·) 为边界域，int (·) 为内部域.
1.3 主要结果下面给出本文的定理及其证明过程.在进行分析时首先要满足一些假设条件.
假设条件1：存在
假设条件2：目标函数f(x) 在可行域S上是凸函数且在
说明1：从假设条件1中可知可行域S是有界的，而且int (S1)∩S2是非空的，而文献[4]~文献[8]中的假设条件不等式约束可行域S1是有界的，相比这些文献，本文所提的假设条件更弱，更具一般性.
定理1 当假设条件1和假设条件2满足时，构造的神经网络 (2) 的解全局存在且唯一.
证明 由于神经网络 (2) 是一个非空紧凸值的上半连续集值映射，因此，对任意
|
可推出
|
(4) |
取h∈[0, T) 使y0=x(h)，则
|
x(t) 在[0, T) 有界推出它可被扩展，这与[0, T) 是神经网络 (2) 存在最大区间的解相矛盾，所以神经网络 (2) 的解是全局存在，而且通过式 (4) 可以看出当初始点为x0时，解是唯一的.
定理2 当假设条件1和假设条件2满足时，对任意初始点，神经网络 (2) 的解有界并且在有限时间内收敛到可行域中.
证明 首先构造Lyapunov能量函数
|
(5) |
|
(6) |
由式 (6) 和可行域S有界可知V(x(t), t) 是非增的.
|
|
(7) |
其中
|
(8) |
|
(9) |
由式 (9) 结合V(x, t) 的非增特性得
|
(10) |
|
(11) |
|
(12) |
由式 (12) 可得
|
(13) |
|
(14) |
因为可行域S有界，x(t) 在[0+∞) 是有界的，即||x(t)||≤γ，并且神经网络 (2) 的解收敛到式 (1) 可行域S，即
说明2：定理2的结论对int (S1)=∅时仍然有效，上面证明了最后收敛到可行域.下面进一步说明可在有限时间内收敛到可行域.
由于A(I－P)=0，所以当x∈Rn\S2时，
又因为
|
(15) |
由式 (15) 知，当t=L(x(0))/λmin(AAT) 时，L(x)=0，x(t) 收敛到S2，其中λmin为矩阵的最小特征值.
当进入到S2时，Pẋ=0，ẋ=(I-P)ẋ，
|
(16) |
其中，
由于当x(t)∈S2\S1时，存在β满足||(I－P)ζ2||≥
定理3 当假设条件1和假设条件2成立时，对任意的初始点，神经网络 (2) 的解收敛到式 (1) 的最优解集.
定理4当假设条件1和假设条件2成立时，对任意初始点，
说明3：定理1给出了神经网络解的存在性及唯一性，定理2证明了神经网络的解在有限的时间内是收敛到可行域的，定理3证明了神经网络的解能收敛到优化问题的最优解集中，最后，定理4证明了本文所提出的神经网络具有全局吸引的性质.
2 仿真分析例1光滑非凸优化问题：
|
取ε(t)=1/(t+1)1/3，从图 1可以看出神经网络 (6) 的解均能收敛到优化问题的最优解，即=(－1, 2)T.这里引用的是文献[6]中的例子，文献[6]中以 (7/2, －5/2)T和 (－3/2, 5/2)T为不同的初始点，网络的轨道分别收敛于 (2, －1)T和 (－1, 2)T，但只有 (－1, 2)T是能达到其在可行域上的最小值.但本文中提出的网络轨道能以不同的初始点都收敛到可行域上的最小值，更具优势.
|
图 1 任意10个初始点的状态轨迹仿真图 Fig.1 Properties of (x1, x2)Twith any ten initial points |
例2非光滑优化问题：
|
|
取ε(t)=4/(t+1)1/2，从图 2可以看出，神经网络 (6) 最终均收敛于优化问题的最优解，即
|
图 2 任意10个初始点的状态轨迹仿真图 Fig.2 Properties of (x1, x2, x3, x4)T with any ten initial points |
例3非光滑凸优化问题：
|
取ε(t)=1/(t+1)1/3，图 3是神经网络 (6) 以 (0, 0, 0)T为初始点的状态轨迹仿真图，最终收敛于最优解
|
图 3 以 (0, 0, 0)T为初始点的状态轨迹仿真图 Fig.3 Properties of (x1, x2, x3)T with zero initial points |
图 4是神经网络 (6) 以 (0, 0, 0)T为初始点的目标函数和约束条件的状态轨迹仿真图.图 5是任意10个初始点的目标函数的状态轨迹仿真图.
|
图 4 以 (0, 0, 0)T为初始点的目标函数和约束条件的状态轨迹仿真图
Fig.4 Properties of f (x) and  |
|
图 5 任意10个初始点的目标函数的状态轨迹仿真图 Fig.5 Properties of f with any ten initial points |
将本文结果与文献[9]的结果作了对比，从仿真结果可以看出，本文所提出的神经网络的收敛速度更快，并且增加了任意初始点时目标函数f的仿真图.
3 结语本文构造了一类新的具有微分包含的神经网络模型来解决一些非线性优化问题，通过引入ε(t) 的高阶补偿项及相应的加权矩阵，使得神经网络具有全局吸引的性质，并且不用确定罚函数，这使得提出的神经网络模型对解决非线性优化问题更有效.与现有的文献进行对比，本文所提出的神经网络可以用电路实现，对任意的初值，神经网络的解都能使目标函数取得最小值，并且本文不需要先找到可行域就能确保神经网络模型的有效性.通过三个数值例子验证了本文方法的有效性.
| [1] | Bazaraa M S, Sherali H D, Shetty C M. Nonlinear programming:theory and algorithms[M]. Hoboken: John Wiley & Sons, 2013: 1-21. |
| [2] | Cichocki A, Unbehauen R. Neural networks for optimization and signal processing[M]. Hoboken: John Wiley & Sons, 1993: 1-20. |
| [3] |
季策, 张化光.
一类具有时滞的广义Hopfield神经网络的动态分析[J]. 东北大学学报 (自然科学版), 2004, 25(3): 205–208.
( Ji Ce, Zhang Hua-guang. Dynamic analysis of a class of generalized Hopfield neural networks with hysteresis[J]. Journal of Northeastern University (Natural Science), 2004, 25(3): 205–208. ) |
| [4] | Liu Q S, Wang J.A one-layer recurrent neural network for non-smooth convex optimization subject to linear equality constraints[M]// Advances in Neuro-Information Processing.Heidelberg:Springer Berlin, 2009:2-30. |
| [5] | Guo Z S, Liu Q S, Wang J. A one-layer recurrent neural network for pseudoconvex optimization subject to linear equality constraints[J]. IEEE Transactions on Neural Networks, 2011, 22(12): 1892–1900. DOI:10.1109/TNN.2011.2169682 |
| [6] | Bian W, Xue X P. Subgradient-based neural networks for nonsmooth nonconvex optimization problems[J]. IEEE Transactions on Neural Networks, 2009, 20(6): 1024–1038. DOI:10.1109/TNN.2009.2016340 |
| [7] | Liu Q S, Wang J. A one-layer recurrent neural network for constrained nonsmooth optimization[J]. IEEE Transactions on Systems, Man, and Cybernetics, 2011, 41(5): 1323–1333. DOI:10.1109/TSMCB.2011.2140395 |
| [8] | Li G C, Song S J, Wu C. Generalized gradient projection neural networks for nonsmooth optimization problems[J]. Science China:Information Sciences, 2010, 53(5): 990–1005. DOI:10.1007/s11432-010-0110-0 |
| [9] | Bian W, Xue X P. Neural network for solving constrained convex optimization problems with global attractivity[J]. IEEE Transactions on Circuits and Systems I:Regular Papers, 2013, 60(3): 710–723. DOI:10.1109/TCSI.2012.2209735 |
| [10] |
耿平, 刘静, 曾梅光.
多变元非线性复杂系统的优化模拟退火算法[J]. 东北大学学报 (自然科学版), 2002, 23(3): 270–272.
( Geng Ping, Liu Jing, Zeng Mei-guang. Multivariate nonlinear complex system optimization and simulated annealing algorithm[J]. Journal of Northeastern University (Natural Science), 2002, 23(3): 270–272. ) |
| [11] |
王占山.
复杂神经动力网络的稳定性和同步性[M]. 北京: 科学出版社, 2014.
( Wang Zhan-shan. Stability and synchronization of complex neural dynamical networks[M]. Beijing: Science Press, 2014. ) |