博弈论考虑游戏中的个体的预测行为和实际行为，并研究它们的优化策略.零和博弈表示所有博弈方的利益之和为零或一个常数，即一方有所得，其他方必有所失.非零和博弈表示在不同策略组合自适应动态规划(adaptive dynamic programming，ADP)理论融合了动态规划、增强学习以及函数近似等方法，在处理非线性系统的最优控制问题中有着独特优势^{[1, 2]}.ADP方法已经应用到求解零和博弈问题和非零和博弈中^{[3, 4, 5, 6, 7, 8, 9, 10]},根据是否需要内部系统模型信息，算法可分为无模型算法和有模型算法.文献^[3]提出一种基于策略迭代增强学习技术的自适应控制算法解决非零和博弈问题;文献^[7]采用积分RL(reinforcement learning)方法在线求解线性连续系统的非零和博弈纳什均衡解;文献^[8]采用基于单网络的ADP方法来求解非线性连续系统的非零和博弈平衡点.以上文献提出的算法均需要知道系统模型信息.文献^[9]提出了一种无模型策略迭代算法求解线性二次最优问题;文献^[10]提出了一种无模型策略迭代算法求解零和博弈问题，其中值函数、控制策略和干扰策略同时更新.目前还没有对内部系统模型未知的非零和博弈问题的求解.

本文提出一种在线积分策略迭代算法，该算法不需要知道系统的模型信息，利用输入输出数据求解非零和博弈问题的纳什平衡解.

考虑一类非线性连续时间动态系统：

仿照文献^[8]定义两个性能指标：

对于控制策略 u和干扰策略w ，定义值函数：

定义非零和博弈问题为

问题目标是找到满足以下不等式的纳什平衡策略 (u^*,w^*) ：

对值函数微分得到非线性Lyapunov方程：

定义Hamilton函数: H_i( x,∇V_i,u,w)= r_i( x,u,w)+( ∇V_i)^T( f(x)+g(x)u+k(x)w )(i=1,2).

由得到

将式(10)代入式(9)得到两个耦合的HJ方程：

这是两个非线性偏微分方程，很难得到解析解.

为了分析无模型积分策略迭代(policy iteration，PI)算法，首先给出一个已知模型非零和博弈的PI算法.

算法1的步骤如下：

步骤1 给定初始稳定控制策略 u₁和干扰策略w₁ ，设定i=1.

步骤2(策略评价) 根据已知 u_i和 w_i ，通过下面的李雅普诺夫方程求解V₁ⁱ和V₂ⁱ：

步骤3(策略提高) 更新控制和干扰策略:

步骤4 如果‖V_jⁱ－V_j^i－1‖≤ε(j=1,2，ε是预设的正实数)，停止算法并输出V₁ⁱ，V₂ⁱ；否则，设i=i+1，并转到步骤2.

可以证明^[11]当i→∞时，算法1得到的V_jⁱ(j=1,2)， u _i， w _i 分别收敛到HJ方程的最优解V_j^*，最优纳什平衡策略 u^*和w^*.

接下来给出在线无模型积分PI算法.为了规避系统模型的信息，将探测信号e先后加入到控制策略u _i和干扰策略 w _i中，假设探测信号是预知的非零有界可测信号，‖e‖≤e _M.

系统(1)变为

值函数V₁ⁱ,V₂ⁱ关于时间的导数为

利用式(11)，式(12)从t到t+T积分式(14)得到

在式(15)和式(16)中没有出现 f(x)，g(x)和k(x)的信息，因此得到了下面的无模型积分PI算法.

算法2的步骤如下：

步骤1 给定初始稳定控制策略 u ₁和干扰策略 w ₁，设定i=1.

步骤2 已知 u _i,w _i,e 解下面的方程求解V₁ⁱ,V₂ⁱ,u _i+1,w _i+1，

步骤3 如果‖V_jⁱ－V_j^i－1‖≤ε(j=1,2，ε是预设的正实数)，停止算法并输出V₁ⁱ，V₂ⁱ；否则，设i=i+1，并转到步骤2.

在算法2中同时更新值函数、控制策略和干扰策略.

为了实现算法2，使用2个评价神经网络和2个执行网络用来近似值函数、控制策略和干扰策略.这里为了简化表示，记m=q=1.对式(17)和式(18)， V_jⁱ( x )(j=1,2)， u _i+1( x ) ， w _i+1 (x) 可以用单层神经网络表示如下：

使用式(23)~式(26)，式(17)和式(18)可以写成下面的形式：

因为式(27)和式(28)是一维方程，不能保证解的唯一性.使用最小二乘法计算参数向量:

如果 Φ ^j_i列满秩，则:

因此采样数据K要取得足够大，K_min=rank( Φ _i^j)=N₁+N₂(N₁，N₂分别对应和的维数)，以保证( Φ _i¹( Φ _i¹) ^T)^－1存在.最小二乘问题可以通过采集系统数据实时求解.

为了验证算法的有效性，本文利用Matlab软件对算法2进行了仿真实验.

考虑下面的非线性系统：

性能指标(2),(3)分别定义为 Q₁(x)=2 x ^T x，R₁₁=R₁₂=2 I，Q₂(x)= x ^T x，R₂₁=R₂₂= I，其中 I 代表单位矩阵.

设置初始状态 x ₀=[1 2]^T.神经网络激活函数 φ₁(x)=φ₂(x)=φ₃(x)=φ₄(x)= [x₁² x₁x₂ x₂²] ^T，其初始参数均设置为零.探测信号选择e=sin(t)，算法在线执行，系统响应数据采集周期T=0.04，最小二乘法需要20组数据，所以 每0.8s更新一次激活函数参数.图 1表示V₁的参数对更新次数的变化，图 2表示V₂的参数对更新次数的变化，可以看出在3次更新以后参数基本保持不变.图 3表示在得到控制器和干扰器作用下的系统响应图.

图 1(Figure 1)

Fig. 1

图1 V1参数更新 Fig. 1 V1 parameter update

图 2(Figure 2)

Fig. 2

图2 V2参数更新 Fig. 2 V2 parameter update

图 3(Figure 3)

Fig. 3

图3 系统状态响应 Fig. 3 System state response

从图 1和图 2可以看出，值函数的权重 W 很快就收敛到了稳定值.从图 3可以看出得到的控制器可以保证系统一致最终有界的.

本文提出一种无模型积分策略迭代算法求解非零和博弈问题，通过在控制策略和干扰策略中加入已知噪声，消除算法迭代对系统信息模型的依赖.值函数、控制策略和干扰策略同时更新，加快了算法收敛速度.最后仿真算例验证了算法的有效性.