以离散时间系统为例，对自适应动态规划（Adaptive Dynamic Programming，ADP）中Action Network和Critic Network两个网络的更新方式进行说明。

一、系统定义

1.状态方程 state equation

其中数学公式: $ U $是控制指令，数学公式: $ F $是关于状态和控制的动力方程。

2.代价函数 cost function

其中数学公式: $ \psi $为效用函数。对公式2进重写让其从时间k开始

可以对数学公式: $ {J_k} $进行一个拆分

3.定义costate vector

定义在时间k的costate vector

4.最优的必要条件

计算

结合公式（6）和（7）可以得出

结合公式（4）和（5）可以对costate vector进行重写

所以可以得到数学公式: $ \lambda_k $和数学公式: $ \lambda_{k+1} $之间的关系式

公式（1）（8）和（10）必须同时求解，并配合适当的边界条件以求得最优控制的综合。

二、网络的训练

基于AC的ADP算法拥有两个网络分别是Action网络和Critic网络，Action网络主要的作用是根据状态信息生成控制指令，Critic网络的作用是生成costate vector用于调整两个网络的权重。

1.Action 网络的更新流程

第一步：输入状态数学公式: $ X_k $到Action 网络得到数学公式: $ {U_k} $；
第二步：系统模型按照已知的数学公式: $ X_k $和数学公式: $ {U_a} $根据公式（1）得到数学公式: $ X_{k+1} $
第三步：将数学公式: $ X_{k+1} $输入进Critic网络得到数学公式: $ \lambda_{k+1} $
第四步：使用数学公式: $ X_k $和数学公式: $ \lambda_{k+1} $，根据公式（8）计算目标的数学公式: $ U_k^t $
第五步：按照目标控制数学公式: $ U_k^t $来调整Action网络的权重

2.Critic网络的更新流程

第一步：输入状态数学公式: $ X_k $到Action 网络得到数学公式: $ {U_k} $；
第二步：系统模型按照已知的数学公式: $ X_k $和数学公式: $ {U_a} $根据公式（1）得到数学公式: $ X_{k+1} $
第三步：将数学公式: $ X_{k+1} $输入进Critic网络得到数学公式: $ \lambda_{k+1} $
第四步：使用数学公式: $ X_k $和数学公式: $ \lambda_{k+1} $，根据公式（10）计算目标的数学公式: $ \lambda_k^t $
第五步：按照目标costate数学公式: $ \lambda_k^t $来调整Critic网络的权重

参考：A single network adaptive critic (SNAC) architecture for optimal control synthesis for a class of nonlinear systems