线性二次型调节器(LQR)原理详解-Toy模板网

这篇具有很好参考价值的文章主要介绍了线性二次型调节器(LQR)原理详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

LQR(Linaer Quadratic Regulator)，即线性二次型调节器，是一种现代控制理论中设计状态反馈控制器(State Variable Feedback,SVFB）的方法。

算法解释

对于一个系统 $\dot{x}=Ax+Bu$ ，假设我们要设计一个线性反馈控制器 $u = - K x$ ，则此时状态方程可以写为
$\dot{x}=Ax-BKx=\underbrace{(A-BK)}_{A_{cl}}x \tag{1}$
由于让系统稳定的条件是矩阵 $A_{cl}$ 的特征值的实部均为负数，因此我们可以手动选择几个满足上述条件的特征值，然后反解出 $K$ ，从而得到控制器。

那么问题来了，我们该如何选择特征值，才能让控制器的控制效果最好呢？

现在我们定义一种代价函数(cost function) $J$ ：
$J=\int_0^\infty {x^TQx+u^TRu}\ \mathrm{d}t \tag{2}$
其中， $Q$ 和 $R$ 是两个对角参数矩阵，分别决定了状态向量 $x$ 和输入向量 $u$ 的重要性。显然，J是一个二次型函数，这也是LQR中“Q”的由来。

线性代数中定义形如 $x^TAx$ 的形式为二次型。具体可参考矩阵的二次型，矩阵的迹、正定矩阵、Hessian矩阵、实对称_kking_edc的博客-CSDN博客_矩阵二次型。

我们希望的是在满足系统稳定的前提下，通过设计合适的 $K$ ，让代价函数 $J$ 最小。

下面我们来分析代价函数的意义。

代价函数的意义

考虑一个双变量系统，即 $x=\begin{bmatrix}x_1\\x_2\end{bmatrix}$ ，我们希望设计的控制器可以表示为 $u=-[k_1\ k_2]\begin{bmatrix}x_1\\x_2\end{bmatrix}=-k_1x_1-k_2x_2$ 。

此时代价函数可以写为：
$J=\int_0^\infty [x_1\ x_2]Q \begin{bmatrix}x_1\\x_2\end{bmatrix} + \left(-[k_1\ k_2]\begin{bmatrix}x_1\\x_2\end{bmatrix}\right)^TR\left(-[k_1\ k_2]\begin{bmatrix}x_1\\x_2\end{bmatrix}\right)\ \mathrm{d}t \tag{3}$
令 $Q$ 和 $R$ 分别为
$\begin{aligned} Q&=\begin{bmatrix} q_1\\ &q_2\end{bmatrix} \\ R&=r \quad (u是一维向量) \end{aligned} \tag{4}$
则代价函数可以写为：
$J=\int_0^\infty q_1x_1^2+q_2x_2^2+ru^2 \tag{5} \ \mathrm{d}t$
显然，如果令 $q_1>q_2>r$ ，则状态变量 $x_1$ 在代价函数中的占比就更大，这意味着如希望代价函数最小， $x_1$ 必须更小。又因为 $Q$ 越大意味着闭环系统矩阵 $A_{cl}$ 的极点在s平面中更偏左，因此 $x_1$ 收敛得更快。若 $r>q_1>q_2$ ，则希望输入量收敛得更快，也就是以更小得代价实现系统稳定，通常意味着更加节省能量。

因为对象是线性的，并且代价函数是二次型，因此这种选择 $K$ 设计状态反馈控制器以最小化代价函数 $J$ 的方法被称为“线性二次型调节器(LQR)”。Regular意味着这种反馈的功能是将系统状态调节为0，这在一些追踪问题中会受到约束，因为我们可能希望稳定状态是给定的非零值。

现在的问题是，我们该如何求解 $K$ 才能让代价函数 $J$ 最小呢？

推导过程

对于式 $(2)$ ，我们定义一个辅助常量矩阵 $P$ ，使得
$\frac{\mathrm{d}}{\mathrm{d}t}x^TPx=-(x^TQx+u^TRu) \tag{6}$
将式 $(6)$ 带入式 $(2)$ 可得
$\begin{aligned} J&=-\int_0^\infty \frac{\mathrm{d}}{\mathrm{d}t}x^TPx \ \mathrm{d}t \\ &=-(x^TPx|_\infty - x^TPx|_0)\\ &=-(0 - x^TPx|_0)\\ &=x^T(0)Px(0) \tag{7} \end{aligned}$

注：由于我们假设系统稳定，当 $t\rightarrow \infty,x(t)\rightarrow 0$ 。

显然，式 $(7)$ 只和参数矩阵 $P$ 以及系统的初始状态有关，让 $P$ 最小也就是让代价函数最小。现在就要找出满足式 $(6)$ 的 $P$ 。将式 $(6)$ 左边的微分项展开可得：
$\begin{aligned} \dot{x}^TPx+x^TP\dot{x}+x^TQx+x^TK^TRKx&=0\\ x^TA_{cl}^TPx+x^TPA_{cl}x+x^TQx+x^TK^TRKx&=0\\ x^T(A^T_{cl}P+PA_{cl}+Q+K^TRK)x&=0 \tag{8} \end{aligned}$

注意： $AB)^T=B^TA^T$

由于上式对于所有 $x (t)$ 来说都要满足，因此括号中的项要恒等于零。带入 $A_{cl}=A-BK$ 可以得到
$\begin{aligned} A^T_{cl}P+PA_{cl}+Q+K^TRK&=0\\ (A-BK)^TP+P(A-BK)+Q+K^TRK&=0\\ A^TP+PA+Q+K^TRK-K^TB^TP-PBK&=0 \tag{9} \end{aligned}$
上式是一个复杂的二次型矩阵方程，有没有化简的方法呢？假设我们选择
$K=R^{-1}B^TP \tag{10}$
则式 $(9)$ 可被写为
$\begin{aligned} &A^TP+PA+Q+(R^{-1}B^TP)^TR(R^{-1}B^TP)-(R^{-1}B^TP)^TB^TP-PB(R^{-1}B^TP)=0\\ &A^TP+PA+Q-PBR^{-1}B^TP=0 \end{aligned} \tag{11}$
上式在现代控制理论中非常重要，也被称为Algebraic Riccati Equation (ARE)。ARE是一个矩阵二次方程，对于给定的(A,B,Q,R)可以解出辅助矩阵 $P$ 。之后，优化反馈控制器的 $K$ 就可通过式 $(10)$ 得出，代价函数的最小值可以用式 $(7)$ 得到。

综上，求解LQR反馈控制器参数 $K$ 的过程为：

设计参数矩阵 $Q, R$
求解ARE方程以得到辅助矩阵 $P$
$K=R^{-1}B^TP$

目前已有求解ARE很完善的数值程序，例如MATLAB把它封装进了lqr(A,B,Q,R)函数中。

可控性

只要满足一些基本条件，LQR的设计过程就能保证得到一个让系统稳定的反馈控制器。

LQR定理

令系统 $(A, B)$ 可控， $R$ 和 $Q$ 都是正定的，则闭环系统 $(A - B K)$ 渐近稳定。

注意，不管系统的开环稳定性如何，这都是成立的。

回顾现控的相关知识：可控性可以通过检查可控性矩阵 $U=\begin{bmatrix}B&AB&A^2B&\cdots & A^{n-1}B\end{bmatrix}$ 是否满秩来判断。