2.1 LQR 제어기 소개

본 논문에서는 시스템 파라미터 추정을 위해 아래 시스템에 대한 LQR 제어기 설계 방법을 활용한다.

식 (1)에서 $x\in ℝ^{n}$는 시스템 상태, $u\in ℝ^{m}$는 시스템 입력, $y\in ℝ^{r}$는 시스템 출력이고 $A\in ℝ^{n\times n}$, $B\in ℝ^{n\times m}$, $C\in ℝ^{r\times n}$는 각각 시스템 행렬, 입력 행렬, 출력 행렬이다. 시스템은 제어 가능하고 관측 가능하다고 가정한다.

LQR 제어기는 아래와 같은 성능 지수 $J$를 최소화하는 상태 궤환 제어 이득을 찾는 최적 제어 기법이다⁽¹⁴⁾.

위 식의 행렬 $Q$는 positive semi-definite하고 $R$은 positive definite한 행렬이며 $(A,\:\sqrt{Q})$는 관측 가능하게 정한다. 이때 $J$를 최소화하는 최적 이득 $K^{*}$ 및 입력 $u^{*}$를 다음과 같이 얻을 수 있다.

위 식의 행렬 $P^{*}$는 positive definite하고 아래 식과 같은 algebraic Riccati equation(ARE)의 유일해로 주어진다⁽¹⁴⁾.

또한 행렬 $A-BK^{*}$가 Hurwitz하므로 행렬 $P^{*}$는 아래 Lyapunov 행렬식을 만족하게 된다.

최근까지 다양한 방식으로 LQR 문제의 해를 찾기 위한 시도가 있었으며 그 중 Lewis⁽¹⁵⁾는 강화학습 기반의 ADP를 활용한 policy iteration을 통해 LQR 문제를 해결하였고, Silva⁽¹⁸⁾는 Data-Driven 방식을 이용하여 LQR 문제를 해결하였다. 이때 시스템 파라미터는 사용되지 않으며 상태 정보만을 사용한다. Jiang은 강화학습 알고리즘과 Kleinman⁽¹³⁾의 알고리즘을 반복적으로 이용하여 최적 제어 LQR 문제의 해를 제시하였다^(16,17). 이때 iteration 변수 $k = 0$에서부터 아래의 과정을 반복한다:

1. $A-BK_{0}$가 Hurwitz 하도록 하는 행렬 $K_{0}\in ℝ^{{m}\times{n}}$를 정한다.

2. $A_{k}:= A-BK_{k}$로 정하고 아래의 Lyapunov 행렬식을 풀어서 행렬 $P_{k}$를 구한다.

3. 위에서 구한 $P_{k}$가 수렴할 때까지 아래와 같이 $K_{k+1}$를 정하고 2번으로 돌아간다 ($k a rrow k+1$).

위의 과정을 반복하여 $k\ge 0$인 모든 $k$에 대해서 Hurwitz한 행렬 $A-BK_{k}$를 얻을 수 있으며 이때 $P_{k}\ge P_{k+1}\ge P^{*}$가 만족되어 최적의 제어 이득 $\lim_{k\to\infty}K_{k}= K^{*}$를 구할 수 있다⁽¹⁶⁾.

강화학습 알고리즘 기반 LQR 제어기는 위에서 설명한 알고리즘을 바탕으로 최적의 $P^{*}$와 $K^{*}$를 구하는 방법이다. 이때 최적 제어 이득을 계산하는 방법은 On-policy learning과 Off- policy learning이 있다⁽¹⁶⁾. 이 중 Off-policy learning은 이득 $K_{0}$를 사용한 첫 제어 입력을 인가하여 일정 시간 동안 얻은 상태변수 데이터를 반복적으로 사용하여 최적의 제어 이득을 구하는 방법이다. 업데이트되는 $K_{k}$를 제어 입력에 사용하지 않기 때문에 본 논문에서는 Off-policy learning를 이용하여 LQR 이득을 결정하는 방식을 파라미터 추정에 활용한다.

2.2 Off-policy 학습 기반 LQR

식 (1)의 시스템에 대해서 일정 시간 동안 인가하는 제어 입력으로 아래 식을 고려한다 ($k\ge 0$).

위 식에서 $K_{k}$는 식 (7)로 구한 상태 궤환 이득이고 $e$는 의도적으로 주입하는 학습 노이즈 신호이다⁽¹⁶⁾. 식 (8)을 식 (1)의 시스템에 인가하면 아래 식을 얻을 수 있다.

최적의 제어 이득을 구하기 위한 policy를 결정하기 위해 Lyapunov 함수를 $V = x^{T}P_{k}x$와 같이 정의하고 미분하면 다음 식을 얻을 수 있다.

위 식에서 $Q_{k}= Q + K_{k}^{T}RK_{k}$이다. 식 (10)의 아래 식에 행렬 $A$와 $B$가 없으므로 이는 두 행렬을 모르는 상황에서도 최적 제어 이득 $K^{*}$를 구할 수 있음을 의미한다.

우변의 $2e^{T}RK_{k+1}x$항을 이항하여 양변을 시간 $\delta$만큼 적분하면 아래 식을 얻을 수 있다.

Off-policy learning은 첫 제어 입력($u_{0}$)으로 얻은 상태변수 데이터를 반복해서 사용하기 때문에 $k$번째 시행마다 식 (11)의 학습 노이즈 $e$에 새로운 신호를 인가하는 것처럼 바꿔줘야 한다. 이를 위해 아래 식과 같이 변형한 입력을 생각한다.

위 식에서 $e_{k}$는 $k$번째 시행의 학습 노이즈로 식 (8)의 학습 노이즈 $e$ 대신 $(K_{k}x+u_{0})$가 인가된 것으로 간주할 수 있다.

행렬 $P_{k}$와 $K_{k+1}$를 구하기 위해 행렬을 열벡터로 바꿔주는 vec 연산자를 식 (11)의 양변에 적용하고 Kronecker Product 연산자를 이용하여 정리하면 아래와 같다. 이때 임의의 세 행렬 $M,\: N,\: L$의 곱에 관한 아래 성질을 활용한다⁽¹⁷⁾.

위와 같은 policy를 반복적으로 풀기 위해 정한 시간 수열 $\left\{t_{i}:i = 1,\:2,\: ... ,\: l,\: 0\le t_{1}<t_{2}<...<t_{l}\right\}$에 대해 식 (14)를 나열하고 이를 간단히 표현하기 위해 아래 행렬들을 정의한다.

위를 통해서 $\Theta_{k}:=\left[\delta_{xx},\: -2\theta_{xx}(I_{n}\otimes K_{k}^{T}R)-2\theta_{xu}(I_{n}\otimes R)\right]$, $\Xi_{k}:= -\theta_{xx}vec{(}Q_{k})$라고 정의하면 아래 식을 얻을 수 있다.

위 식의 해가 유일하기 위해서는 $\Theta_{k}$의 rank가 $\dfrac{n(n+1)}{2}+nm$ 이상 되도록 해야 한다⁽¹⁶⁾. 이러한 policy iteration 과정은 충분히 작은 $\epsilon >0$에 대해서 $\left\|P_{k}-P_{k-1}\right\|<\epsilon$이 만족될 때까지 이루어진다 ($k\ge 1$).

위와 같은 방법으로 시스템의 모델 정보 $A$와 $B$ 없이 구한 $P_{k}$와 $K_{k+1}$ 행렬을 이용하여 시스템의 파라미터를 추정하는 기법을 다음 절에서 소개한다.

2.3 Off-policy 학습 기반 파라미터 추정

본 절에서는 Off-policy 학습 기반 LQR을 이용하여 파라미터를 추정하는 방법을 설명한다. 앞 절에서 시스템 정보 $A$와 $B$ 없이 Off-policy 학습 기반 LQR을 통해 성능 지수 $J$를 최소화하는 행렬 $P_{k}$와 제어 이득 $K_{k+1}$을 찾을 수 있음을 확인하였다. 이를 이용하여 식 (7)로부터 매 $k$번째 시행에서 입력 행렬 추정치 $\bar{B}_{k}$는 아래와 같이 구할 수 있다. 이때 $P_{k}$는 positive definite하므로 항상 역행렬이 존재한다.

다음으로 행렬 $A$를 추정하기 위해 식 (17)에서 구한 $\bar{B}_{k}$를 이용하여 식 (5)를 아래와 같이 다시 정리한다.

위 식에서 가중치 행렬 $Q$와 $R$ 그리고 Off-policy 학습으로 구한 $P_{k}$와 $K_{k}$는 아는 값이다. 위 식으로부터 행렬 $A$를 계산하기 위해 아래와 같이 식을 정리한다.

위 식에서 $\Psi\in ℝ^{(n\times n)\times j}$는 $P_{k}$의 원소들로 이루어진 행렬이고 $\Pi\in ℝ^{j\times 1}$는 추정해야할 $A$의 원소들로 이루어진 열벡터로 $j$는 추정하는 파라미터 개수를 의미한다. 행렬 $\Gamma$는 괄호 안의 행렬들로 계산된다.

$A^{T}P_{k}+P_{k}A$는 대칭 행렬이므로 행렬 $\Psi$의 rank는 최대 $\dfrac{n(n+1)}{2}$를 가진다. 이때 추정하려고 하는 행렬 $A$의 파라미터의 수가 $\dfrac{n(n+1)}{2}$개를 초과하면 행렬 $A$를 추정할 수 없다.

예를 들어 시스템 $(A,\: B)$가 제어가능하고 아래와 같이 미지의 원소들로 구성된 2차 시스템을 고려한다. 이때 출력 행렬 $C$ = $\begin{bmatrix}1& 0\end{bmatrix}$으로 가정한다.

위 식에 대해 Off-policy 학습 기반 LQR을 이용하여 얻은 positive definite 행렬 $P_{k}$는 다음과 같다.

$A^{T}P_{k}+P_{k}A$를 계산하여 정리하면 아래와 같고 이를 식 (19)의 행렬 $\Psi\Pi$ 형태로 나타내면 식 (23)과 같다.

위 식으로부터 행렬 $\Psi$의 행 계수는 3이므로 유일해 $\Pi$를 구할 수 없다. 이를 해결하기 위해 Off-policy 학습 기반 LQR 단계에서 아래의 식과 같이 출력의 적분 항이 추가된 확장된 시스템을 고려한다.

위 식에서 $z$는 출력의 적분 항인 $\xi$로 확장된 상태 $[\xi x_{1}x_{2}]^{T}$이고 $A_{e}$와 $B_{e}$는 각각 확장된 시스템 행렬과 입력 행렬이다.

확장된 시스템에 Off-policy 학습 기반 LQR을 적용하기 위한 제어 가능성 확인을 위해 PBH test를 활용한다⁽²⁵⁾.

식 (26)의 $s\ne 0$일 때 시스템 $(A,\: B)$의 가제어성에 의해 준 행렬은 항상 full row rank를 가진다. 한편 $s=0$일 때 full row rank를 갖는 조건은 $a_{12}b_{2}-a_{22}b_{1}ne 0$이다. 이 값이 0이 되는 경우는 시스템 (20)의 영점이 원점에 존재하는 경우이므로 원 시스템이 원점에 영점을 갖지 않을 때 아래 조건을 만족하게 되어 확장된 시스템은 제어가능하다.

확장된 시스템에 대해서 Off-policy 학습 기반 LQR을 적용하면 새로운 $P_{e,\: k}$와 $K_{e,\: k+1}$을 구할 수 있고 이때 시스템 행렬 $A_{e}$를 추정하는 과정에서 행렬 $\Psi_{e}$는 full rank를 가질 수 있게 된다.

시스템 (25)에 대해 Off-policy 학습 기반 LQR을 이용하여 얻은 행렬 $P_{e,\: k}$는 아래와 같다.

행렬 $A_{e}^{T}P_{e,\: k}+P_{e,\: k}A_{e}$를 계산하여 정리하면 아래와 같고 이때 $\nu$와 $\eta$는 각각 $\nu = p_{13}+a_{11}p_{23}+a_{12}p_{22}+a_{21}p_{33}+a_{22}p_{23}$와 $\eta =p_{11}+p_{12}+2a_{11}p_{22}+a_{21}(p_{23}+p_{33})$이다.

식 (29)에서 알려진 값들을 분리하여 우변으로 이항한 후에 정리한 좌변을 행렬 $\Psi_{e}\Pi$ 형태로 나타내면 아래와 같다.

식 (30)의 행렬 $\Psi_{e}$가 full column rank를 갖지 않는 경우는 $p_{12}=p_{13}$과 $p_{22}=p_{23}=p_{33}$이 동시에 만족될 때이며 $P_{e,\: k}$는 positive definite 성질에 의해 가역행렬이므로 이 조건은 성립하지 않는다. 따라서 행렬 $\Psi_{e}$는 항상 full column rank를 가지므로 유일해를 구할 수 있고 결과적으로 행렬의 추정치 $\bar{A}_{k}$를 결정할 수 있다.

본 절에서 제안한 파라미터 추정 과정을 순서도로 정리하면 그림 1과 같다.

다음 장에서는 제안하는 파라미터 추정 기법을 통해 전력 시스템의 동기 탈조 판별을 위한 외란 관측기를 설계하고 그 성능을 모의한다.

3.1 시스템 모델 및 외란 정의

본 논문에서는 아래 그림과 같이 충분한 양의 발전량과 부하량을 가지는 1기 무한모선 시스템(Single Machine Infinite Bus System)을 고려한다.

그림 2에서 $F$는 고장 지점을 의미하며 선로에 고장이 발생하면 선로 리액턴스를 변화시켜 계통을 불안정하게 할 수 있고 심한 경우에는 동기 탈조가 발생할 수 있다. 이러한 동기 탈조 해석에 주로 사용되는 일반적인 동요방정식은 아래와 같다^(19-22).

위 식에서 $\delta$는 전력각, $f_{0}$는 동기 주파수, $\omega_{0}$는 동기 각주파수이고 $H$는 단위 관성 계수이다. 또한 $P_{m}$은 발전기에 인가되는 기계적 입력, $P_{e}(\delta)$는 발전기의 전기적 출력, $P_{d}$는 추가적인 외란이고 $D$는 댐핑 계수로 일반적으로 0에서 2[${pu}$] 범위의 값을 가진다⁽²²⁾.

식 (31)에서 발전기의 전기적 출력 $P_{e}(\delta)$는 다음과 같다.

위 식에서 $X$는 발전기와 무한모선 사이의 선로 리액턴스, $E$는 발전기 유기 기전력이고 $V$는 무한모선 전압이다. 이때 무한모선에서 전압의 크기는 일정하고 위상은 0이다.

선로에 고장이 발생하기 전에는 발전기의 기계적 출력과 전기적 출력이 평형을 이루고 있지만 고장이 발생하면 고장 발생 위치에 따라서 발전기의 전기적 출력이 달라진다. 본 논문에서는 고장으로 인한 $P_{\max}$의 변화량을 상수 $d$로 가정하여 외란 $P_{d}:= d\sin(\delta)$로 정의한다.

본 논문에서는 계통이 정상 운전 중($P_{d}= 0$)일 때 식 (31)을 아래와 같이 상태 공간 방정식으로 표현하고 앞 절에서 제안한 방법으로 파라미터를 추정하고 외란 관측기를 설계한다.

위 식에서 $\omega_{\triangle}$는 동기 주파수에 대한 각주파수 편차이고 $u_{P}$는 $(P_{m}-P_{e}(\delta))$이며 시스템 입력으로 간주한다. 이때 $P_{e}(\delta)$의 비선형성이 학습 노이즈 역할을 하여 Off-policy 학습 기반 LQR을 이용한 파라미터 추정을 가능하게 한다.

선로 고장시 시스템 (33)은 아래의 식과 같이 쓸 수 있다.

외란 관측기를 이용하여 외란의 크기 $d$를 추정함으로써 추정한 값과 Critical Clearing Time(CCT)과의 비교를 통해서 계통의 동기 탈조 여부를 빠르게 판단할 수 있다⁽²³⁾.

3.2 파라미터 추정 및 외란 관측기 설계

식 (34)에 대한 정확한 외란 추정을 위한 관측기 설계를 위해 시스템 모델 정보가 필요하며 이때 파라미터 $D$와 $H$에 불확실성이 존재하는 경우 외란 관측기는 외란 이외의 다른 요소가 포함된 등가 외란을 추정하게 된다.

시스템 (34)의 추정 대상 행렬은 아래와 같다.

위 식으로부터 ($A,\: B$)는 제어가능하고, 추정해야할 시스템 파라미터는 $a_{22}$와 $b_{2}$로 각 행렬에 한 개씩이다. 이때 식 (19)는 아래와 같이 정리할 수 있다.

위 식으로부터 시스템 식 (34)는 출력의 적분 항을 추가하지 않고 원하는 파라미터를 추정할 수 있음을 알 수 있다.

충분한 반복 시행을 거쳐 추정된 시스템 파라미터 $\bar{A}_{k}\approx\bar{A}$, $\bar{B}_{k}\approx\bar{B}$라고 할 때 외란 추정을 위해 외란 $d$를 상태로 추가한 확장된 시스템 식은 다음과 같다. 이때 외란은 관측기 동특성에 비해 느리게 변하여 $\dot d\approx 0$이라고 가정한다^(4,11).

위와 같이 확장된 시스템에 대해 관측기를 다음과 같이 설계할 수 있다.

위 식에서 $\hat x$와 $\hat d$은 각각 시스템 상태와 외란의 추정치이고 $L$은 관측기 이득이다. 식 (37)과 식 (38)을 이용하여 관측 오차 시스템을 아래와 같이 구할 수 있다.

위 행렬의 모든 고유치가 음의 실수부를 갖도록 관측기 이득 $L$을 결정하면 관측기는 시스템의 상태와 외란을 추정할 수 있다.

3.3 모의실험

모의실험에 사용되는 각각의 파라미터의 값은 표 1과 같고 시스템의 초기 상태는 $[0.46 0]^{T}$이다.

발전 모선에서 고장 지점까지 거리 비율을 50$[%]$라고 했을 때 외란 $d$의 크기는 1.15$[{pu}]$이고 1초에 고장이 발생하고 0.27초 안에 차단기가 정상적으로 동작한 상황을 고려한다.

Off-policy learning에서 사용된 가중치 행렬 $Q$, $R$과 초기 이득값 $K_{0}$은 각각 아래와 같고 iteration이 수렴 오차 $\epsilon$의 값을 $10^{-8}$으로 설정하였다.

외란 관측기 설계를 위해 필요한 시스템 파라미터는 $a_{22}$와 $b_{2}$이며, 추정 행렬의 초기값은 아래와 같다.

그림 3과 4는 각각 $a_{22}$와 $b_{2}$에 대한 파라미터 추정 과정과 추정 오차의 크기를 함께 나타내었다. 학습 시작 이후 8번의 시행 만에 $\left\|P_{k}-P_{k-1}\right\|<10^{-8}$이 만족되었고, $a_{22}$와 $b_{2}$에 대한 파라미터의 추정이 잘 이루어지는 것을 확인할 수 있다.

추정된 파라미터 $\bar{A}$, $\bar{B}$를 이용하여 외란 관측기를 설계하였으며 계통 주파수의 4주기 이내로 외란에 수렴하도록 하기 위한 관측기 이득 $L$을 관측 오차 행렬의 고유치가 $s= -1000$에 삼중근이 되도록 하였다.

그림 5와 6은 추정한 시스템 모델을 이용하여 설계된 외란 관측기의 상태 및 외란 추정 성능을 보여준다. 그림 5는 동요방정식의 각속도 추정 결과이고 그림 6은 계통의 선로 고장으로부터 발생된 외란을 추정한 결과이다.

제안하는 방법(Proposed)에 의한 관측기의 추정 성능개선을 확인하기 위해 표 1의 파라미터 $H$에 10%의 오차가 존재하는 $H = 4.5[{MJ}/{MVA}]$일 때 이전 결과 ⁽²³⁾(Previous)와 추정 결과를 비교하였다. 파라미터 불확실성이 있을 때 이전 결과(Previous)는 외란 추정이 만족스럽지 않음을 알 수 있다. 모의실험 결과로부터 제안하는 관측기가 선로 고장으로 발생한 외란을 성공적으로 추정하는 것을 확인할 수 있다.