2.1 시스템 모델 및 외란 정의

본 논문에서는 그림 1과 같은 1기 무한모선 시스템(Single Machine Infinite Bus System, SMIB)을 고려한다. 무한모선에서의 전압의 크기는 일정하며 위상은 0이고 언제나 충분한 양의 발전량과 부하량을 가진다 ⁽³⁾.

전력시스템의 동기 탈조 해석은 외란에 대한 동기발전기의 동기화 여부를 파악하는 것으로 2계 미분방정식인 동요방정식을 통해 해석이 가능하다. 고장으로 인한 과도현상 이후 계통의 상태가 새로운 평형점으로 수렴하는 과정을 표현하기 위한 동요방정식을 상태 공간 방정식으로 나타내면 아래 식과 같다 ⁽¹⁾.

위 식에서 $\delta$는 전력각, $\omega_{\triangle}$은 동기 주파수에 대한 각주파수 편차, $H$는 단위 관성 계수, $f_{0}$와 $\omega_{0}$는 각각 동기 주파수와 동기 각주파수, $P_{m}$은 발전기에 인가되는 기계적 입력, $P_{e}$는 발전기의 전기적 출력, $P_{d}$는 고장 발생으로 인한 추가적인 외란이고 $D$는 댐핑 계수로 일반적으로 0 ~ 2 [${pu}$] 범위의 값을 가진다. 식(1)에서 발전기의 전기적 출력 $P_{e}$는 식(2)와 같다 ⁽²⁾.

위 식에서 $X$는 발전기와 무한모선 사이의 리액턴스, $E$는 발전기 유기기전력, $V$는 무한모선 전압이다. 선로에 고장이 발생하기 전에는 발전기의 기계적 출력과 전기적 출력이 평형을 이루고 있다.

선로에 고장이 발생하면 발전기와 무한모선 사이의 리액턴스 $X$가 변하게 되고 그 값은 고장 발생 위치에 따라서 달라진다. 발전 모선에서 고장 지점까지의 거리 비율을 $\lambda$($0\le\lambda\le 1$)라고 할 때, 3상 단락 고장 후의 리액턴스 값 $X_{post}$를 아래와 같이 쓸 수 있다 ⁽¹⁾.

위 식에서 $X_{s}$는 변압기 및 발전기 $d$축 과도 리액턴스이고 $X_{L1}$과 $X_{L2}$는 각각 건전선로 및 고장선로의 리액턴스이다. 고장 전후의 발전기 유기기전력 $E$와 무한모선 전압 $V$가 동일하다고 한다면 상수 $d$에 대해서 외란 $P_{d}$를 아래와 같이 정의할 수 있다.

본 논문에서는 고장으로 인한 $P_{\max}$의 변화량을 외란의 크기 $d$로 가정하고 외란 관측기를 통해 이를 추정한다. 고장 전의 리액턴스를 $X_{pre}$라고 한다면 $P_{\max}$의 변화량 $d$는 아래와 같다.

2.2 Deep Q-Network(DQN)

강화학습 알고리즘 중 하나인 Deep Q-Network는 주어진 환경에서 현재 상태(state)와 행동(action)을 입력으로 주면 다음 행동에 대한 기댓값을 출력해주는 $Q$ 함수를 학습시켜 최대의 보상(reward)을 받거나 최소의 벌칙을 받도록 에이전트의 행동을 결정하는 알고리즘이다 ⁽¹⁵⁾.

DQN에서 입력은 현재 상태이고 출력은 현재 상태에서 취할 수 있는 다음 행동에 대한 기댓값들이다. Deep neural network의 학습은 아래의 식과 같은 비용함수를 최소화 하는 방향으로 진행된다 ⁽¹⁸⁾.

식(6)에서 $s$와 $s'$은 각각 현재 상태와 다음 상태, $a$와 $a'$은 각각 현재 행동과 다음 상태에서 취할 수 있는 행동, $r$은 현재 행동으로 인해 받은 보상이다. $\gamma$는 감가율(discount factor)이며 이를 통해 보상에 가중치를 부여할 수 있고 감가율이 0에 가깝다면 지금 당장의 보상만 고려한다는 의미이며, 감가율이 1에 가깝다면 먼 미래의 보상까지 고려한다는 의미이다. $\theta$와 $\bar{\theta}$는 가중치로 이루어진 함수이고 각각 main network와 target network에 포함된다. 학습에 의해 가중치가 즉시 update되기 때문에 발생하는 Non-stationary targets 문제를 독립적인 target network를 만들어 해결하였다 ⁽¹⁹⁾.

한편, 강화학습에서의 학습 데이터는 시간의 흐름에 따라 순차적으로 수집되며, 순차적인 데이터는 근접한 것들끼리 높은 연관성(correlation)을 가지게 된다. 이를 Correlation between samples 문제라고 하며, 선형 회귀(linear regression) 시에 그림 2의 (b)와 같이 network의 학습이 다른 방향으로 진행되는 문제를 야기할 수 있다.

이러한 문제를 완화시키기 위해서 Google의 Deep Mind Team이 발표한 replay memory 기법을 이용하였으며, 각 시간 step별로 얻은 data samples를 식(7)과 같이 tuple 형태로 data set에 저장하게 된다. 이때, data set을 메모리에 무한히 저장할 수 없기 때문에 메모리 크기를 고정하고 FIFO(first in first out) 방식으로 저장한다.

위 식에서 $D_{train}$은 식(6)에 사용할 data set이며, 임의의 set을 선택하여 network를 학습 시킨다. 이 방법을 이용하면 그림 2의 (c)와 같이 임의의 sampling을 통해 minibatch를 구성하여 데이터 사이의 연관성을 크게 줄일 수 있다 ⁽¹⁹⁾.

DNN을 통해 구한 기댓값 $Q$를 이용하여 최적의 행동을 선택하는 정책(policy) $\pi(s)$는 식(8)과 같다. 이때, 지역 최적값에 빠져 전역 최적값을 찾을 수 없을 확률이 커지는 문제를 해결하기 위해서 엡실론 탐욕($\epsilon$-greedy) 정책을 추가로 사용한다 ⁽¹⁵⁾.

위 식으로부터 도출되는 결과 값은 양의 정수이며 선택 가능한 행동들에 대응된다. $N$은 일정한 값을 가지는 상수이고, $\epsilon$은 학습이 진행됨에 따라서 점점 작아지는 변수이다. 즉, 학습 초기에는 무작위한 행동을 취함으로써 다양한 경험을 주어 전역 최적값을 찾는 학습이 가능하도록 한다 ⁽¹⁵⁾.

최종적으로 DQN의 학습과 최적의 행동을 선택하는 과정을 흐름도로 정리하면 그림 3과 같다.

2.3 DQN 기반 외란 관측기 설계

동요방정식으로 표현된 1기 무한모선 시스템과 외란 관측기는 그림 3의 Environment에 해당하며 외란의 크기 $d$를 추정하는 DQN 외란 관측기는 아래와 같이 설계할 수 있다. 이때 전력각 $\delta$는 측정이 가능하다고 가정한다 ⁽⁸⁾.

위 식에서 $\hat\delta$, $\hat\omega_{\triangle}$, $\hat d$은 각각 동요방정식의 상태 및 외란 추정값이고 $\bar{\delta}$는 측정 잡음을 포함한 전력각이다. $l_{a1}$, $l_{a2}$, $l_{a3}$는 관측기 이득으로 식(8)에 의해 결정된 값에 따라서 선택되는 일련의 행동이다.

시스템에 외란이 인가될 때 관측기 이득이 충분히 크다면 관측기는 외란에 강인하게 상태를 추정할 수 있다 ^(11,12). 하지만 출력에 측정 잡음이 존재할 경우, 관측기 이득을 크게 설계한다면 관측기는 측정 잡음이 포함된 상태를 추정하기 때문에 실제 상태와의 오차를 증가시키는 문제를 가진다 ⁽¹³⁾.

2.4 상태, 행동, 보상 정의

본 절에서는 1기 무한모선 시스템에 대해서 DQN 기반 외란 관측기를 설계할 때, 학습에 필요한 data set을 모으기 위한 상태(state), 행동(action), 보상(reward)을 정의한다. 본 논문의 DQN에서 상태 $s$를 아래와 같이 정의한다.

다음으로 Environment를 변화시킬 행동을 정의한다. 앞에서 언급한 바와 같이 시스템에 외란이 인가될 때, 상태 추정 성능을 높이기 위해서는 관측기 이득이 커야하지만 출력에 측정 잡음이 존재할 경우, 관측 오차를 증가시키는 문제를 가진다. 따라서 외란과 측정 잡음에 모두 강인한 관측기 설계를 위해서는 상황에 맞는 관측기 이득 선택이 중요하며, 본 논문에서는 선택 가능한 행동 집합 $A$를 아래와 같이 추정 속도에 따라 미리 설계된 관측기 이득으로 결정한다.

위 식에서 $L_{pole_{p}}$는 관측 오차 시스템의 극점을 $s= -p$ 삼중근이 되도록 했을 때의 관측 이득 행렬이다.

마지막으로 상태에 따른 행동을 평가할 보상을 정의한다. $\bar{\delta}$가 측정 잡음을 포함한 전력각이고 실험을 통해 측정 잡음의 최대 크기를 알고 있다고 할 때, 노이즈 레벨 상수 $\nu$를 아래와 같이 정의할 수 있다.

이때 관측 오차 $|\bar{\delta}-\hat{\delta}|$가 노이즈 레벨 상수 $\nu$보다 작으면 관측기 이득은 작아져야하고 반대일 경우 관측기 이득이 커져야 한다는 것을 생각할 수 있다. 이와 같은 정책에 따라 본 논문에서는 적절한 조건문을 활용하여 강화학습을 위한 보상을 설계한다. 보상은 현재 행동에 대해 Environment로부터 좋고 나쁨의 평가를 수치적으로 나타내기 위한 것으로, 현재 상태와 다음 상태 그리고 노이즈 레벨 상수 $\nu$의 크기 관계에 따라서 보상을 나누어 설계한다.

보상 정책에 따라 본 논문에서는 $r_{1}$을 통해서 현재 관측 오차가 $\nu$보다 클 때 상대적으로 큰 관측기 이득을 선택하도록 하였으며, 반대의 경우에는 작은 관측기 이득을 선택하도록 하였다. $r_{2}$를 통해서 현재 행동에 따른 다음 관측 오차가 여전히 $\nu$보다 클 때 큰 관측기 이득을 선택하도록 하였으며, 반대의 경우에는 여전히 작은 관측기 이득을 선택하도록 하였다. 이때 가중치를 부여하여 보상 값을 조정하였다.

예를 들어, 세 가지 행동에 대해 이를 수식적으로 표현하면 아래와 같으며 최종적으로 받게 될 보상은 $r_{1}$과 $r_{2}$를 더하여 음의 부호를 취한 값이다.

위 식에서 $\mu$는 식(8)로부터 도출된 양의 정수값 $a$이고 $T_{n}(\mu)$($n=1,\:2,\:3,\:4$)은 스칼라 값으로 $T_{n}$의 $\mu$번째 값을 나타내며 설계자가 결정한다. $\xi_{1}$, $\xi_{2}$, $\xi_{3}$, $\xi_{4}$ 또한 설계자가 결정한 상수 값이며, 보상 $r_{1}$과 $r_{2}$에 가중치를 부여하기 위한 상수 $\alpha$와 $\beta$를 이용하였다. 변수 값들을 정하기 위한 방법은 다음 절에서 실험을 통해 추가 설명한다.

결과적으로 선택된 행동에 대해서 식(13)과 같이 보상을 설계할 수 있으며, 설계자가 원하는 학습 결과를 내기 위해서는 적절한 보상 정책에 따른 보상 설계가 중요하다.

다음 절에서는 현재 상태와 다음 상태를 기준으로 모의실험에서 사용할 보상을 정의하고 DQN 기반 외란 관측기의 성능 확인을 위한 모의실험을 진행한다.

2.5 모의실험

본 절에서는 표 1의 파라미터를 가진 1기 무한모선 시스템에 대해 설계한 관측기의 외란 추정 성능을 모의한다. 발전 모선에서 고장 지점까지의 거리 비율($\lambda$)은 50[$\%$]이고 1.027초에 3상 단락 고장이 발생하고 고장 발생 약 0.39초 안에 차단기가 정상 동작한 상황을 고려한다. 이때 외란 $d$의 크기는 1.15[${pu}$]이고 시스템의 초기 상태는 $[0.46055 \quad 0]^{T}$이다.

측정 잡음은 정규 분포를 가지는 가우시안 노이즈이며, 노이즈 레벨 상수 $\nu$의 값은 $3.8e-3$이다. DQN의 학습을 진행하기 위한 선택 가능한 행동 집합($A$)를 아래와 같이 정의하였다. 이때 고장으로 인한 외란이 시스템에 인가되었을 때, 외란의 추정치가 계통 주파수인 60[Hz]의 4 사이클 이내로 실제 외란에 수렴할 수 있도록 관측기의 최고 이득을 정했으며, 측정 잡음에 의한 관측 오차 증가의 영향을 최소화하기 위한 관측기의 최소 이득을 정하였다.

보상은 식(13)을 이용하였으며, 각 변수들은 보상 정책에 의해서 실험적으로 정해진 값이다. 선택된 행동에 대해 최종적으로 음의 값으로 정했으며, 학습에 의해 보상이 최대가 되도록, 즉, 관측기 추정 오차가 최소가 되는 방향으로 보상에 사용한 파라미터를 조정하였다. 이때, $\mu$는 1과 3사이의 정수 값이고 $\mu$에 따른 스칼라 $T_{n}(\mu)$($n=1,\:2,\:3,\:4$)의 값은 표 2와 같다. 또한 상수 $\xi_{1}$, $\xi_{2}$, $\xi_{3}$, $\xi_{4}$는 각각 1000, 1000, 2000, 1로 정하였으며, 보상 $r_{1}$과 $r_{2}$에 가중치를 부여하기 위한 $\alpha$와 $\beta$ 값은 각각 0.5, 130으로 정하였다.

한편, DNN의 초기화에는 Xavier initializer를 사용하였으며, 최적화에는 Adam(Adaptive Moment Estimation) optimizer를 사용하였다. 또한 활성화에는 출력층을 제외하고 ReLu를 사용하였다. 학습을 위한 하이퍼 파라미터는 표 3과 같다.

학습이 진행된 Deep Q-Network를 이용하여 외란 관측기(Proposed Obs.)를 설계하였고, 추정 성능 비교를 위해 참고문헌 ⁽¹¹⁾을 참고하여 외란 추정치가 계통 주파수의 5 주기 이내로 외란에 수렴하기 위한 관측기 (9)의 특성다항식이 $(s+400)$$(s+100\pm j200)$이 되도록 고이득 관측기(Conven- tional Obs. 1)를 설계하였다. 또한 측정 잡음의 영향을 최소화하기 위하여 관측기 (9)의 특성다항식이 $(s+10)^{3}$이 되도록 저이득 관측기(Conventional Obs. 2)를 설계하였다.

그림 4 ~ 6에 $\delta$, $\omega_{\triangle}$, $d$와 각 관측기의 추정치를 함께 나타내었다. 그림 4 ~ 6의 $\delta$와 그 추정치에 대한 그래프에서 부분 확대된 그래프의 y축 범위는 26.3 ~ 26.6[deg]이다. 그림 4는 고이득 관측기를 통한 실험 결과를 나타낸 것이다. 제안된 관측기보다 느린 추정 속도로 설계된 관측기임에도 불구하고 측정 잡음의 영향으로 실제 상태와 외란을 잘 추정하지 못하는 모습을 보여준다.

그림 5는 저이득 관측기의 추정치를 나타낸 것으로 관측 이득이 낮아서 측정 잡음의 영향을 크게 받지 않지만, 시스템에 외란이 인가되었을 때 외란 추정이 매우 느린 것을 확인할 수 있다.

그림 6은 제안하는 관측기를 사용한 결과이며 실제 상태와 외란을 성공적으로 추정하는 모습을 보여준다. 또한 외란의 추정치가 계통 주파수의 4 주기 이내로 실제 외란에 수렴하는 것을 볼 수 있다.

마지막으로 그림 7은 제안하는 관측기의 각 시간 step에서 선택된 행동을 나타낸 것으로, 선택된 행동이 $L_{pole_{10}}$일 때 1, $L_{pole_{30}}$일 때 2 그리고 $L_{pole_{120}}$일 때 3의 값을 가진다. 학습에 의해서 설계된 관측기가 측정 잡음이 존재할 때에도 적절한 관측 이득을 선택하는 것을 확인할 수 있다. 결과적으로 DQN 기반 외란 관측기가 강인한 상태 추정과 외란 추정이 가능하고 실제 선로의 고장판별에 활용될 수 있음을 의미한다.