4.1 행동(action)

MDP에서 행동 집합이란 주어진 상태에서 학습 주체인 에이전트가 수행할 수 있는 행동의 집합으로 정의된다. 배전계통 재구성 문제에서 행동은 목적함수의 의사결정 변수인 개폐기의 개/폐 상태로 정의된다. 본 논문에서 개폐 상태는 시간 $t$에서 개폐기 $l$이 개방된 상태를 0, 단락된 상태를 1로 하여 식(10)과 같이 $sw_{l}^{t}$로 정의하였고, 절체용 개폐기의 수를 $L$이라 할 때 시간 $t$에서 에이전트의 행동 $a^{t}$를 식(11)와 같이 정의하였다.

4.2 상태(state)

상태란 에이전트가 활동하는 환경에 대한 상태를 의미한다. 강화학습에서는 에이전트의 행동에 따라 상태가 새로운 상태로 이전된다. 본 논문에서는 상태를 시간 $t$와 기준모선을 제외한 모선 $n$의 유효전력 $p_{n}^{t}$을 성분으로 하는 벡터 $bold p$, 유효전력 $q_{n}^{t}$을 성분으로 하는 벡터 $bold q$, 시간 $t-1$의 행동 $a^{t-1}$으로 정의하였다. 상태는 식(12)와 같이 표현된다.

4.3 보상(reward)

보상은 주어진 상태에서 취해진 행동에 대한 결과로 에이전트가 획득하는 이득이다. 보상은 상태와 행동에 대한 함수로 표현된다. 합리적인 에이전트는 운영 기간이 종료되었을 때까지 받는 보상의 합인 누적보상을 최대화하는 방향으로 학습하기 때문에 보상의 설정은 학습효과 및 결과에 지대한 영향을 미친다. 본 논문에서는 보상을 최적화 문제에서 정의한 전력손실인 출력삭감($c_{\overline{n}}^{t}$), 선로손실($l^{t}$) 및 개폐기 동작에 의한 개폐 손실($sl^{t}$)의 합에 음의 부호를 취하여 식(13)과 같이 정의하였다. 보상을 구성하는 출력삭감 및 선로손실은 조류계산을 통해 구할 수 있다.

4.4 DQN 학습과정

DQN의 전반적인 학습과정인 표 1을 정리하면 다음과 같다. 알고리즘에서 사용된 $D$는 리플레이 버퍼이고, $M$ 은 에피소드의 수, $T$는 총 시간, $C$는 Q-목표 파라미터 갱신 주기, $\gamma$는 감가율을 의미한다. 알고리즘에 대한 자세한 설명은 다음과 같다. (1-2) 리플레이 버퍼 $D$와 행동 가치함수 파라미터 $\theta^{Q}$을 초기화하고, 효율적인 학습을 위해 식(12)로 구성된 상태행렬의 정규화 과정을 거친다. (3-4) 시간 1에서 $T$로 구성된 에피소드에 대해 (4-14)를 $M$번 반복한다. (5-8) DQN에 현재 상태를 입력으로 넣어주면, 해당 상태에서 가능한 모든 Q값이 반환되고 에어전트는 ε-greedy 정책에 따라 ε의 확률로 무작위 행동을 하고, 1-ε의 확률로 최대 Q값을 갖는 행동을 수행한다. 본 논문에서는 학습 초기에는 에이전트가 모델에 대해 충분히 탐색하고 후반으로 갈수록 학습한 행동을 활용하기 위해 $k$를 두어 ε값을 점차적으로 줄여갔다. (9) 에이전트가 행동(개폐 동작)을 취하면 그에 따른 보상을 취득하고 다음 상태로 이동한다. 상태, 행동, 보상, 다음 상태의 일련의 과정인 경험을 튜플로 구성하여 리플레이 버퍼에 저장한다. (10) 버퍼에 충분한 양의 경험이 쌓이면 버퍼에서 배치크기 만큼의 경험을 무작위로 선택하여 DQN을 학습시키는 데 사용한다. 리플레이 버퍼에서 경험튜플을 임의로 선택하면 경험 간의 상관성이 줄어들어 에이전트가 특정 경험에 과적합되지 않고 다양한 경험을 통해 학습 효율을 높일 수 있다. (11-12) 추출된 경험으로 손실을 계산하고 손실을 최소화하기 위해 Q 신경망의 파라미터 $\theta^{Q}$에 대한 경사강하법을 수행한다. (13-14) $C$번째 에피소드마다 Q-목표 신경망의$\theta^{Q-}$을 Q 신경망의 $\theta^{Q}$로 갱신한다. (16) 지정된 에피소드가 끝나면 DQN의 가중치와 편향을 저장한다.

4.5 개폐 동작 제한을 위한 알고리즘 보정

에이전트는 강화학습의 목적인 누적보상의 최대화를 위해서 현재의 행동이 손해가 나더라도 최종적으로 더 높은 누적보상을 가져온다면 그 행동을 취한다. 그러나 학습을 통해 구한 보상 값은 모든 경우를 학습하는 것은 아니기에 실제 동작 시에 얻게 되는 보상 값과 오차가 존재한다. 예를 들어 누적보상이 더 높아 현재 손해를 보는 행동을 수행했는데 학습 데이터와 검증 데이터간의 보상 값의 오차로 인하여 검증 시에는 누적보상이 더 낮은 현재 손해를 복구하지 못하는 경우가 발생할 수 있다. 이와 같은 경우에는 행동을 취하지 않고 현재 토폴로지를 유지하는 것이 더 좋은 결과가 된다. 위와 같은 문제를 해결하기 위해 본 논문에서는 에이전트의 의사결정 과정의 마지막 단계에서 식(14)의 알고리즘을 추가하여 학습 오차로 야기된 행동의 오동작을 줄일 수 있도록 하였다. 식(14)는 임계값(λ)을 두어 DQN에서 도출된 행동에 대한 보상과 개폐 동작을 하지 않았을 때의 보상의 차이가 임계값을 넘는 경우에만 해당 개폐를 수행하는 알고리즘이다. 즉, 제안하는 보정 알고리즘은 누적보상의 오차로 발생하는 손해의 임계값을 설정함으로써 현재 큰 손해를 감내한 행동을 무시하여 개폐기의 불필요한 개폐 동작을 방지한다.

5.1 사례 연구 구성 및 강화학습 설정

본 사례 연구에 사용된 모델 계통의 용량은 한국의 특별고압(22.9 kV) 배전망 선로를 기준으로 15 MVA로 설정하였고 배전망 토폴로지는 ⁽²⁴⁾의 배전계통 33 테스트 모선을 차용하였다. 각 모선의 부하데이터는 미국 중서부 지역의 2017년 실제 모선의 스마트미터 전력 데이터를 활용하였는데, 특별고압 일반 배전선로의 상시운전용량이 10 MVA 인 점을 고려하여 전력 데이터를 상수배하여 최대값이 약 10 MVA가 되게 조정하였다.⁽²⁵⁾ 각 부하모선의 역률은 0.9로 일정하다고 가정하였다. 전압 유지범위는 국내 특별고압 일반 배전망의 기준을 따라 0.91 p.u.이상, 1.04 p.u.이하로 설정하고 허용전류 최댓값은 ACSR-OC 160mm 선로를 기준으로 395 A로 설정하였다. 절체용 개폐기 5개는 ⁽²⁴⁾의 테스트 모선과 동일한 구성으로 그림 2와 같이 (33), (34), (35), (36), (37) 위치에 있다고 가정하였다. 개폐기의 개폐 손실은 ⁽²⁰⁾의 개폐 동작비용의 산정방식을 참조하여 동작 비용을 산출하고 이를 전력량으로 환산한 값인 5 kWh로 설정하였다. 일반적인 배전선로는 최대 12 MW까지 분산전원을 접속할 수 있도록 규정하고 있는 점을 고려하여 태양광 발전기의 용량을 12 MW이하에서 출력삭감이 일어나는 용량인 8.5 MW로 상정하였다.⁽²⁶⁾ 태양광 발전기는 그림 2의 모선 18번에 설치되었다고 가정하였다.

그림 2 배전계통 33 테스트 모선

Fig. 2 A 33-bus radial distribution system

주어진 부하와 발전량으로 시간 단위의 조류계산을 수행하여 토폴로지별 제한전력과 선로손실을 산출하고 강화학습의 학습에서 주어지는 보상을 산정하였다. Q 신경망을 학습 데이터로서 25일(2017년 1월 1일에서 2017년 1월 25일)의 전력 데이터를 사용하였고, 검증 데이터로 10일(2017년 1월 26일에서 2017년 2월 4일)의 전력데이터를 사용하였다. 본 연구에서 사용한 DQN의 주요 파라미터 정보는 표 2와 같다.

5.2 결과 분석

제안하는 배전계통 재구성 기법의 학습과정을 그림 3에 도시하였다. 그림 3의 결과와 같이 학습 데이터에 대한 총 전력손실은 에피소드가 증가함에 따라 점차적으로 감소하였고, 에피소드가 약 70이상에서 수렴하는 것을 확인하였다. 모의실험에 사용된 컴퓨터의 사양은 Intel Xeon CPU, NVIDIA GeForce GTX 1080, 64 GB이다. 한 에피소드를 학습하는데 약 1분 30초의 시간이 소요되어 DQN이 수렴하는데 총 2시간 정도가 소요되었다.

그림 3 DQN 학습과정

Fig. 3 DQN training process

표 3에서는 기법별로 검증 데이터의 일평균 전력손실과 개폐 동작횟수를 확인했다. 일평균 전력손실은 검증일의 전체 손실을 전체 일수로 나눈 값으로 정의하였다. 배전계통 재구성 없는 고정 토폴로지의 경우, 선로손실과 출력삭감은 각각 462 kWh, 6235 kWh이였다. 전력손실의 대부분을 차지하는 출력삭감은 해당 계절인 겨울철 태양광 발전기의 하루 발전량인 23154 kWh의 약 27%에 해당하는 큰 비효율을 야기한다. 실험 결과 무작위 개폐 동작만으로도 전력손실이 토폴로지를 고정했을 때에 비해 크게 감소하는 것으로 확인되었다. 그 외에도 시간별 최적화 기법, 동적 계획법, DQN 기법, 보정된 DQN 기법을 배전계통 재구성 문제에 적용하여 결과를 비교하였다. 이들 기법은 토폴로지를 고정했을 때의 경우에 비해 약 8%에 해당하는 전력손실이 발생하였다. 즉, 배전계통재구성은 전력손실 측면에서 큰 효과를 내는 것을 알 수 있었다. 최적화 기법인 동적계획법은 상태전이 함수를 알 때 사용하는 기법으로 과거의 제어주기 동안의 이상적인 해를 도출할 수 있지만 현실에서는 예측데이터에 대한 이상적인 해를 이용하기 때문에 제어성능이 예측정확도에 의존하는 특징이 있다. 시간별 최적화 기법은 모든 토폴로지에 대해서 실시간 조류계산을 진행하여 보상 정보를 안다는 가정 하에 최적의 토폴로지를 선택하는 기법으로 매시간 조류계산을 해야 한다는 단점이 있다. DQN 기법은 상태전이 함수를 모르는 상태에서 데이터를 통해 스스로 학습하면서 동작한다는 장점을 가지고 있으며 시간별 최적화와 유사한 성능을 보이는 것을 확인하였다.

그러나 DQN 기법의 개폐 동작횟수는 일평균 11.2회로 다소 빈번한 개폐 동작을 보였으며 그로 인하여 전력손실도 시간별 최적화와 동적 계획법에 못 미치는 결과가 나왔다. 이러한 DQN의 한계를 극복하기 위하여 본 논문에서는 임계값 기반의 단순한 판단을 최후에 추가하였다. 적절한 임계값을 산정하기 위하여 [그림 4]와 같이 임계값을 -30 kWh에서 5 kWh씩 증가시키면서 검증일의 평균 전력손실과 평균 개폐 동작횟수를 분석하였다. 임계값이 증가함에 따라 동작횟수는 감소하였고 전력손실은 감소하다가 증가하는 추이를 보였다. 이는 DQN의 학습 데이터와 검증 데이터 간의 오차에 의해 불필요한 개폐 동작을 하여 전력손실을 발생시킨다는 것을 의미한다. 따라서 보정단계에서의 임계값은 검증일의 평균 전력손실을 최소화하는 -10 kWh로 설정하였다. 보정단계를 적용한 DQN기법은 기존 DQN 기법 대비 전력손실은 596 kWh에서 561 kWh로, 개폐 동작횟수는 11.2회에서 8.9회로 감소하였다. 이 결과는 시간별 최적화보다 15 kWh 적은 전력 손실 성능을 보이는 것이다.

그림 4 임계값에 따른 전력손실 및 개폐 동작횟수

Fig. 4 Power loss and switching number according to the threshold

표 3에서 비슷한 성능을 보였던 동적 계획법, 시간별 최적화, DQN, 보정된 DQN에 대한 결과 중 임의의 날에 대해서 그림 5의 그래프와 같이 전력손실을 시간 단위로 가시화하였다. 표 4는 그림 5에 해당하는 시간별 토폴로지의 변화를 의미하며 토폴로지는 식(11)과 같이 $(sw_{33}^{t},\:sw_{34}^{t},\:sw_{35}^{t},\:sw_{36}^{t},\:sw_{37}^{t})$로 구성된다. DQN의 경우 동적 계획법과 유사하게 처음부터 개폐 동작을 하여 뒤에 오는 선로손실에 대비하였고 오전 8시에 추가로 개폐 동작을 하여 낮 시간에 발생하는 출력삭감을 사전에 대비하는 것을 확인할 수 있었다. 이를 통해 에이전트는 즉각적인 보상에만 의존하지 않고 뒤에 오는 보상까지 고려한 누적보상을 극대화시키는 행동을 취하는 것을 확인하였다. 그러나 불필요하게 많은 개폐 동작을 하는 것을 개선하기 위하여 제안한 보정된 DQN 기법은 시간별 최적화 기법과 유사하게 동작하는 것을 확인하였다. 그러나 보정된 DQN 기법 역시 누적보상을 고려하기에 시간별 최적화 기법보다 높은 성능을 보인다.

그림 5 기법별 검증 데이터 결과 비교

Fig. 5 Comparison of Simulation results

겨울 이외의 다른 계절에서도 모의실험을 진행하였다. 표 5는 2017년 5월 1일에서 2017년 5월 10일의 평균 전력손실 및 개폐 동작횟수이다. 봄철에 해당하는 5월의 평균 전력손실은 겨울철인 1월과 2월에 비해 토폴로지를 고정한 경우 약 4배가 증가되는 것을 확인할 수 있었다. 이는 태양광 발전량의 증가로 인한 출력삭감이 증가하였기 때문이다. 5월의 경우, DQN 기반 배전계통 재구성을 적용하였을 때의 평균 전력손실이 토폴리지를 고정했을 때의 약 3%로 겨울철에 비해 큰 감소율을 보였다. 가을의 경우 봄과 유사한 결과를 보였으나 여름의 경우에는 DQN의 성능이 다른 계절에 비하여 저하되는 것을 확인하였다. 여름철에 성능이 저하되는 이유는 다양한 토폴로지에서 출력삭감이 발생하기에 이전보다 더 많은 학습이 필요하기 때문이다. 여름철 특징을 보다 잘 학습할 수 있는 기법에 대한 후속 연구가 필요하다.