3.1 강화학습

강화학습은 에이전트가 주어진 상태(State)에서 특정 행동(Action)을 선택하고, 그 결과로 환경(Environment)으로부터 보상(Reward)을 받으며 학습하는 과정을 반복한다. 에이전트는 행동을 할 때마다 보상을 받고 누적 보상을 최대화하는 최적 정책을 찾도록 하는 것이 에이전트의 목표이다. 강화학습에서 에이전트가 주어진 문제를 효과적이고 정확하게 학습할 수 있도록 하려면 문제의 목적에 부합하는 보상 함수를 적절히 설계하는 것이 중요하다. 정책(policy)은 에이전트가 특정 상태에서 어떤 행동을 취할지를 정의한 것으로, 강화학습에서는 이 정책을 학습하는 방식에 따라 크게 두 가지 범주로 나눌 수 있다.

첫 번째는 온폴리시(on-policy) 알고리즘으로, 학습에 사용되는 정책과 실제로 행동하는 정책이 동일한 경우를 말한다. 반면, 오프폴리시(off-policy) 알고리즘은 학습에 사용되는 정책과 행동 정책이 서로 다른 경우를 의미하며, 대표적인 예로 Q-러닝을 들 수 있다.

오프폴리시 알고리즘은 온폴리시 알고리즘과 비교했을 때 몇 가지 이점이 있다. 우선, 오프폴리시 알고리즘은 과거에 수집된 데이터를 활용하여 학습할 수 있다는 장점이 있다. 또한, 오프폴리시 알고리즘은 온폴리시 알고리즘에 비해 샘플링 효율이 높다는 특징도 가지고 있다^[15].

이러한 이유로 본 연구에서는 오프폴리시 알고리즘의 대표적인 기법인 Q-러닝을 사용하여 문제를 해결하고자 하였다. Q-러닝은 모델 정보 없이 학습이 가능한 강화학습 기법으로, 행동 가치 함수인 $Q(s,\: a)$를 학습하여 최적의 정책을 찾는 데 사용된다. Q-러닝의 학습 과정은 식 (1)과 같은 반복적인 절차를 통해 이루어진다. 이 과정에서 $Q(s,\: a)$는 점진적으로 업데이트되며, 궁극적으로는 최적의 행동 가치 함수로 수렴하게 된다.

$Q(s,\: a)$가 수렴하면, 식 (2)에서와 같이 주어진 상태에서 가능한 행동 들 중 Q 값이 가장 큰 행동을 선택함으로써 최적의 정책을 결정할 수 있다. 즉, 수렴된 $Q(s,\: a)$를 바탕으로 에이전트는 각 상태에서 최선의 행동을 수행할 수 있게 된다.

여기서, Q(s, a)는 상태 s에서 행동 a를 선택했을 때의 기대 가치(Q-value)이고, R(s, a)는 상태 s에서 행동 a를 선택했을 때 받는 즉각적인 보상 값, γ는 가중치(Discount factor) 즉, 미래 보상에 대한 가중치이다. max[Q(s', a')]는 다음 상태 s'에서 선택 가능한 모든 행동 a'에 대한 최대 기대 가치이다.

Q-러닝은 모델 정보 없이 최적 정책을 학습할 수 있으며, 간단하고 직관적인 알고리즘이다. 또한, 이론적으로 수렴성이 보장된다는 장점이 있다. 그러나 상태와 행동 공간이 커질수록 학습 시간이 크게 증가하며, 연속적인 상태와 행동 공간을 다루기 어렵다는 한계가 있다.

3.2 심층 Q-네트워크(DQN)

DQN의 핵심 아이디어는 Q 함수를 심층 신경망으로 근사하는 것이다. 기존의 Q-러닝은 Q 테이블을 사용하여 각 상태-행동 쌍에 대한 Q 값을 저장하고 업데이트하는 방식을 취했다. 그러나 이는 상태와 행동 공간이 커질수록 메모리 사용량이 급격히 증가하고, 학습 속도가 느려지는 문제를 야기했다.

DQN은 이러한 문제를 해결하기 위해 Q 함수를 심층 신경망으로 근사한다. Q-네트워크라고 불리는 이 심층 신경망은 상태를 입력으로 받아 각 행동에 대한 Q 값을 출력하는 구조를 가진다. Q-네트워크의 학습은 경험 재현(Experience Replay)을 통해 이루어진다. 에이전트가 환경과 상호작용하면서 얻은 경험을 식 (3)과 같이 재현 버퍼(Replay Buffer)에 저장하고, 이 버퍼에서 미니배치를 샘플링하여 Q-네트워크를 학습한다.

여기서 θ'는 타겟 네트워크(Target Network)의 파라미터를 나타낸다. 타겟 네트워크는 일정 주기마다 Q-네트워크의 파라미터를 복사하여 업데이트되며, 학습의 안정성을 높이는 역할을 한다^[16].

4.1 토폴로지 최적화를 위한 목적 함수 및 제약 조건

본 논문에서는 전력손실을 선로 손실과 차단기 제어에 따른 무효전력 보상 장치 동작으로 정의하고 이를 최소화하는 기법을 제안한다. 차단기 제어를 전력손실로 간주한 이유는 차단기 동작 시 발생하는 저항 손실과 차단기 동작에 필요한 에너지 소모, 차단기 동작에 따른 과도현상으로 인해 전력 품질에 영향을 주며, 이러한 손실은 경제성에 영향을 끼치기 때문이다. 본 논문에서는 전력 손실 최소화를 위해 토폴로지 구조를 변경하고자 할 때 계통의 안정성을 유지하는 범위 내에서 이루어져야 한다. 이를 위해 본 논문에서는 다음과 같은 제약 조건을 고려하였다.

여기서 $v_{n}^{t}$는 각 버스마다 시간 t에서 버스 n의 전압, $V_{\min}$과 $V_{\max}$는 전압 범위의 최소와 최대전압이고, $i_{e}^{t}$는 선로 e에서 흐르는 전류를 시간 t로 나타낸 전류이며, $I_{\max}$는 최대 허용전류, N과 E는 모든 버스와 선로의 집합을 나타낸다. 식 (4)는 각 버스의 전압이 허용 범위 내에 있어야 함을 나타내며, 식 (5)는 각 해저 케이블의 전류가 최대 허용 전류를 초과하지 않아야 함을 나타낸다. 이러한 제약 조건들은 해상풍력발전의 계통 연계 시 전압 안정성과 설비의 과부하를 방지하기 위해 반드시 고려되어야 한다.

또한 방사형 구조를 유지하기 위해 식 (6)과 같은 제약 조건을 고려하였고, 식 (7)은 각 루프 k에 적어도 하나의 개방된 해저 스위치기어가 있어야 함을 나타내며 식 (8)는 해저 케이블의 길이가 최소길이와 최대길이 $L_{ij}^{\min}$,$L_{ij}^{\max}$ 사이의 값을 가져야 함을 나타낸다.

이를 바탕으로 해상풍력단지 토폴로지 최적화 문제의 목적 함수를 다음과 같이 정의하였다. $E$는 모든 선로의 집합, $R_{e}$는 시간 t에서의 선로 e의 저항, $I_{e}$는 시간 t에서의 선로 e의 전류, $Q_{e}$는 시간 t에서의 선로 e의 무효전력 손실, $I_{e_{\max}}$는 선로 e의 최대 허용 전류이며, $L_{ij}$는 노드 i와 j 사이의 선로 길이 값, N은 모든 노드의 집합, C는 차단기 조작 비용 상수이다.

가중치 $w_{1}$은 전력 손실을 나타내는 항이고 $w_{2}$는 무효전력 보상에 따른 손실, $w_{3}$는 선로 부하 불균형을 나타내는 항이다. $w_{4}$는 토폴로지 구조 변경에 따른 선로 길이 변화에 대한 식이고 $w_{5}$는 차단기 조작에 따른 비용 C의 값이다. 각 항의 가중치를 조절함으로써 문제의 특성에 맞게 최적화 목표를 설정할 수 있도록 하였다.

4.2 토폴로지 최적화 문제 MDP 모델링

본 논문에서는 강화학습을 적용하기 위해 2장에서 모델링한 해상풍력발전단지 모델링을 MDP(Markov Decision Process; 마르코브 결정과정)으로 나타낸다. MDP는 상태(state), 행동(Action), 보상(Reward), 전이함수(Transition kernel), 감가율(Discount factor)로 나타내며 해상풍력발전단지 모델링을 토대로 각각 정의하면 아래와 같다.

상태(State) : 해상풍력발전단지의 구성요소와 계통의 상태를 모두 포함한다. 시간 t에 대하여 상태$s_{t}= V_{t},\: I_{t},\: P_{t},\: T_{t}$로 정의한다. 요소 또한 시간 t에 대하여 $V_{t}$는 버스의 전압을 나타내는 벡터이고, $I_{t}$는 각 해저 케이블의 전류를 나타내는 벡터, $P_{t}$는 각 풍력발전기의 출력을 나타내는 벡터, $T_{t}$는 토폴로지 구조를 나타내는 인접행렬이다.

행동(Action) : 해상풍력발전단지의 구성요소 중 제어 가능한 해저 스위치기어의 개폐 상태로 정의할 수 있다. 해저 스위치기어의 개폐 상태는 이진 변수(0:개방, 1:폐쇄)로 나타내며, 이를 조합하여 토폴로지 구조를 변경한다.

보상(Reward) : 전력손실 최소화와 전압 안정도 고려 및 선로 과부화 방지를 목표로 하는 보상함수는 식 (10)과 같이 정의하였다.

1항의 $P_{e}^{t}loss$와 $Q_{e}^{t}loss$는 각각 시간 t에서의 선로 e의 유효전력과 무효전력 손실, 2항은 전압 안정도를 나타내는 지시함수로 범위 내면 0, 벗어나면 1의 값을 가진다. 3항의 $I_{e}^{t}$는 시간 t에서의 선로 e의 전류, $I_{e}^{\max}$는 선로 e의 최대 허용 전류이며, 4항의 $L_{i}L_{j}$는 선로 I와 j의 길이이고 5항의 C는 차단 동작에 따른 비용을 나타내는 상수이다. 차단기의 차단 동작 비용은 ^[17]의 차단 동작비용의 산정 방식을 참조하여 설정하였다.

전이함수(Transition kernel) : 현재 상태와 선택한 행동에 따라 다음 상태로 전이될 확률을 의미하며, 해상풍력발전단지의 토폴로지 최적화 문제에서는 현재 토폴로지 구조와 풍력발전기의 출력, 그리고 선택한 차단기 동작에 따라 다음 시점의 전압, 전류, 토폴로지 구조를 확률적으로 나타낸다.

감가율(Discount factor) : $\gamma\in[0,\: 1]$는 미래 보상의 현재 가치를 나타내는 파라미터이다. 감가율이 클수록 미래의 보상을 중요하게 고려하며, 작을수록 현재의 보상에 더 가치를 둔다. 적절한 감가율을 선택함으로써 장기적인 토폴로지 구조 운영을 최적화할 수 있다.

4.3 토폴로지 최적화 문제 DQN 강화학습 학습과정

DQN의 학습 과정을 다음 표 1과 같이 정리하였다. 먼저, 하이퍼파라미터로는 감가율(γ), 학습률(α), ε-greedy 계수(ε), mini-batch 크기(K), 타겟 매개변수 업데이트 간격(C), 최대 반복 학습 수(N)를 설정한다. 다음으로 리플레이 버퍼(D)와 Q 네트워크의 가중치(θ)를 초기화하고, 초기 상태($s_{1}$)를 관측한다.

에피소드를 시작하면, 현재 상태($s_{t}$)에서 ε-greedy 정책에 따라 행동($a_{t}$)을 선택한다. 즉, ε의 확률로 무작위 행동을 선택하고, 1-ε의 확률로 Q($s_{t}$, a;θ)를 최대화하는 행동을 선택한다. 선택한 행동을 실행하고 보상($r_{t}$)과 다음 상태($s_{t+1}$)를 관측한 후, 전이 샘플($s_{t},\: a_{t},\: r_{t},\: s_{t+1}$)을 리플레이 버퍼(D)에 저장한다.

이후 리플레이 버퍼에서 미니배치 ($s_{j},\: a_{j},\: r_{j},\: s_{j+1}$)를 무작위로 샘플링하여 타겟 Q-값을 계산한다. 타겟 Q-값은 식 (11)로 계산되며, 여기서 θ'는 타겟 네트워크의 매개변수이다. 그 다음 손실함수는 식 (12)로 계산하고, 경사 하강법을 사용하여 Q 네트워크의 가중치 θ를 업데이트한다.

일정 주기(C)마다 타겟 네트워크의 가중치를 Q 네트워크의 가중치로 업데이트하며, 에피소드가 종료되면 ε를 κε로 감소시킨다. 이러한 과정을 최대 반복 학습수(N)만큼 반복하여 Q 네트워크를 학습시킨다. 학습이 완료되면 최적화된 Q 네트워크를 사용하여 주어진 상태에서 최적의 행동을 선택함으로써 해상풍력발전단지의 토폴로지를 최적화한다.

표 1 DQN 학습 알고리즘

Table 1 DQN learning algorithm

5.1 제안된 DQN 강화학습 알고리즘 적용

DQN 모델의 하이퍼파라미터는 표 2와 같이 설정하였다.

DQN 모델은 총 5,000 에피소드 동안 학습되었으며, 각 에피소드는 1년(8,760시간)에 해당한다. 학습 과정에서 ε-greedy 정책을 사용하여 초기에는 0.3의 확률로 무작위 행동을 선택하고, 학습이 진행됨에 따라 점차 0.01까지 선형적으로 감소시켰다. 이를 통해 초기에는 다양한 상태와 행동을 탐험하고, 후반부에는 학습된 정책을 더 많이 활용할 수 있도록 하였다. 또한 매 학습 단계마다 64개의 샘플로 구성된 미니배치를 리플레이 버퍼에서 무작위로 추출하여 학습에 사용하였다. 또한, 100 스텝마다 타겟 네트워크를 업데이트하여 학습의 안정성을 높였다. 학습이 진행됨에 따라 에피소드 누적 보상이 증가하는 추세를 보였으며, 약 3,000 에피소드 이후로는 안정적인 수렴 양상을 나타냈다.

학습 과정에서 주기적으로 모델의 성능을 검증하기 위해, 매 500 에피소드마다 학습된 모델을 사용하여 1년간의 시뮬레이션을 수행하고 성능 지표를 평가하였다. 이를 통해 학습이 올바른 방향으로 진행되고 있는지 확인하고, 필요한 경우 학습 파라미터를 조정하였다.

5.2 토폴로지 최적화 성능 평가

학습된 DQN 모델의 성능을 평가하기 위해, 다음의 세 가지 토폴로지 제어 기법을 비교하였다.

고정(Fixed) 방식 : 초기에 설정된 토폴로지를 변경하지 않고 유지하는 방식

무작위(Random) 차단기 개폐 : 매 타임스텝마다 차단기를 무작위로 개폐하는 방식

DQN 차단기 개폐: 학습된 DQN 모델을 사용하여 최적의 차단기 개폐 상태를 결정하는 방식

위 3가지 토폴로지 제어기법에 대하여 각각 1년 간의 시뮬레이션을 수행하고, 총 에너지 생산량 (Annual Energy Production, AEP), 평균 송전 손실률 (Average Transmission Loss Ratio, ATLR) 두 가지 성능 지표를 비교하였다.

그림 2는 세 가지 토폴로지 제어 기법의 월별 평균 송전 손실률을 비교하여 나타낸 그래프이다. 무작위 차단기 개폐 방식(파란색 선)은 전반적으로 가장 높은 손실률을 나타낸다.

반면, DQN 기반 최적화 차단기 개폐 방식(녹색 선)은 연중 가장 낮고 안정적인 손실률을 유지하고 있다. 특히 주목할 만한 점은 다른 두 방식에서 손실률이 증가하는 시기에도 상대적으로 낮은 손실률을 유지한다. 또한 DQN 방식은 풍황 조건의 계절적 변화에 따라 유연하게 대응하는 모습을 보인다. 봄(3-5월)과 가을(9-11월)에는 손실률이 더욱 감소하는 경향을 보이는데, 이는 해당 시기의 풍력 발전 조건이 유리한 상황에서 DQN이 최적의 토폴로지를 선택하여 효율을 극대화하고 있음을 나타낸다.

그림 2. 월별 송전 손실률 비교 그래프

Fig. 2. Monthly transmission loss rate comparison graph

그림 3과 4는 세 가지 기법의 AEP와 ATLR을 비교한 결과를 나타낸 그래프이다. 고정 토폴로지 방식은 차단기 동작이 전혀 없어, 변화하는 풍황 조건에 적응하지 못해 상대적으로 높은 송전 손실률(5.50%)을 보였다. 무작위 차단기 개폐 방식은 매 시간 차단기를 무작위로 동작시켜(차단 횟수 = 8,760) 가장 높은 송전 손실률(5.79%)과 가장 낮은 에너지 생산량(741.72 GWh)을 기록했다. 이는 무분별한 토폴로지 변경이 오히려 시스템 효율을 저하 시킬 수 있음을 보여준다. 반면, DQN 기반 최적화 차단기 개폐 방식은 연간 에너지 생산량이 894.7 GWh로 가장 높았으며, 송전 손실률도 4.80%로 가장 낮았다. 차단기 개폐 횟수는 1,248회로, 무작위 방식에 비해 크게 줄어들어 가장 우수한 성능을 보였다.

그림 3. AEP 성능 비교 그래프

Fig. 3. Performance comparison of AEP

그림 4. ATLR 성능 비교 그래프

Fig. 4. Performance comparison of ATLR