2.1 LSTM

인공신경망은 컴퓨터 프로그래밍을 통해 사람의 신경회로망을 모방해 모델링 하여 의사결정, 패턴 구별 등의 비선형적 관계를 가지는 데이터를 학습하는 알고리즘이다. 신경회로망은 인간의 뇌의 기본 구조인 뉴런을 기반으로 하여 모델링 되고 각 뉴런은 상호 연결되어 각각의 연결 강도의 크기에 따라 전체 신경회로망의 출력을 결정하게 된다. 인공신경망은 입력층, 은닉층, 출력층으로 이루어져 있다. 각 층은 신경회로망의 뉴런에 해당하는 노드로 이루어져 있으며, 각 층은 신경회로망의 상호 연결에 해당하는 가중치 행렬이 학습 결과에 따라 크기가 조정되어 출력을 결정하게 된다⁽⁹⁾. 인공신경망은 비선형적 데이터에 대해 특별한 전처리 없이 상대적으로 정확한 결과를 얻을 수 있다는 장점이 있지만, 데이터가 충분하지 않거나 데이터 간에 가능한 함수 관계가 존재하지 않는 경우 예측의 정확도가 떨어질 수 있다. 또한, 학습에 사용되는 데이터가 필요 이상으로 많아질 경우 오히려 예측오차가 누적되거나 발산해버리는 결과가 나올 수 있다. 인공신경망의 종류에는 크게 심층신경망(Deep Neural Network), 합성곱신경망 (Convolutional Neural Network), 순환신경망(Recurrent Neural Network)으로 구분할 수 있으며, 본 논문에서는 그 중 순환신경망(Recurrent Neural Network) 중 LSTM(Long Shrot-Term Memory)에 대해 설명하고자 한다.

일반적인 인공신경망 구조는 데이터의 시계열적 특성을 고려하지 않고 각각의 입력과 출력이 독립적이라고 가정한다. 그러나 순환신경망은 데이터 사이의 연속적인 신호의 상관관계를 고려하여 과거의 정보를 현재의 출력에 활용할 수 있도록 은닉층에 순환고리가 존재하는 인공신경망이다. 이 특징을 이용해 음성인식, 전력수요와 같은 시계열적 특성을 가진 데이터를 학습하는 데 효과적이다. 순환신경망의 경우 신경망이 깊어질수록 기울기 소실 문제(Vanishing Gradient Problem)가 발생하게 되는데, 이는 순환신경망의 메모리 기능을 수행하는 은닉층이 깊어질수록 전달되는 오차가 크게 줄어들어 학습이 되지 않는 현상을 말한다. 이 문제로 인해 과거의 데이터가 전력수요 예측에 중요한 정보였다면 예측오차가 커질 가능성이 높다.

이러한 순환 신경만의 단점을 보완한 LSTM은 최근의 데이터뿐만 아니라 먼 과거의 데이터까지 고려하여 학습 후 미래를 예측하는 알고리즘으로 시계열 데이터의 분석에 강한 특징을 가진다. LSTM의 구조는 순환신경망의 은닉층에 정보의 흐름을 제어하는 게이트 시스템을 추가한 모델이다. 입력 게이트(input gate), 망각 게이트(forget gate), 출력 게이트(output gate)의 3개의 게이트가 존재하며 각 게이트가 장기적 데이터를 조정하는 역할을 수행해 학습 시 기울기 소실 문제가 발생하는 것을 방지한다. 식 (1)~(6)에 LSTM의 수식을 나타내었다⁽¹⁰⁾.

여기서 $i,\: f,\: o$는 각각 입력 게이트(input gate), 망각 게이트(forget gate), 출력 게이트(output gate)이다. $g$는 셀 스테이트의 업데이트를 위한 후보 값이고, $c_{t},\: h_{t}$는 각각 셀 스테이트와 은닉 스테이트이다. $U,\:W$는 가중치 행렬이다. $\sigma $, $\tanh$는 각각 시그모이드(Sigmoid) 활성화 함수, 하이퍼볼릭 탄젠트(Hyperbolic Tangent, Tanh) 활성화 함수이다.

각 게이트는 현재 입력 $x_{t}$와 직전 은닉 스테이트 $s_{t-1}$의 가중합에 대한 시그모이드 활성화 함수의 출력으로 계산된다. $g$는 현재 입력 $x_{t}$와 이전 스텝의 은닉 스테이트 $h_{t-1}$를 통해 계산된 셀 스테이트 후보 값에 해당된다. $c_{t}$는 현재 스텝의 셀 스테이트로서 메모리 역할을 수행하게 된다. $c_{t}$는 망각 게이트와 입력 게이트에 의해 업데이트된다. $c_{t}$가 업데이트된 후 최종적으로 출력 게이트에 의해 은닉 스테이트 값이 결정된다. 위 수식을 그림으로 나타내면 그림 1과 같다.

2.2 활성화 함수

활성화 함수란 입력데이터의 가중합을 출력 신호로 변환하는 함수이다. 활성화 함수의 종류에 따라 이전 층의 출력 신호가 결정되게 되는데 이는 학습과 최종 출력에 영향을 주게 된다. 인공신경망 알고리즘을 이용해 중기 전력수요량을 예측한 ⁽¹³⁾에서는 시그모이드 활성화 함수를 사용하였다. 시그모이드 활성화 함수는 입력데이터의 가중합의 크기에 따라 출력을 [0, +1] 사이의 값으로 내보내는 함수이다. 본 논문에서는 시그모이드 활성화 함수가 가지는 수렴적 특성이 기온민감도를 반영하지 못했다고 생각하여 다른 활성화 함수인 ReLU(Rectified Linear Unit) 활성화 함수와 Tanh 활성화 함수를 사용하고자 한다. ReLU 활성화 함수는 입력데이터의 가중합이 0 이하이면 0을 출력하고, 0 이상이면 그 값을 그대로 출력하는 함수이고, Tanh 활성화 함수는 입력데이터의 가중합의 크기에 따라 그 값을 [–1, +1] 범위의 값으로 출력하는 함수이다. 식 (7), (8)과 그림 2에 두 활성화 함수를 나타내었다.

2.3 최적화 기법

최적화 기법은 인공지능 알고리즘 학습에서 출력과 실제 값 사이의 오차가 줄어들도록 가중치를 조정하는 것을 의미한다. 본 논문에서는 확률적 경사 하강법(Stochastic Gradient Descent, SGD)과 Adam(Adaptive moment estimation)의 두 가지 최적화 기법을 사용하였다. SGD 최적화 기법의 가중치 업데이트 과정을 식 (9)에 나타내었다⁽¹¹⁾.

여기서 $t$는 학습 반복 횟수이고 $\gamma$는 학습률 (Learning rate), $\dfrac{\partial L}{\partial w_{t}}$은 $w_{t}$에 대한 손실함수의 기울기이다. $\gamma$는 0.01로 설정하였다. Adam 최적화 기법의 가중치 업데이트 과정을 식 (10)~(14)에 나타내었다⁽¹²⁾.

여기서 $m_{t},\: v_{t}$는 각각 일차, 이차 모멘텀 이고, $\beta_{1},\:\beta_{2}$는 모멘텀용 계수, $L(w)$는 손실함수 가중치에 $w$에 대한 함수이다. $\beta_{1},\:\beta_{2}$는 각각 0.9, 0.999로 설정 하였다. 학습률 $\gamma$는 0.001로 설정하였다.

3.1 전력수요 예측 입력데이터 선정

전력수요와 같은 복잡한 변수에 의해 결정되는 수요패턴을 예측하기 위해서는 관련도가 높은 입력데이터 선정이 필요하다. 이전 날의 전력수요에 영향을 받는 전력수요 특성 상 입력데이터 선정 시 최근 3일, 5일, 7일의 과거 전력수요 데이터, 혹은 이전 주 동일 요일의 전력수요 데이터를 입력데이터로 사용한다^(13,16,17). 본 논문에서는 1년간의 과거 최대 전력수요 실적 데이터를 기준으로 입력데이터로 기준입력 ‘1’ 행렬, 주 패턴을 학습하기 위한 1(월요일)부터 7(일요일)을 반복한 주 인덱스, 1년 전 동일 요일 수요데이터, 2일 전부터 8일 전까지 과거 7일간 수요데이터, 학습일의 최고 및 최소 기온 데이터를 입력으로 사용하여 총 입력변수 12개로 설정하였다. 또한, 입력데이터 정규화를 위해 최대 전력수요 실적은 [0, +1] 값을 가지도록, 기온 데이터는 [-1, +1] 값을 가지도록 특정 비율로 나눠주었다. 출력변수로는 기준일의 최대 전력수요 실적을 설정하였다.

3.2 특수주 및 특수일 평활화

LSTM의 학습 성능을 높이고 예측 정확도를 높이기 위해 일반적인 패턴을 벗어나는 데이터들을 평활화하고자 한다. 국내 수요패턴에서 중요한 특수주로는 설날, 추석 및 여름철 경부하를 예로 들 수 있고, 특수일로는 신정, 현충일과 같은 공휴일을 예로 들 수 있다. 이에 해당하는 기간을 특수주와 특수일로 정의하고 평활화하고자 한다. 특수주와 특수일 평활화는 식 (15), (14)를 이용해 평활화했다. 그림 3, 4에 특수주 및 특수일 평활화의 예를 나타내었다⁽¹³⁾. 그림 3에서 12일 ~ 18일이 특수주라고 보았을 때, 해당 주의 데이터를 이전 주와 다음 주의 데이터의 평균값으로 대체하였다. 그림 4에서 8일을 특수일로 보았을 때, 해당 일의 데이터를 이전 날과 다음 날의 데이터의 평균 값으로 대체하였다.

3.3 입력데이터 및 출력데이터 예측구조

D일의 최대 전력수요를 예측하기 위해 D-1일에 예측을 수행한다고 가정했을 경우, D-1일의 최대 전력수요량은 없는 경우가 존재하므로 예측 기준일인 D일의 2일 전인 D-2일까지의 최대 전력수요 데이터를 이용해 예측을 진행하였다. 이렇게 예측한 D일의 최대 전력수요를 D+2일의 예측 시 입력으로 사용하여 결과적으로 D+8일 이후의 최대 전력수요 예측 시 입력데이터로는 예측한 값으로만 이루어지게 되는 연쇄적 입력 방법을 사용하였다. 그림 5에 예측 구조를 나타내었다⁽¹³⁾. 예측의 첫 날이 D일인 경우 입력데이터로 과거의 데이터들을 이용하여 예측을 수행하지만, 예측이 진행되면서 순차적으로 데이터는 밀리게 되고, D+8일의 이후의 예측은 입력데이터로 예측한 값들만을 이용하여 예측을 진행하게 된다.

4.1 전력수요 예측 결과

예측을 수행하는 시작일 이전의 1년 데이터를 이용하여 학습을 진행 후 예측을 수행하였다. 각 월의 1일부터 4주간 최대 전력수요 예측을 수행하였으며 D+1년도와 D+2년도의 2년간 예측을 진행하였다. 오차는 MAPE(Mean Absolute Percentage Error)를 사용하였다. MAPE 수식을 식(15)에 나타내었다. 예측 결과를 그림 6~ 9와 표 2, 3에 나타내었다. 대부분의 구간에서 오차를 크게 벗어나지 않은 성능을 보이는 것을 확인하였으며, 예측 결과를 다시 입력으로 사용하는 연쇄적 입력 방법을 사용했음에도 불구하고 오차가 지속적으로 누적되지 않았다.

D+1년도 예측 결과 ReLU 활성화 함수, Adam 최적화 기법을 사용한 경우 최소오차 1.14[%], 최대오차 2.78[%], 월평균 오차 1.56[%]이다. 8월와 12월의 경우 원래 그래프의 개형을 따라가지 못하고 과대예측을 하거나 부족예측이 발생하였다. ReLU 활성화 함수, SGD 최적화 기법을 사용한 경우 최소오차 0.90[%], 최대오차 1.73[%], 월평균 오차 1.27[%]이다. 1월과 12월의 특정 주에서 원래 개형을 잘 따라가지 못하고 부족예측을 하는 경향을 보이나, 7월의 3주차 이후 열대야로 인한 전력수요가 급격히 상승하는 부분을 잘 예측하는 모습을 보였다. 또한, 대부분의 경우에서 기존 데이터를 잘 쫓아가며 평균 오차 또한 가장 낮아 4가지 예측 기법 중 가장 우수한 결과가 나타났다. Tanh 활성화 함수, Adam 최적화 기법을 사용한 경우 최소오차 1.27[%], 최대오차 2.34[%], 월평균 오차 1.81[%]이다. 3월과 5월의 특정 주에서 과대예측을 하여 오차가 커졌으며, 전체적인 그래프의 개형을 잘 따라가지 못하는 결과를 보였다. Tanh 활성화 함수, SGD 최적화 기법을 사용한 경우 최소오차 0.93[%], 최대오차 2.09[%], 월평균 오차 1.41[%]이다. 1월과 12월에서 부족예측을 하여 월평균 오차가 커지는 결과를 나타내었다.

D+2년도 예측 결과 ReLU 활성화 함수, Adam 최적화 기법을 사용한 경우 최소오차 1.07[%], 최대오차 1.91[%], 월평균 오차 1.38[%]이다. 월평균 오차는 1[%]대를 유지하였으나 2월과 3월에 과대예측과 부족예측으로 인해 오차가 커진 것을 볼 수 있다. ReLU 활성화 함수, SGD 최적화 기법을 사용한 경우 최소오차 0.86[%], 최대오차 1.65[%], 월평균 오차 1.25[%]이다. 3월 첫날의 부하를 과대예측하였고, 8월의 주말 부하를 부족예측하여 오차가 커졌지만, 전체적으로 안정적인 예측이 된 것을 볼 수 있다. Tanh 활성화 함수, Adam 최적화 기법을 사용한 경우 최소오차 1.59[%], 최대오차 2.24[%], 월평균 오차 1.89[%]이다. 대부분의 예측에서 과대예측 혹은 부족예측이 발생하여 오차가 큰 것을 볼 수 있다. Tanh 활성화 함수, SGD 최적화 기법을 사용한 경우 최소오차 0.87[%], 최대오차 2.10[%], 월평균 오차 1.21[%]이다. 대부분의 경우를 잘 예측하였으나 9월 첫 주를 과대예측하여 월평균 오차가 상승한 것을 볼 수 있다.

D+1년도와 D+2년도를 예측한 결과 SGD 최적화 기법을 사용한 경우가 전체적인 오차율이 낮았다. D+1년도의 SGD 최적화 기법을 사용한 경우 ReLU 활성화 함수는 월평균 오차 1.27[%], 표준편차는 0.264였으며, Tanh 활성화 함수는 월평균 오차 1.41[%], 표준편차 0.376으로 ReLU 활성화 함수를 사용한 경우가 좀 더 우수한 예측 성능을 보였고 오차 분포 또한 월평균 오차에 가깝게 분포되어 있었다. D+2년도의 SGD 최적화 기법을 사용한 경우 ReLU 활성화 함수는 월평균 오차 1.25[%], 표준편차 0.250였으며, Tanh 활성화 함수는 월평균 오차 1.21[%], 표준편차 0.314로 SGD 최적화 기법과 ReLU 활성화 함수를 사용한 경우가 월평균 오차는 약간 크지만, 표준편차는 0.264로 SGD 최적화 기법과 Tanh 활성화 함수를 사용한 경우에 비해 오차 분포가 월평균 오차에 가깝게 분포되어 있어 좀 더 안정적인 예측 성능을 보였다. 종합적인 측면을 고려했을 때 ReLU 활성화 함수와 SGD 최적화 기법을 사용한 경우가 가장 좋은 예측 성능을 나타내었다.

4.2 선행연구와의 비교

제안한 방법의 실효성을 검증하기 위해 선행연구와의 예측 성능을 비교하고자 한다. 검증대상은 위 결과에서 가장 좋은 모델이라고 평가한 ReLU 활성화 함수, SGD 최적화 기법을 사용한 모델을 선택하였다. 선행연구로 참고문헌⁽¹³⁾의 RANN(Recurrent Artificial Neural Network)과의 예측오차를 비교하였다.

선행연구와의 비교 결과 LSTM을 사용한 경우가 예측오차가 0.44[%] 개선되어 대부분 월에서 향상된 예측 결과를 보였다. 특히 기온이 올라가는 여름과 D+1년도 예측오차를 비교했을 때 7월 예측오차는 RANN 2.32[%], LSTM 1.25[%]로 나타났고, 8월 예측오차는 RANN 2.93[%], LSTM 1.71[%]로 LSTM을 사용하였을 때 예측오차가 크게 개선되었다. D+2년도 예측오차를 비교했을 때 7월 예측오차는 RANN 1.77[%], LSTM 0.90[%]로 나타났고, 8월 예측오차는 RANN 1.71[%], LSTM 1.50[%]로 LSTM을 사용하였을 때 예측오차가 크게 개선되었다. 또한, 기온이 내려가는 경우인 12월 예측오차는 D+1년도에서 RANN 2.71[%], LSTM 1.73[%], D+2년도에서 RANN 2.48[%], LSTM 1.12[%]로 LSTM을 사용하였을 때 예측오차가 크게 개선되었다.