2.1 순환신경망(RNN)

RNN의 경우 인공 신경망의 한 종류로 cell 간의 연결이 순환적인 구조를 가지는 신경망이다. RNN은 시간이나 흐름이 연속적인 데이터를 가지는 시스템 학습에 적합한 구조로 되어 있다. 그림 1과 같이 이전 입력 데이터에 대한 학습 정보를 이용하여 현재 입력 데이터의 값을 학습하는 형태로 이전의 모든 입력에 대한 학습 정보가 최근의 입력 데이터에 대한 학습에 반영이 될 수 있도록 동작한다. 이처럼 시계열 데이터와 같이 연속적인 데이터 예측에 적합한 구조를 가지지만 입력되는 데이터의 길이에 따라 신경망의 깊이가 결정되어 입력 데이터의 길이가 길어질수록 학습에 어려움이 있다. RNN은 이전의 학습 정보들과 그 정보를 사용하여 학습하는 시점 간의 거리가 멀 경우, RNN의 구조적 특성에 의해 역전파(backpropagation)가 일어날 때 기울기(gradient)가 점차 줄어들어 학습 능력이 크게 저하된다. 이를 기울기 소실 문제(vanishing gradient problem)라고 한다 ⁽¹²⁾.

그림. 1. 기본적인 RNN 구조

Fig. 1. Structure of basic RNN

2.2 장단기 메모리 네트워크(LSTM)

RNN의 기울기 소실 문제를 해결한 것이 LSTM(Long Short-Term Memory)이다. LSTM은 RNN의 한계점인 기울기 소실 문제를 cell state를 이용하여 해결한 모델이다. LSTM은 그림 2에서 볼 수 있듯이 RNN에 cell state와 더불어 망각 게이트(forget gate), 입력 게이트(input gate), 출력 게이트(output gate)를 추가하여 어떤 정보에 대하여 선택적으로 학습하는 구조를 가진다. cell-state는 이전 시점의 정보(hidden state)와 함께 다음 시점으로 전달되는 정보로 입력 게이트, 출력 게이트, 망각 게이트에서 학습 정보들을 선택적으로 활용할 수 있도록 한다. 이와 같은 방법으로 LSTM에서는 cell state의 값에 대하여 각 게이트의 결과와 더하여 진행하므로 입력 데이터의 길이가 길더라도 이전 시점으로부터의 학습 정보를 RNN보다 잘 전파할 수 있다.

그림. 2. LSTM 셀 구조

Fig. 2. Structure of a LSTM cell

2.3 게이트 순환 유닛(GRU)

LSTM의 경우에는 복잡한 구조로 인해 많은 파라미터(parameter)를 가지게 된다. 파라미터가 많아지는 경우 학습 데이터가 충분하지 않으면 과적합(overfitting) 문제가 발생하게 되는데 이를 해결하기 위하여 망각 게이트와 입력 게이트를 합쳐 업데이트 게이트(update gate), cell state와 hidden state를 합쳐 하나의 벡터로 표현한다. 그리고 출력 게이트 대신 리셋 게이트(reset gate)를 두어 LSTM보다 간단한 구조를 가지도록 하여 파라미터의 수를 줄였다. 그림 3과 같이 LSTM보다 간단한 구조를 가지지만 성능적인 측면에서는 LSTM과 비슷한 성능을 가지며 학습 속도 측면에서는 더 빠른 학습 속도를 보인다.

그림. 3. GRU 셀 구조

Fig. 3. Structure of a GRU cell

2.4 RNN(LSTM, GRU) 기반 단일 모델 전력사용량 예측

기존의 전력사용량 예측에는 딥러닝 기반의 RNN, LSTM 외에도 GRU, MLP, DNN 등이 사용되지만 본 논문에서는 가장 많이 사용되는 RNN 계열의 LSTM과 GRU를 이용한 전력사용량 예측에 대하여 설명한다.

전력사용량 예측에 사용된 입력 데이터는 국내 유통․물류시설 중 한 곳인 경기도 부천시 소재의 홈플러스 간석점의 한국전력 I SMART 전력량계를 이용하여 측정된 2016~2018의 전력사용량 데이터를 이용하였다. 전력사용량 예측에 사용되는 입력 데이터 중 “전력 최대수요”, “전력사용량”은 I SMART에서 수집하여 사용하였으며, 전력사용량에 영향을 미치는 요소로 “평균 기온”, “최저기온”, “최고기온”, “일 강수량”, “최대 순간 풍속”, “최대 풍속”, “평균 풍속”, “평균 상대습도”, “합계 일사”, “일 최심 적설량”은 기상청의 날씨 자료를 수집하여 사용하였다.

이와 더불어 국내 대형마트의 경우 지정된 날짜에 휴점하므로 이에 대한 전력사용량 예측 정확도 향상을 위하여 “휴점 여부”를 입력 데이터로 추가하였다. 휴점일의 전력사용량과 정상 영업일의 전력사용량 차이가 극명하게 나므로 “휴점 여부” 데이터를 추가하여 휴점일에 대한 전력사용량 예측 및 정상 영업일의 전력사용량 예측 정확도를 높였다 ⁽¹³⁾. ⁽¹³⁾에서의 결과를 바탕으로 RMSE(Root Mean Square Error)로 정확도 비교를 하면 “휴점 여부” 추가하지 않은 경우의 RMSE는 0.110475였으며, “휴점 여부”를 추가한 이후의 예측 결과 RMSE는 0.048123으로 추가 이후의 예측 결과가 훨씬 정확하게 예측되었다.

수집한 입력 데이터를 이용하여 2016년 1월 1일부터 2018년 6월 30일까지의 데이터 중 60%에 해당하는 입력 데이터로 LSTM, GRU 모델을 각각 학습시킨 후 40%인 365일의 테스트 데이터로 “전력사용량 최대수요”를 예측하였다. LSTM과 GRU 모델의 파라미터는 표 1과 같게 설정하였다. 우선 Learning Rate를 최적으로 설정하기 위하여 LSTM 모델의 Learning rate를 0.1~0.000001 범위에서 설정하여 자릿수별 Loss 및 MAPE를 확인하였다. 그 결과는 그림 7에 나타난 것과 같다. Learning Rate 0.1, 0.01, 0.001, 0.0001의 결과를 확인하였을 때 0.0001은 설정한 30,000의 Epoch에서도 최적화가 진행되는 것을 보였다. 0.001과 0.0009의 결과는 빠르게 학습하였으나 0.0005보다 높은 MAPE로 오차가 더 큰 결과를 도출하여 Learning Rate를 0.0005로 설정하였다. 예측 결과는 그림 5, 6과 같다.

그림. 4. 학습률 별 LSTM 모델 학습 곡선

Fig. 4. Learning Curve of LSTM Accuracy by Learning Rate

그림. 5. LSTM 모델 예측 결과(1년)

Fig. 5. Prediction result of LSTM(1 year)

그림. 6. GRU 모델 예측 결과(1년)

Fig. 6. Prediction result of GRU(1 year)

그림 5, 6에서 볼 수 있듯이 LSTM과 GRU의 예측 결과는 어느 모델이 더 뛰어나다고 판단하기 어렵다. 각 모델별 학습 결과를 MAPE(Mean Absolute Percentage Error)로 비교하여 보면 LSTM은 10.69%, GRU는 10.51%로 큰 차이를 보이지 않았다.

3.1 Feature 선정 및 조건 분류

전력사용량의 경우 영향을 미치는 다양한 feature가 존재한다. 특히 본 논문에서 예측하고자 하는 유통․물류 시설의 경우 이용자의 수가 전력사용량에 큰 영향을 미친다. 또한, 쾌적한 내부 환경 유지, 상품 신선도 유지, 매장 내부 조도 등과 같이 전력사용량이 항시 필요한 부분도 존재한다. 이러한 전력사용량에 영향을 미치는 것 중 가장 큰 영향을 미치는 것을 선정하여 해당 feature의 조건에 따라 조건부 학습을 할 수 있도록 한다. 이렇게 큰 영향을 미치는 feature를 선정하는 과정에서 필요한 것이 feature importance이다. feature importance를 구하기 위해 학습 모델에 입력 데이터 중 특정 feature를 제외하고 학습하였을 때의 정확도를 분석하여 각 feature의 importance를 알아내는 방법도 있지만, 시간이 오래 걸리며 번거로운 과정을 거쳐야 한다. 이와 같은 과정을 거치지 않고 머신러닝 모델을 이용하여 feature importance를 확인할 수 있다. feature importance를 확인할 수 있는 머신러닝 모델은 XGBoost, CatBoost, Random Forest가 대표적으로 사용된다 ⁽¹³⁾. 본 논문에서는 Random Forest를 이용하여 feature importance를 분석하였다. 앞서 2장에서 사용한 입력 데이터의 feature importance를 분석한 결과는 그림 7과 같다.

그림 7에서 볼 수 있듯이 유통․물류시설 전력사용량 예측에 사용되는 입력 데이터 중 “평균 기온”이 전력사용량에 가장 많은 영향을 미치는 feature로 선정되었다. 선정된 “평균 기온”과 전력사용량을 도식화하여 보면 그림 8과 같이 여름철, 겨울철에 맞추어 전력사용량이 증가하는 것을 볼 수 있다. 이처럼 “평균 기온”에 맞춰 전력사용량이 변화되는 것을 바탕으로 조건을 분류한다. 본 논문에서 조건을 분류하는 것은 유통․물류 시설의 특성상 이용객들이 쾌적함을 느낄 수 있는 온도를 유지하기 위해 냉난방에 사용되는 전력량이 많을 것으로 보아 5개의 구간으로 “평균 기온”을 나누었다. 그림 8과 같이 -5℃ 이하, -5℃ 초과 ~ 3℃ 이하, 3℃ 초과 ~ 15℃ 이하, 15℃ 초과 ~ 23℃ 이하, 23℃ 초과로 각 구간에 따라 전력사용량의 변화가 클 것으로 예상되는 기온을 기준으로 구분하였다. 구분한 5개의 기온에 따른 쾌적도(열 스트레스, 체감기온에 따른 불쾌지수 등)를 기준으로 하였다. 우선 23℃ 이상의 기온에서는 사람이 열 스트레스를 받는 기온으로 하나의 구간으로 하였다. 나머지 구간의 경우 미국 냉난방 환기 공학회(American Society of Heating, Refrigerating and Air-Conditioning Engineers)에서 설정한 쾌적 환경의 기준에 따라 쾌적, 서늘, 쌀쌀, 추움을 나타내는 기온을 계산하여 설정하였다. 그림 9는 각각의 모델이 학습해야 하는 “평균 기온” 범위를 도식화한 것이다.

입력 데이터에 사용할 feature 중 “평균 기온”, “최저기온”, “최고기온”은 실험을 통해 정확도를 확인한 결과 2장의 예측 모델에 세 feature를 모두 사용한 경우의 MAPE는 11.67%, “평균 기온”만 사용한 경우는 10.69%로 “평균 기온”만 이용한 것이 더 정확한 결과를 예측하여 세 feature 중 입력 데이터로는 “평균 기온”만 사용하였다.

그림. 7. Random Forest를 이용한 유통․물류시설 전력사용량 특성 중요도

Fig. 7. Feature importance of power consumption by Random Forest

그림. 8. “평균 기온” 변화에 따른 전력사용량 변화

Fig. 8. Variance in power consumption by “Average temperature” change

그림. 9. “평균 기온”에 따른 모델별 입력 데이터

Fig. 9. Input data for each model according to "Average temperature"

3.2 다중 모델 선정 및 최적화

3.1절에서 선정하고 분류한 특성의 조건부 학습을 위해 각 조건에 맞는 머신러닝 모델을 선정해야 한다. 단일 머신러닝과는 다르게 다중 모델의 경우에는 한 종류의 머신러닝 모델만 이용하지 않아도 되므로 조건에 따라 정확도가 더 높은 모델을 선정하여 전체 정확도를 올릴 수 있다. 각 상황에 높은 정확도를 보이는 모델을 선정하여 사용하면 되므로 3.1절에서 분류한 “평균 온도” 특성의 조건별로 5개의 모델을 선정하였다. 모델을 선정하는 기준은 예측 정확도가 더 높은 모델을 선택하였다. 우선 조건별로 입력 데이터를 분류하고 분류한 입력 데이터를 이용하여 모델을 학습시키고 결과를 확인하여 정확도가 더 높은 모델을 선정한다. 학습 모델로는 LSTM, GRU, RNN, ANN으로 각각 학습시켜 결과를 확인하였다. 그 중, 조건별 학습에 대한 정확도가 높은 모델을 선정한다. 각 모델을 학습시킬 때 “평균 기온”의 값으로 입력 데이터가 구분되므로 시간의 연속성을 해치게 되는 문제점이 발생한다. 이러한 문제점을 해결하기 위하여 시간의 연속성을 해치지 않게 하도록 학습 시에는 전달되는 입력 데이터의 “평균 온도” 범위보다 ±1℃의 데이터를 추가로 학습하여 경계값에 대해 연속적인 데이터를 학습할 수 있도록 하였다.

각 모델을 선정한 후에는 모델의 설정값들을 변경하면서 학습 및 결과 분석을 반복하여 선정된 모델을 최적화한다. 모델을 선정하기 위해 GRU, LSTM, RNN 모델을 각각의 조건에 적용하여 학습시키고 결과 정확도가 높은 모델을 선정하였다. 선정된 모델을 최적화한 결과는 표 2와 같다. 표 2에서 Model 2의 경우 최적의 Learning Rate를 선정하기 위해 2장에서 Learning Rate를 설정하는 과정과 동일한 과정을 거쳐 확인한 결과 0.0004의 MAPE는 4.49%, 0.0005의 경우는 5.12%로 0.0004의 결과가 더 정확하여 0.0004로 설정하였다. 학습 모델 각각의 경우에 대한 정확도를 MAPE로 비교해보면 온도가 매우 높거나, 매우 낮은 경우의 정확도가 떨어지는 것을 보인다. “평균 온도”를 기준으로 데이터를 분류하였기 때문에 그림 8에서 볼 수 있듯이 학습에 사용된 데이터의 수가 다른 조건들에 비해 적기 때문에 학습량이 충분하지 못하여 정확도가 떨어졌다.

3.3 다중 모델 학습 및 결과 병합

다중 모델 학습은 입력 데이터 특성의 조건에 따라 각기 다른 모델로 학습을 하게 되므로 기존의 단일 모델 학습과는 다른 학습 방법을 가진다. 단일 모델 학습의 경우 모든 입력 데이터를 전달하여 학습하지만, 조건부 학습의 경우에는 조건에 맞는 입력 데이터만 분류되어 입력 데이터로 입력될 수 있도록 한다. 이 경우 사용자가 입력 데이터를 분류하여 입력할 수 있지만, 모델을 학습시키는 과정이 번거로워지므로 이를 처리하기 위하여 다중 모델을 하나의 모델처럼 하여 전체 입력 데이터를 다중 모델에 전달하도록 한다. 전달받은 입력 데이터를 학습 시에는 조건에 맞는 모델에 전달할 수 있도록 하는 소프트웨어적인 장치를 둔다. 어떤 모델이 학습할 때 시계열 데이터와 같이 하나의 시퀀스가 아닌 경우에는 이전 시간의 입력 데이터와 독립적으로 학습하므로 입력 데이터를 분류하여 전달하기만 하면 되지만 시계열 데이터와 같이 하나의 시퀀스를 이루는 경우에는 이전 시간의 입력 데이터와 종속적으로 학습해야 하는 문제점이 있다. 3.2절에서 설명한 것과 같이 학습 시에는 전달되는 입력 데이터 이전의 시간까지 포함될 수 있도록 그림 10의 Input Select에서 “평균 기온” 분류에 여유를 두어 입력 데이터를 전달한다. 이와 같은 방법을 이용하여 특성 조건의 경계에 위치한 입력 데이터에 대한 정확도를 향상시킬 수 있다.

또한, 하나의 모델처럼 입력 데이터를 한 번에 전달할 수 있도록 하기 위해서는 각각의 모델의 상태를 저장하고 다음 입력 데이터에 대한 학습을 이어서 진행하도록 한다. 시계열 데이터의 예측에 사용되는 RNN 계열의 모델은 입력 데이터의 길이에 따라 네트워크의 길이가 결정된다. 하지만 입력 데이터를 분류하여 전달하기 때문에 네트워크의 길이가 유동적으로 변하게 된다. 이와 같은 문제를 해결하기 위해 입력 데이터를 일정 길이만큼 전달하도록 하고 해당 입력 데이터만큼의 길이를 가지도록 모델을 구성한 후 데이터를 전달하여 학습한다. 학습이 이루어지고 나면 학습 후의 모델 상태를 저장하고 다음 학습이 이루어질 때 모델의 상태를 불러와 해당 모델에 이어서 학습할 수 있도록 한다.

다중 모델의 학습이 이루어지고 나면 각 모델에서 출력되는 결과들을 그림 10의 Output select에서 하나의 데이터로 병합한다. 학습 데이터로부터 모델들이 학습한 후에는 테스트 데이터를 입력 데이터로 입력하게 된다. 테스트 데이터가 입력됨에 따라 입력된 데이터의 조건에 맞는 모델이 출력값을 출력하게 되고 해당 모델의 출력값을 Output select에서 input data의 시간에 따라 순차적으로 이어붙이면 병합된 전체 결과를 얻을 수 있다. 그림 11은 2016년 1월부터 2018년 6월까지의 30개월간의 유통․물류시설 전력사용량 데이터 중 16개월간의 데이터를 학습 데이터, 2개월간의 데이터를 검증 데이터로 하여 학습한 후 12개월간의 데이터를 예측한 결과로 MAPE 값은 4.61%의 오차율을 가진다.

그림. 10. 다중 모델 기반 전력사용량 예측 모델 구성

Fig. 10. Structure of Multi-Model based Power Usage Prediction model

그림. 11. 다중 모델 예측 결과(1년)

Fig. 11. Prediction result of multi-model(1 year)