3.1 위치 인코딩

트랜스포머에서 입력 데이터는 위치 인코딩 기법을 거쳐서 인코더 층으로 전달된다. 위치 인코딩은 어떤 특정한 방식으로 순서 정보를 담고 있는 위치 벡터를 생성하고, 이것을 입력 데이터에 더하여 순서 정보를 주입하는 것이다. 본 논문에서는 Vaswani et al.^[8]에서 도입되었던 정현파(sinusoidal) 위치 인코딩 방법을 사용하여 입력 데이터에 순서 정보를 주입한다. 정현파 위치 인코딩은 사인 및 코사인 함수를 사용하여 각 위치에 대해 고유한 값을 생성하며, 다음과 같은 공식을 통해 계산된다.

여기서 pos는 입력 데이터의 위치, i는 차원의 인덱스, d는 모델의 차원을 나타낸다. 이 방법은 각 위치의 값들이 일정한 주기를 가지도록 하여 순차적 정보를 학습할 수 있도록 한다.

3.2 다중 헤드 어텐션

3.1절에서 설명한 방식으로 위치 인코딩된 입력 데이터가 인코더 층으로 전달되면, 인코더의 헤드 어텐션 층에서는 어텐션 기법을 사용하여 정보를 추출한다. 어텐션 기법은 각 시점의 정보가 다른 시점의 정보들과의 상호작용을 통해 시계열 패턴을 추출할 수 있도록 하는 기법이다. 다중 헤드 어텐션 층은 입력 데이터에 다수의 어텐션 헤드를 병렬로 적용함으로써, 다양한 시계열 패턴을 추출할 수 있다. 각 어텐션 헤드는 서로 다른 쿼리(query), 키(key), 값(value) 벡터를 사용하여 입력 데이터의 정보를 다양한 관점에서 추출한다. 쿼리, 키, 값 벡터는 입력 데이터를 표현하는 세 가지 벡터로, 다음과 같이 생성된다.

WiQ, WiK, WiV는 가중치 벡터를 나타내며, 입력 데이터 X에 세 가지 가중치 벡터를 사용하여 쿼리, 키, 값 벡터를 생성한다. 생성된 쿼리, 키, 값 벡터는 어텐션 기법을 통해 정보를 추출한다. 본 논문에서는 다양한 어텐션 기법 중 스케일된 내적 어텐션(scaled dot-product attention) 기법을 사용한다. 스케일된 내적 어텐션 기법은 단순한 벡터 연산으로 구성되어 병렬 처리에 최적화되어 있다. 또한, 다른 어텐션 기법들의 경우 입력 데이터의 길이에 따라 성능을 보장할 수 없으나, 이 어텐션 기법은 입력 데이터의 길이와 관계없이 일관된 성능을 보장한다. 스케일된 내적 어텐션은 먼저 쿼리, 키 벡터 간 내적을 계산하고, 이를 차원 수의 제곱근으로 나눈 뒤 소프트맥스를 적용하여 가중치를 얻는다. 마지막으로 이 가중치를 값 벡터에 곱하여 최종 어텐션 출력을 생성한다. 스케일된 내적 어텐션은 아래의 공식으로 나타낸다.

각 헤드에서 생성된 어텐션 출력들은 하나의 벡터로 결합되고, 가중치 벡터를 사용하여 최종 출력을 생성한다. 이 과정은 아래의 공식으로 나타낸다.

여기서 headi는 각 어텐션 헤드의 출력을 나타내며, Wo는 최종 결합된 벡터에 적용되는 가중치 행렬이다. 이러한 구조는 입력 데이터의 다양한 패턴과 복잡한 관계를 보다 효과적으로 학습하며, 전역적인 정보 추출할 수 있다. 그림 3은 다중 헤드 어텐션의 구조를 보여준다.

그림 3. 다중 헤드 어텐션 구조

Fig. 3. Structure of Multi-Head Attention

3.3 깊이별 분리 합성곱

다중 헤드 어텐션 층에서 추출된 다양한 시계열 정보는 깊이별 분리 합성곱 층에서 더욱 정교하게 처리한다. 깊이별 분리 합성곱은 주로 컴퓨터 비전 분야에서 많이 사용되는 합성곱의 한 종류로, 깊이별 합성곱(depthwise convolution)과 점별 합성곱(pointwise convolution)으로 구성된다. 일반적인 합성곱 연산과 달리, 깊이별 분리 합성곱은 깊이별 합성곱과 점별 합성곱을 통해 채널 연산과 공간 연산을 분리하여 동작한다. 이를 통해 시계열 데이터의 공간적 및 시간적 특징을 추출하는 데 유리하며, 지역적인 정보 추출을 강조하여 더욱 세밀한 특징 추출이 가능하다. 따라서 본 논문에서는 기존 순뱡향 신경망이 아닌 깊이별 분리 합성곱을 사용하였다. 먼저, 깊이별 분리 합성곱은 각 채널에 대해 독립적으로 합성곱 연산을 수행하여 정보를 분석하고, 이로 인해 지역적인 정보를 강조한다. 여기서 각 채널은 입력 데이터의 시점을 의미한다. 이어서 점별 합성곱은 채널 간의 상호작용을 통해 깊이별 합성에서 추출된 정보와 함께 전체적인 정보를 통합하여 추출된 시계열 정보를 더욱 명확히 할 수 있다. 그림 4는 깊이별 분리 합성곱의 구조를 보여준다.

그림 4. 깊이별 분리 합성곱 구조

Fig. 4. Structure of Depthwise Separable Convolution

또한, 깊이별 분리 합성곱은 일반적인 합성곱과 비교하여 채널 연산과 공간 연산을 분리하여 처리함으로써 매개변수의 수와 계산량을 크게 줄일 수 있다. 이는 모델의 학습 속도 및 추론 속도를 높이고, 모델을 경량화함으로써 자원이 제한된 환경에서도 사용할 수 있도록 한다.

3.4 MLP

EMformer는 인코더에서 추출된 정보를 MLP를 통해 최종 결과를 예측한다. MLP는 연산량과 파라미터 수를 줄여 모델의 학습 및 추론 속도를 향상시키며, 구조가 비교적 단순하여 모델의 복잡성을 줄이고 과적합의 위험을 낮춰 안정적인 성능을 유지할 수 있다. 본 논문에서는 이러한 이유로 기존 트랜스포머의 디코더 구조를 MLP로 대체하였다.

위의 (6)과 (7)은 기존 트랜스포머의 디코더와 MLP의 FLOPs(floating point operations) 수식을 나타내며, FLOPs는 부동소수점 연산량을 의미하며, 딥러닝에서 모델의 연산량을 나타내는 지표로 사용된다. 식 (6)에서 N은 층(layer) 수, Ld와 Le는 트랜스포머의 인코더와 디코더의 입력 길이, dm과 dff는 모델 차원과 순방향 신경망의 차원을 나타낸다. 또한, 식 (7)에서 N은 동일하게 층 수를 나타내고, d(n)in과 d(n)out은 n번째 층의 입력과 출력 차원을 나타낸다. 여기서 Ld와 Le는 수십에서 수백, 또는 수천에 이르는 매우 가변적인 크기를 가지고 있으며, dm, dff, d(n)in, d(n)out은 일반적으로 128, 256, 512 등 고정된 값을 가진다. 이를 통해 MLP는 디코더와 비교하여 일반적으로 연산량이 적으며, L의 크기가 커짐에 따라 MLP의 연산 효율성은 높아진다.

인코더에서 추출된 정보는 MLP를 통해 최종 결과를 예측한다. MLP는 연산량과 파라미터 수가 적어 모델의 학습 및 추론 속도를 향상할 수 있다. 또한, 비교적 단순한 구조로 인해 모델의 복잡성을 줄여, 과적합의 위험을 줄이며 안정적인 성능을 유지할 수 있도록 도울 수 있다.　따라서 본 논문에서는 기존 트랜스포머의 디코더 구조를 MLP로 대체하였다. MLP는 고전적인 인공신경망의 한 종류로, 입력층, 출력층과 여러 개의 은닉층으로 구성된 기본적인 구조의 신경망이다. 그림 5는 MLP의 구조를 보여준다. MLP의 각 층은 다수의 뉴런으로 구성되어 있으며, 각 뉴런은 이전 층의 모든 뉴런과 연결되어 있다. 입력층은 모델이 처리할 데이터를 입력받는 층으로, 입력 데이터의 특성 수와 동일한 뉴런 수를 가진다. 출력층은 결과를 예측하는 층으로 예측하려는 목표 변수의 수에 따라 출력층의 뉴런 수가 달라진다. 은닉층은 입력층과 출력층 사이에 위치하며, 시그모이드(Sigmoid), ReLU(Rectified Linear Unit)과 같은 비선형 함수를 사용하여 입력 데이터의 비선형 패턴을 모델링한다.

그림 5. MLP 구조

Fig. 5. MLP Structure

4.1 데이터셋

본 논문에서는 EMformer의 성능 평가를 위한 사례 연구로서 경기도 부천시 유통ㆍ물류 시설의 전력 사용량 데이터셋을 사용한다. 해당 데이터셋은 2016년 1월 1일부터 2018년 12월 31일까지 3년간의 데이터를 포함하고 있으며, 1일 간격으로 기록되어 있다. 그림 6에서 볼 수 있듯이 전력 사용량 데이터는 특정일에 매우 낮은 값을 보인다. 여기서 특정일은 유통ㆍ물류 시설의 휴점일을 나타낸다. 본 논문에서는 해당 특징을 효과적으로 학습할 수 있도록 휴점 여부에 대한 더미(dummy) 변수를 포함하였고, 주기적 패턴과 계절적 변동성을 반영하기 위해 요일과 계절을 나타내는 더미 변수를 포함하였다. 또한, 전력 사용량에 영향을 미칠 수 있는 주요 요인으로서 기상 변수를 고려하여 온도, 습도, 강수량, 풍속 등 다양한 기상 변수들을 포함하였다. 해당 변수들은 기상청으로부터 수집하였으며, 총 10개의 기상 변수를 포함하였다. 표 1은 전력 사용량을 예측하기 위해 사용한 변수들을 보여준다.

수집한 데이터셋은 모델의 학습과 검증을 위해 8:2로 분할한다. 이 중 80%는 모델의 학습에 사용되며, 나머지 20%는 모델의 성능 평가를 위해 사용된다.

그림 6. 2016년 전력 사용량 흐름

Fig. 6. Flow of Electricity Energy in 2016

4.2 상관관계 분석

변수의 영향도를 분석하는 방법으로 랜덤 포레스트, XGBoost, 피어슨 상관계수 등이 제안되어 있다. 본 논문에서는 이 중에서 피어슨 상관계수 방법을 통해 전력 사용량과 기상 변수 간 상관계수를 추출하고, 전력 사용량과 상관계수가 낮은 변수를 선정하였다.

피어슨 상관계수는 -1~1의 값으로 산정되며, 상관계수가 양수일 때는 양의 선형관계를, 음수일　때는 음의 선형관계를 지니고 있음을 의미한다. 또한, 1에 가까울수록 강력한 선형관계를, 0에 가까울수록 미비한 선형관계를 의미한다.

그림 7은 전력 사용량 및 기상 변수 간 상관계수를 산출한 표이며, 전력 사용량과 기상 변수 간 상관계수에서 일 최심적설 변수가 0.06으로 극히 낮은 계수를 보인다. 따라서 본 논문에서는 일 최심적설 변수를 제거한 데이터셋과, 원래의 모든 변수가 포함된 데이터셋 등 두 가지 데이터셋으로 실험을 진행한다.

그림 7. 피어슨 상관계수 표

Fig. 7. Table of Pearson Correlation Coefficient

4.3 실험 환경

딥러닝 모델의 경우 하이퍼 파라미터의 설정에 따라 매우 큰 성능의 차이를 보인다. 본 논문에서는 하이퍼 파라미터를 다양하게 설정하고 실험하여 가장 우수한 하이퍼 파라미터를 선정하였다. EMformer의 하이퍼 파라미터는 표 2와 같다.

4.4 평가지표

평가지표는 기존 시계열 예측 연구에서 주로 사용되는 MAPE(Mean Absolute Percentage Error)와 RMSE(Root Mean Squared Error)로 한다. MAPE는 실제값과 예측값 사이의 백분율 오차를 평균하여 나타내는 지표로, 상대적 오차를 측정한다. RMSE는 실제값과 예측값 사이의 오차를 제곱한 값의 제곱근을 나타내는 지표로, 절대적 오차를 측정한다. MAPE와 RMSE의 수식은 (8)과 (9)로 나타낸다.

위 식에서 은 테스트 데이터의 총 길이, 는 i 시점에서의 실제값을, $\hat{Y_{i}}$는 i 시점에서의 예측값을 의미한다.

4.5 실험 결과

본 장에서는 EMformer의 성능을 평가하기 위해 기존 시계열 예측 모델들과 비교 실험을 진행한다. EMformer는 앞서 언급한 대로 표 2의 하이퍼 파라미터 설정값으로 설정하고 수집한 데이터셋을 사용하여 예측한다. 예측 길이는 1일로 하여 단일 시점 예측을 수행한다. 비교 모델은 LSTM, CNN과 같은 인공신경망 모델, CNN-LSTM의 앙상블 모델, 다중 조건 모델^[15], 트랜스포머, 합성곱으로 구성된 트랜스포머^[17] 모델로 선정하였다.

그림 8. 예측 결과

Fig. 8. Prediction Result

표 3은 두 데이터셋에 대한 EMformer 및 비교 모델들의 MAPE, RMSE 결과이다. 트랜스포머 기반 모델은 인공신경망 기반 모델과 비교하여 MAPE와 RMSE 측면에서 모두 우수한 성능을 보이는 것을 확인할 수 있다. 또한, EMformer 모델은 모든 변수가 포함된 데이터셋에서는 MAPE 3.47로 최대 약 57.34%, RMSE 7.75로 최대 30.75% 개선되었으며, 일 최심적설 변수가 제거된 데이터셋에서는 MAPE 3.67로 최대 51.71%, RMSE 8.08로 최대 약 26.02%가 개선되었다. 그림 8은 인공 신경망 모델인 CNN-LSTM과 트랜스포머, EMformer의 예측 결과를 일부 보여준다. EMformer는 다른 두 모델과 비교하여 전력 사용량 데이터의 흐름을 정교하게 추적하며 가장 우수한 성능을 보이는 것을 확인할 수 있다.

한편, 모든 변수가 포함된 데이터셋과 일 최심적설 변수를 제거한 데이터셋에서 각 모델의 성능을 보면, 인공신경망 기반 모델은 일 최심적설 변수를 제거한 데이터셋에서 좀 더 높은 정확도를 보였던 것에 비하여, EMformer를 포함한 트랜스포머 기반 모델은 모든 변수가 포함된 데이터셋에서 좀 더 높은 정확도를 보이는 것을 확인할 수 있다. 인공신경망 기반 모델은 각 변수를 고정된 가중치로 처리하며, 각 변수의 중요도를 동적으로 조절하지 않는다. 이로 인해 일 최심적설 변수는 학습 시 노이즈로 작용하여 예측 성능이 저하될 수 있다. 반면, 트랜스포머 기반 모델은 어텐션 기법을 통해 각 변수의 중요도를 동적으로 조정하고, 변수 간 상호작용을 효과적으로 학습하며 일 최심적설 변수의 정보를 추출할 수 있는 것으로 판단된다. 따라서 영향도가 낮은 변수가 미치는 영향은, 모델의 구조적 특징과 학습 메커니즘의 차이에 따라 달라짐을 알 수 있다.