2.1 GAN

GAN^[18]은 딥러닝의 한 분야로서, 두 네트워크가 서로 경쟁하면서 동시에 학습하는 구조를 가진 모델이다. GAN은 그림 1과 같이 크게 생성자(Generator), 판별자(Discriminator)의 두 부분으로 구분한다. 생성자는 무작위 잡음을 입력받아 실제와 유사한 데이터를 생성하는 역할을 하고 판별자는 입력된 데이터가 실제 데이터인지 생성자가 만든 가짜 데이터인지를 판별하는 역할을 한다. 생성자와 판별자는 서로 보완해가면서 적대적으로 훈련되어 성능이 고도화된다. GAN 모델은 다음 수식 (1)을 목적함수로 사용하여 학습한다.

(1)

$x$는 학습데이터 분포($P_{data}$)에서 가져온 실제 데이터이고 $z$는 생성자의 입력으로 사용되는 잡음 벡터이다. $z$는 사전에 정의된 잡음 분포 $p_{z}$에서 무작위로 추출된다. $G(z)$는 생성자 $G$에 의해 생성된 가짜 데이터이고, $D(x)$는 판별자 $D$가 데이터 $x$를 실제 데이터로 판별할 확률이다. $D(G(z))$는 생성된 데이터 $G(z)$가 실제 데이터로 판별될 확률이다. 학습이 진행됨에 따라 생성자 $G$는 점점 더 진짜 같은 데이터를 생성하고, 판별자는 진짜 데이터와 가짜 데이터를 구분하는 능력이 개선된다. $G$가 이상적으로 학습이 되었을 때 $D(x)= 0.5$의 값을 갖게 되며, 판별자 $D$는 실제 데이터와 가짜 데이터를 구분할 수 없을 정도로 생성자 $G$가 진짜 같은 데이터를 생성하게 된다.

그림 1. GAN 모델 구조

Fig. 1. Architecture of the GAN

2.2 WGAN-GP

WGAN-GP^[19]는 기존의 GAN의 문제를 개선하기 위해 제안된 모델이다. 대표적인 GAN의 문제점으로 생성자 $G$가 학습데이터 분포의 다양성을 충분히 반영하지 못하고 특정 범위의 학습데이터만을 반복적으로 생성하는 현상이 있다. 이로 인해 생성데이터의 다양성이 손실되는 상황이 발생한다. WGAN-GP는 Wassertein 거리를 목적함수로 사용하고 경사 페널티(gradient penalty) 항을 추가함으로써, 학습 과정에서 발생할 수 있는 문제점을 해결한다. WGAN의 목적함수인 Wassertein 거리는 학습 데이터셋과 생성 데이터셋 사이의 확률분포 간의 거리를 측정하는데 사용되며 Wassertein 거리는 다음 수식 (2)로 표현된다.

(2)

여기서 $P_{g}$는 생성자 $G$가 생성한 데이터의 분포, $\underline{\dfrac{}{}}"{sup}"_{vert vert f vert vert_{L}\le K}$는 모든 Lipschitz 상수 $K$에 대해 제한된 함수 $f$에 대한 최댓값, $f(x)$는 판별자가 데이터 $x$를 데이터를 어떻게 구분할지 학습한 함수이다.

WGAN-GP는 Wassertein 거리의 Lipschitz 제약을 만족시키기 위해 경사 페널티 항을 추가하여 사용하고, 다음과 같은 목적함수를 사용한다.

(3)

여기서 $\lambda$는 경사 패널티 항의 가중치항, $\hat{x}$는 학습데이터와 생성된 데이터 사이의 보간된 데이터, $\nabla_{\hat{x}}D(\hat{x})$는 $\hat{x}$에서 판별자 $D$의 기울기를 의미한다. 이렇게 추가된 경사 페널티 항은 판별자의 기울기가 Lipschitz 연속 조건을 만족하도록 강제함으로써 WGAN의 학습의 안정성과 성능을 개선한다.

2.3 Isolation Forest

Isolation Forest(IF)^[20] 알고리즘은 주로 이상치(outlier) 탐지에 사용되며, 이상치가 정상데이터에 비해 상대적으로 고립시키기 쉬울 것이라는 아이디어를 적용한 알고리즘이다. IF는 결정 트리(Decision Tree)를 사용하여 데이터 포인트를 고립시키는 과정으로 동작한다. 트리의 각 노드에서, 무작위로 선택된 특성에 대한 무작위 임곗값을 사용하여 데이터를 두 개의 그룹으로 분할 한다. 이 과정은 데이터 포인트가 하나만 남을 때까지, 또는 트리가 사전에 정의된 최대 깊이에 도달할 때까지 반복된다. 분할 과정을 거치면서 각각의 데이터에 따른 이상치 점수(anomaly score)를 계산할 수 있다. 이상치 점수는 데이터 포인트가 트리를 통과하는데 필요한 분할 횟수를 통해 계산된다. 이상치는 적은 수의 분할로 고립되므로 분할 횟수가 적을수록 이상치 점수가 높다. 기존 거리기반 또는 밀도기반의 이상치 탐지 방법론들과 다르게 계산량이 적어 시간 복잡도가 낮다는 점과 고차원 데이터셋에 대해서도 성능이 보장되는 것이 장점인 알고리즘이다.

2.4 KL-divergence

KL-divergence는 두 확률분포 간의 유사도를 측정하는 방법이다. KL-divergence는 데이터셋 P의 분포를 기준으로 데이터셋 Q의 분포가 P를 얼마나 잘 근사하는지를 측정하는 지표로 사용된다. 두 이산확률분포 P와 Q에 대해, P에서 Q로의 KL-divergence는 수식 (4)으로 계산된다.

(4)

$P(x)$, $Q(x)$는 각각 확률분포 $P$와 $Q$에서 사건 $x$가 발생할 확률을 나타낸다. $\chi$는 모든 가능한 사건의 집합이다. 계산된 값은 항상 0 또는 양의 값을 가진다. KL-divergence 값이 작을수록 두 분포가 비슷하다는 것을 의미하며, 두 확률분포가 완전히 동일하다면 0의 값을 갖는다.

3.1 GAN 모델 훈련

GAN 모델 훈련에 필요한 학습데이터는 송전선로 고장을 모의한 시뮬레이션을 통해 생성한 고장데이터를 사용한다. 시뮬레이션으로 생성한 고장데이터는 GAN 모델의 판별자 $D$의 학습데이터로 사용되기 때문에 실계통 파라미터를 최대한 반영하는 것이 중요하다. 또한 고장데이터의 다양성을 위해 고장유형, 선로길이, 위상 각 등 다양한 파라미터를 조절하며 시뮬레이션한다. 본 연구에서는 고장데이터 증강에 적합한 WGAN-GP 모델을 사용하였다. WGAN-GP 모델은 시뮬레이션으로 생성한 고장데이터를 활용하여 고장 유형별로 각각 훈련시킨다.

3.2 이상치 제거 알고리즘을 통한 최적 데이터셋 선정

본 단계는 두 단계의 세부 단계로 구분되어 있다. 첫 번째 단계(3.2.1)에서는 다양한 이상치 비율을 적용하여 복수 개의 데이터셋을 생성한다. 두 번째 단계(3.2.2)는 생성된 데이터셋이 훈련데이터 분포를 얼마나 잘 학습했는지를 평가하는 단계이다. 본 연구에서는 KL-divergence 값을 사용하여 생성된 데이터를 평가하여 최적의 데이터셋을 선정한다.

3.2.2 KL-divergence를 통한 최적 데이터셋 선정

오염도 $C$에 따라 생성된 데이터셋이 학습 데이터셋의 확률분포를 얼마나 잘 반영하는지를 정량적으로 평가하고, 이를 기반으로 데이터셋의 품질을 결정하여 최적 데이터셋을 선정한다. 본 연구에서는 고장파형 데이터셋의 특성을 고려하기 위해 실효값(Root Mean Square, RMS)에 기반한 확률분포를 사용하여 시뮬레이션 데이터셋과 생성된 데이터셋 간의 KL-divergence 값을 계산한다.

위의 3.2.1과 3.2.2의 과정에 대한 자세한 계산 과정은 1)~4)로 설명하며 모든 고장 유형에 대해 1)~4) 과정을 반복한다.

1) 오염도 $C$에 따라 $M$개의 데이터셋을 생성한다.

2) 각각의 데이터셋을 수식 (5)를 통해 RMS로 변환하고 각 상(A상, B상, C상)별 RMS에 대한 이산 확률밀도함수를 계산한다. 이때 $N$은 주기함수 데이터를 기준으로 1주기에 해당하는 데이터 개수를 의미하며, $l$은 총 데이터 포인트 개수이다.

(5)

3) 총 $M$개의 데이터셋 별로 수식 (6)를 통해 KL-divergence 값을 계산한다. 여기서 P와 Q는 각각 시뮬레이션 데이터셋과 생성된 데이터셋 분포의 확률밀도함수이다. KL-divergence 값은 상별로 계산되며 최종 KL-divergence 값은 수식 (7)과 같이 각 상별 계산 결과의 평균값을 사용하였다. 이때 $\log$안의 분자 분모가 0이 되는 것을 방지하기 위해 $\epsilon$값을 더하여 사용한다. $\epsilon$은 $10^{-10}$을 사용하였다.

(6)

(7)

4) 총 $M$개의 데이터셋 중 $D_{KL}$값이 가장 낮은 데이터셋을 최적의 데이터셋으로 선정한다.

4.1 시뮬레이션 기반 고장데이터 생성

GAN 모델의 학습데이터에 사용되는 송전선로 고장데이터를 PSCAD를 사용하여 생성하였다. 계통도는 그림 3과 같이 국내의 345-154kV 계통을 단순화하여 사용하였다. 계통 파라미터는 실계통 고장 상황을 최대한 모의하기 위해 국내 실계통 부하 및 변압기 파라미터를 사용하였다^[21]. 또한 고장데이터의 다양성을 고려하여 고장 유형, 송전선로 길이, 위상 각을 표 1과 같이 구성하여 총 700개의 시뮬레이션 기반 고장데이터를 생성하였다. 고장데이터는 고장 후 2주기를 생성하였다. 샘플링 주기는 3840(60$\times$64)HZ로 하였다.

그림 3. PSCAD 시뮬레이션 계통도

Fig. 3. PSCAD Simulation Topology

4.2 GAN 모델 구조 및 학습

GAN 기반 고장데이터 생성을 위해 사용한 WGAN-GP 모델의 생성자, 판별자의 구조는 표 2와 같다. 다음 표는 각 모델의 층을 순서대로 나열하고, 각 층에서 사용된 주요 파라미터들을 정리하였다. 송전선로 고장데이터 생성을 위해 각 고장 유형별로 WGAN-GP모델이 훈련된다. 생성자의 입력으로 사용되는 잡음 벡터의 크기는 (1, 100)이고 판별자에 사용되는 훈련 데이터는 고장 유형별로 70개씩이 사용되었다. 생성자, 판별자의 최적화기로 Adam, 활성화 함수는 Leaky ReLU, 학습률은 0.0001, 배치 크기는 70으로 설정하였다. 판별자를 다섯 번 업데이트할 때마다 생성자는 한 번씩 업데이트하여 모델을 훈련하였다. 그림 4는 ABC 고장 유형에 대해 에포크에 따른 생성자와, 판별자의 훈련 손실을 나타낸 그래프이다. 훈련 반복 횟수를 의미하는 에포크는 생성자와 판별자가 수렴하는 구간을 실험적으로 대략 에포크를 15,000으로 설정하였을 때 잘 수렴하는 것을 확인하였다. WGAN-GP 모델 훈련과 데이터 생성은 모두 Python 3.8.15를 통해 구현하였다.

그림 4. Epoch에 따른 훈련 손실 (a) 생성자의 훈련 손실, (b) 판별자의 훈 련 손실 (ABC 고장)

Fig. 4. Training Loss of Generator(a) and Discriminator(b) Over Epochs (ABC fault case)

4.3 GAN 기반 고장데이터 생성

고장 유형별로 총 10개의 GAN 모델 훈련을 마친 후 고장 유형별로 훈련된 생성자 $G$를 통해 오염도 $C$의 값을 0.05부터 0.2 까지 0.05씩 올려가면서 총 4개의 데이터셋을 생성한다. 한 개의 데이터셋은 1,000개의 고장데이터로 구성하였다. 각각의 데이터 별로 RMS는 수식 (5)를 통해 계산한다. 고장데이터 하나는 총 3개의 상(A, B, C 상)으로 구성되어 있고, 데이터 포인트 개수인 $l$은 128개(2주기)로 구성되었으며 $N$은 정상상태 전류의 1주기에 해당하는 데이터 포인트 개수인 64로 설정하였다. 하나의 고장데이터에 대해 상 별로 RMS는 총 65개 값이 계산된다. 각각의 상별 $D_{KL}^{A}$, $D_{KL}^{B}$, $D_{KL}^{C}$값의 평균을 낸 $D_{KL}$값이 가장 낮은 데이터셋을 최적의 데이터셋으로 선정한다. 오염도 $C$의 값에 따라 $D_{KL}$값을 비교한 결과를 표 3에 도시하였다. 각 고장 유형에 따라 최적의 오염도가 다른 것을 확인할 수 있다.

그림 5는 시뮬레이션 기반 고장데이터와 생성된 데이터 중에서 정상으로 분류된 데이터와 이상치로 제거된 데이터 파형의 예시를 도시하였다. 고장 유형별로 LG, LL, LLG, LLL 고장을 대표로 AG, AB, ABG, ABC 고장을 도시하였으며, 비교의 편의를 위해 모든 데이터는 A, B, C상 전류의 최댓값을 기준으로 정규화하였다. 이상치로 판별된 데이터는 파형이 과도하게 변형되었거나 잡음과 같이 불규칙한 변동이 심한 특징을 보이는 것을 확인할 수 있다. 따라서 이런 이상치 데이터를 제거하는 것이 보다 현실적인 고장 데이터셋을 생성하는데 도움이 된다.

그림 5. 시뮬레이션 데이터, 생성 데이터, 이상치 데이터 예시

Fig. 5. Examples of Simulation Data, Generated Data, and Anomaly Data

다음은 T-SNE(T-distributed Stochastic Neighbor Embedding)를 통한 시각화 과정을 통해 확률분포 계산 시 RMS의 필요성을 도시한다. T-SNE는 고차원 데이터 포인트 간의 유사성을 확률분포로 모델링하고, 이 유사성을 저차원공간에서 최대한 유지함으로써 데이터의 구조와 패턴을 시각적으로 분석할 수 있게 해준다^[22]. 다음 그림 6은 고장데이터 700개를 각각 순시치, RMS를 사용하여 2차원으로 시각화하고 고장 유형별로 색을 입혔다. 그림 6의 순시치를 통한 시각화 결과 고장 유형별로 군집이 형성되지 않는 반면, RMS를 통한 결과는 일부 LL-LLG간 고장을 제외한 나머지 유형들이 군집화되어 명확하게 분리되는 것을 관찰할 수 있다. 이는 각 고장 유형의 특성이 데이터에 반영되었음을 나타내고, RMS를 기준으로 확률분포를 계산하는 것이 고장데이터의 특성을 잘 반영할 수 있음을 보여준다.

그림 6. T-SNE를 통한 시뮬레이션 고장데이터 시각화 (a) 순시치, (b) RMS

Fig. 6. Visualization of Simulation Fault Data using T-SNE (a) Instantaneous Value, (b) RMS

그림 7. T-SNE를 통한 생성된 고장데이터 시각화

Fig. 7. Visualization of Generated Fault Data using T-SNE

그림 7은 제안된 기법으로 생성된 10,000개의 고장데이터를 RMS를 이용해 전처리한 후, T-SNE를 활용하여 2차원으로 시각화한 결과를 보여준다. 그림 7의 결과에서도 그림 6(b)와 같이 고장 유형별로 서로 영역을 침범하지 않고 군집이 형성되는 것을 확인할 수 있다. 이는 제안된 기법을 통해 생성된 데이터가 기존 시뮬레이션 데이터셋의 특징을 잘 학습했음을 간접적으로 보여준다. 따라서, 제안된 기법이 고장데이터를 효과적으로 증강시키는 것을 확인하였다.

4.4 GAN 기반 고장데이터셋 분포 시각화

추가적으로 GAN을 통해 생성된 데이터의 다양성을 데이터 분포 시각화를 통해 확인한다. 이때 실제 송전선로에서 발생한 고장데이터도 추가하여 비교를 진행한다. 실계통 고장데이터는 국내 다양한 위치에서 취득되었으며, 과거 약 9년간의 기간 동안 발생한 총 51개의 국내 실계통 고장데이터이다. 본 연구에서 사용한 실계통 고장데이터의 고장 유형별 데이터 개수는 표 4를 통해 정리하였다.

다음은 고장데이터의 RMS 중 가장 큰 값을 이용하여 3차원 평면에 시각화하는 과정을 그림 8을 통해 설명한다. 그림 8의 (a)는 순시치 파형을 나타내고 (b)는 RMS로 전처리된 파형을 나타내며 (c)는 RMS 중 최댓값을 3차원 평면에 도시한 그림이다.

그림 9는 AG, AB, ABG, ABC의 고장 유형을 그림 8의 과정을 따라서 3차원 평면에 차례대로 (a), (b), (c), (d)에 시각화하였다. 시뮬레이션 데이터는 파란색, 생성 데이터는 빨간색, 실계통 고장데이터는 초록색으로 나타내며 각 데이터 간의 분포를 시각적으로 확인할 수 있다. 그림 9에서 두드러지게 보이듯이 시뮬레이션 데이터와 실계통 고장데이터 사이에는 간극이 존재한다. 이는, 시뮬레이션을 통해 선로길이, 위상각을 변경하며 고장데이터를 생성하는 것만으로는 실계통 고장데이터와 유사한 데이터를 생성하는 것에 한계가 있음을 보여준다. 그러나 제안된 기법을 통해 생성된 고장데이터는 시뮬레이션 데이터 분포의 주변을 따라 데이터가 생성되는 모습을 확인할 수 있다. 즉, 제안하는 기법을 통해 확률적으로 실계통 고장데이터와 유사한 데이터가 생성될 수 있다는 것을 보여준다.

그림 8. 고장데이터 3차원 시각화 과정 (a) 순시치, (b) RMS, (c) 각상별 RMS의 최댓값을 통한 3차원 시각화

Fig. 8. Process of Three-dimensional Visualization of Fault Data (a) Instantaneous value, (b) RMS values, (c) Three-dimensional visualization with the maximum of the effective values for each phase

그림 9. 데이터셋 3차원 시각화 (a) AG, (b) AB, (c) ABG, (d)ABC

Fig. 9. Three-dimensional Visualization of the Dataset (a) AG, (b) AB, (c) ABG, (d) ABC

4.5 실계통 고장데이터셋과의 KL-divergence 값 비교

제안된 기법을 통해 생성된 데이터셋의 품질을 정량적으로 검증하기 위해 실계통 고장데이터를 기준으로 KL-divergence 값을 계산하고, 데이터셋 분포의 유사도를 비교한다. 실계통 고장데이터와 비교되는 데이터셋의 종류는 시뮬레이션 데이터셋, 제안된 기법이 적용된 생성 데이터셋이다. 데이터셋에 따라 계산된 KL-divergence 값을 표 5에 정리하였다. 계산 결과 모든 고장 유형에 대해 시뮬레이션 데이터셋 보다 제안된 기법을 활용하여 생성된 데이터셋의 KL-divergence 값이 더 낮음을 확인할 수 있다. 이는 GAN을 통해 생성한 데이터셋이 시뮬레이션 데이터셋보다 실계통 고장데이터의 확률분포와 유사하다는 것을 의미한다. 따라서 제안된 기법으로 생성된 데이터를 통해 시뮬레이션 데이터와 실계통 고장데이터 간의 차이를 줄일 수 있으며, 실계통 고장데이터와 더 유사한 형태의 데이터를 생성할 수 있음을 의미한다.