2.1 합성곱 신경망(CNN)

심층 신경망(Deep Neural Network)은 은닉 층을 포함하고 있는 순방향 신경망으로 회귀와 분류 문제뿐만 아니라 시스템 모델링 분야까지 그 응용범위가 넓다고 할 수 있다. 그중 합성곱 신경망(Convolution Neural Network)은 입력된 2차원 데이터의 특성을 다수의 합성곱과 풀링계층으로 추출하여 심층 신경망에 연결하는 구조로 되어 있다. 그중 특징 추출과정인 합성곱은 사람이 이미지의 특징을 기억하는 방법을 커널이라는 필터를 통해 구현한 것으로 합성곱의 계산 방법을 식 (1)에 보인다.

식 (1)에 나타낸 $I$ 는 입력 데이터이고, $K$ 는 필터링에 사용되는 커널이다. 계산 결과 $s(i,\: j)$는 입력 데이터에 대한 2차원 특징 맵(Feature maps)을 나타낸다. 이후 계산된 특징 맵은 학습을 위해 최댓값 풀링(Pooling)으로 인코딩 되어 심층 신경망에 연결된다^(7-9).

합성곱 신경망의 커널 연산은 2차원으로 구성된 이미지의 특징 추출에 효과적이기 때문에 이미지 관련 학습에서 좋은 결과를 보이고 있고, 물체인식이나 이미지 분류를 위한 VGGNet⁽¹⁰⁾, ResNet⁽¹¹⁾, DenseNet⁽¹²⁾과 같은 많은 모델들이 개발되어 사용되고 있다.

2.2 순환 신경망(RNN)

합성곱 신경망의 학습 방법은 현재 시점의 2차원 데이터를 입력값으로 사용한다. 그러나 1차원 시계열 데이터와 같은 시변적 동적 특성을 갖고 있는 시퀀스의 학습은 이전 시점인 $x(t-\tau)$값도 현재 시점 $x(t)$의 데이터에 포함되어 학습이 진행되어야 하는 문제점을 가지고 있다. 이와 같은 문제점을 해결하기 위한 시퀀스 학습방법이 순환 신경망(RNN) 방법이다. 순한 신경망의 구조를 식(2)에 보인다⁽¹³⁾.

식 (2)에서 $\phi$는 신경망에 입력된 값들에 대한 출력 여부를 결정하는 활성화 함수이고, $W$와 $b$는 각각 학습 파라미터인 가중치와 편향을 나타낸다. 순환 신경망은 $t-\tau$시점의 데이터가 $t$시점의 학습에 입력 값으로 사용되기 때문에 시퀀스의 추이 학습에 효과적이라고 할 수 있다. 그러나 $\tau$값이 커지게 되면 이전 데이터의 비중이 감소하는 문제가 발생하고, 이것은 장기 의존 관계를 갖는 시퀀스 학습에 문제가 있는 것으로 나타나고 있다. 이후 이 문제점을 해결하기 위해 이전 시점의 데이터를 단기와 장기 상태로 나누어 중요한 부분만 학습에 참여시키는 LSTM(Long Short-Term Memory Network) 방법이 발표되어 장기 의존성 문제를 해결하게 되었다.

현재 산업장비의 건전성을 평가하고 위험성을 예측하기 위한 분류 방법은 시계열의 주파수를 분석하여 고조파의 상태로 분류하는 방법들이 주로 사용되고 있다. 우리는 앞에 보인 머신러닝의 순환 신경망, 합성곱 신경망과 더불어 시계열의 고조파와 같은 주파수나 패턴의 변화를 특성값으로 하는 학습 기반의 새로운 분류 방법의 필요성을 인지하고 연구를 진행하였다.

3.1 등고선 신경망(CNN)의 구조

합성곱 신경망의 구조는 2차원 데이터에서 추출된 특징을 입력층에 인가하기 위해 다수의 합성곱층이 연결된 형태를 가지고 있다. 여기서 합성곱층은 데이터의 특징을 추출하기 위한 연산층으로 시각 피질 안의 뉴런들이 시각 자극에 대하여 일부분의 뉴런만 반응한다는 실험 결과를 기반으로 구현된 전처리 연산 층이다. 이와 같은 합성곱 신경망은 2차원 이미지 데이터의 분류 학습에는 효과적으로 적용되고 있다.

우리는 새로운 시계열 학습방법을 모색하기 위하여 앞에서 제시한 이미지 데이터의 특성을 추출하기 위해 사용되는 합성곱 연산과 유사한 시계열 데이터의 특성을 추출하는 새로운 방법의 필요성을 인지하고 연구를 진행하였다. 특징 추출을 위한 전처리로 시계열 데이터를 STFT(Short-Time Fourier Transform)로 변환하여 주파수 특성을 갖는 2차원 스펙트로그램(Spectrogram) 이미지를 생성하였다. 생성된 이미지는 주파수 분포를 갖는 2차원 그레이 스케일의 이미지 형태로 $x$축은 시간, $y$축은 주파수, $z$축은 세기를 나타내는 분포 기반의 이미지이다⁽¹⁴⁾. 변환에 사용된 STFT를 식 (3)에 보인다.

식 (3)의 $x(t)$는 변환을 위한 입력 시계열 데이터이다. 구간별 푸리에 변환을 위한 $\tau$ 크기의 원도우를 $w(t-\tau)$로 설정하고 스펙트로그램 이미지를 생성하여 그 결과를 학습에 사용한다. 생성된 2차원 스펙트로그램은 시퀀스 데이터의 주파수 특성을 보기 위한 시간축의 주파수 분포로 생성된 이미지이기 때문에 합성곱 연산에서 시각 자극으로 인지할 수 없는 특징들을 포함하고 있어 특성 추출에 한계가 있을 것으로 확인되었다.

우리는 시계열 데이터의 주파수 변화를 특성으로 하는 새로운 분류 학습 방법을 설계하기 위해 1차원 시계열 데이터로부터 생성된 2차원 스펙트로그램 분포 데이터에서 등고선(Contour)을 임의의 임계값으로 구분하여 학습에 사용될 새로운 특성 이미지를 생성하였다. 생성에 사용된 변환 함수$\phi(i,\: j,\: v_{th})$를 식 (4)에 보인다.

우리가 새롭게 제안하는 등고선의 임계값을 이용한 신경망 학습방법은 분포 기반의 2차원 이미지를 임계값 $v_{th}$로 구분하여 생성된 특성 이미지를 순방향 심층 신경망에 연결하여 학습하는 방법으로 그 구조를 그림 1에 보인다.

Fig. 1. Architecture of contour neural network

우리는 주파수에 대한 분포 기반의 스펙트로그램 이미지의 픽셀 값들을 임계값 $v_{th}$를 기준으로 흑백 이미지로 변환하여 심층 신경망에 연결하고 $v_{th}$에 따른 학습률의 변화를 관찰하였다. 위에 제시된 등고선 변환 방법은 합성곱 신경망의 합성곱 연산과 같이 제안된 신경망의 학습효과를 높이기 위한 특성 추출 과정이라고 할 수 있다. 등고선 신경망의 타당성을 확인하기 위해 다양한 주파수 특성을 가지고 있는 비선형 혼돈계의 시계열을 표본으로 하여 검증 연구를 진행한다.

3.2 Lorenz 혼돈계

혼돈계는 크게 이산 신호를 발생하는 계차 방정식 구조의 혼돈계와 연속신호를 발생시키는 미분방정식 구조의 혼돈계로 구분된다. 우리는 학습에 사용하기 위해 연속신호를 발생하는 Lorenz 혼돈계를 선택하고, 혼돈계에서 발생되는 시계열을 매개변수별로 구분하여 등고선 임계값 신경망의 학습을 진행하였다. Lorenz 혼돈계의 지배 방정식을 식 (5)에 보인다.

Lorenz 혼돈계에서 발생되는 혼돈 신호는 예측이 불가능한 고차원 비선형 신호로 매개변수 $\sigma$, $\rho$, $\beta$에 의해 서로 다른 혼돈 신호가 발생된다. 우리는 $\sigma$와 $\beta$를 각각 7.0과 8/3으로 고정시키고 $\rho$값을 40.0, 46.6, 53.3, 60.0으로 가변 하며 혼돈 신호를 발생시켰고 학습을 위해 각각 Label-0부터 Label-3으로 분류하였다.

Fig. 2. Time series data in the Lorenz chaos system

4가지로 분류되어 학습에 사용된 시계열을 그림 2에 보인다. 그림 2(a)는 $\rho$값을 40.0으로 (b), (c), (d)는 각각 46.6, 53.3, 60.0으로 설정하고 상미분 방정식 수치해석 방법인 Runge-Kutta로 계산한 결과 값이다. 본 실험에서 혼돈계를 선택한 이유는 비선형 특성을 분석하기 위해 것이 아니라 고차원 비선형 특성으로 예측이 불가능한 시계열을 이용하여 제안된 등고선 임계값 신경망의 타당성을 검증하기 위한 것이다.

3.3 혼돈 시계열의 분류

우리는 제안된 학습방법의 성능을 검증하기 위한 전 처리과정으로 그림 2에서 보인 1차원 시계열 데이터를 STFT로 변환하여 특성 이미지를 생성하고 그 결과를 그림 3에 보인다.

Fig. 3. Contour image calculated based on threshold

그림 3의 (a)부터 (d)까지는 그림 2에서 보인 시계열을 STFT로 변환한 스펙트로그램을 이미지이고, (e)부터 (f)까지는 각각 (a)부터 (d)까지의 스펙트로그램을 식 (4)의 $\phi$로 변환한 이미지이다. 가시화를 위해 이미지 변환에 사용된 값은 220이다. 우리는 임계값 별로 변환된 100x150 픽셀의 등고선 이미지를 Tensorflow-gpu 2.3.0에서 학습을 진행시켰다. 학습에 사용된 데이터 세트는 4,000개 이고, 그중 3,200개를 학습용 데이터 세트로 사용하였고, 나머지 800개를 검증용 데이터 세트로 사용하였다. 학습에 사용된 모델은 4개의 히든 레이어로 구성된 간단한 순방향 신경망으로 사용된 총 파라미터(가중치와 편향)의 개수는 7,853,252이고 학습에 사용된 옵티마이저는 Adam (lr=$1e-6$)이다. 계산된 학습 결과를 그림 4에 보인다. 그림 4는 등고선 임계값을 0부터 255까지 변화시키며 생성된 등고선 스펙트로그램의 학습결과를 나타낸 검증 정확도 그래프이다. 그림 4 의 (a), (b), (c)는 Epoch이 각각 10, 50, 100일 때 임계값에 따른 검증 정확도를 나타낸 것으로 임계값이 220 부근에서 검증 정확도가 빠르게 증가하는 것을 확인할 수 있다.

이 결과로 혼돈계에서 생성된 시계열 데이터의 스펙트로그램 이미지는 $v_{th}$가 220을 경계로 주파수 특성을 가장 잘 나타내고 있다고 할 수 있다. 우리는 임계값에 따른 검증 정확도 계산에서 측정된 주파수 경계 값을 220으로 하는 등고선 임계값 신경망과 스펙트로그램 이미지를 입력으로 하는 합성곱 신경망(CNN)의 성능을 비교하는 실험을 진행하였고, 그 결과를 그림 5에 보인다.

Fig. 4. Learning results according to contour lines

Fig. 5. Comparison of training results of CNN and contour neural network.

그림 5(a)는 등고선 신경망의 검증 정확도 결과 값이고, 그림 5(b)는 등고선 신경망과 비슷한 파라미터를 갖는 LeNet-5 모델 합성곱 신경망(CNN)의 학습 결과이다. 두 그래프를 비교하면 Epoch이 30 부근에서 검증 정확도가 1.0에 근사하는 것을 확인할 수 있다. 그러나 학습시간은 등고선 임계값 신경망이 합성곱 신경망 LeNet-5 모델보다 Tensorflow 2.3-gpu에서 약 4배 정도 빠른 것으로 나타난다. LeNe-5 모델은 합성곱층이 2개가 포함되어 있어 학습에 많은 시간이 소요되는 것으로 예측된다.

4.1 돌입전류의 발생

전기기기에서 전력용 변압기는 송배전에서 가장 중요한 기기라고 할 수 있다. 그러나 초기 전압 인가시 발생되는 변압기의 돌입전류는 코어의 비선형 포화로 인하여 발생하게 되며 그 양상은 변압기의 히스테리시스 특성에 의해 결정된다고 할 수 있다⁽¹⁵⁾. 이와 같은 돌입전류는 고장전류와 파형이 비슷하여 고장전류 발생 시 안전을 위해 동작하도록 설계된 차단기에 오동작을 유발하고 있어서 전력 전송에 문제점으로 나타나고 있다. 그러므로 돌입전류와 고장전류를 정확하게 구분하며 변압기를 운용하는 것은 전력 전송 분야에서 중요한 요소라고 할 수 있다. 기존의 돌입전류와 고장전류의 분류 방법의 사례들은 시계열 데이터의 고조파 특성을 감지하여 특정 고조파의 유무 또는 자기 상관관계로 분류하고 있고⁽¹⁶⁾, 최근 들어 학습을 기반으로 하는 새로운 방법들도 많은 연구가 이루어지고 있는 추세이다^(17-18).

4.2 돌입전류와 고장전류 분류

우리는 제안된 등고선 임계값 신경망 학습방법을 돌입전류와 고장전류 구분에 적용하기 위해 잡음이 추가된 돌입전류, 단락전류, 1선-지락 전류를 생성하고 STFT로 변환하여 분포 기반의 스펙트로그램 이미지를 생성하였다.

Fig. 6. Spectrogram image of inrush current and fault currents

그림 6(a)은 돌입전류의 스펙트로그램 이미지이고 (b)와 (c)는 각각 선간 단락과 1선-지락에서 발생되는 고장전류의 스펙트로그램이다. 선행연구와 동일하게 Tensorflow-gpu 2.3.0으로 계산하였고, 총 30,000개의 데이터 세트 중에서 학습과 검증에 각각 24,000개와 8,000개를 사용하였다.

돌입전류와 고장전류의 분류는 임계값 180 부근에서 잘 구분되었고, 학습 이후 검증 데이터를 이용하여 등고선 신경망 모델의 오류를 계산한 혼동 행렬(Confusion Matrix)을 그림 7에 보인다.

그림 7(a)은 임계값을 180으로 설정하고 검증시킨 결과의 혼동 행렬이고, (b)는 임계값 210으로 설정하고 검증한 결과이다. 임계값이 180보다 크게 설정되면서 분류에 오류가 발생하는 것을 확인할 수 있다. 논문에는 제시되지 않았지만 180보다 작은 임계값에서도 돌입전류와 고장전류 분류에 오류가 있는 것을 확인할 수 있었다.

Fig. 7. Confusion matrix by threshold

돌입전류와 고장전류 분류 학습에서 주파수를 특성으로 하는 학습방법으로 순방향 신경망(FNN)과 등고선 임계값 신경망(TNN) 그리고 합성곱 신경망(CNN)을 비교한 결과를 표 1에 보인다. 제안된 등고선 임계값 신경망이 검증 정확도가 0.99에 도달하는 시간이 25.4908초로 가장 빠른 것을 확인할 수 있다.