2.1 Convolution 1D Layer

CNN은 심층 신경망이다. CNN은 영상 신호 처리에 강점을 보이는 모델이며 하나 이상의 Convolution Layer, Pooling Layer 및 Fully Connected Layer로 구성된다. 그림 1(CNN.)은 CNN이 입력 데이터를 처리하는 과정을 보여준다. CNN의 Convolution 구조는 Kernal과 같은 작업을 수행하여 영상 처리에 매우 효과적이다 ⁽¹³⁾. Convolution 연산을 통해 이미지와 Kernal을 다음 계층의 인자로 넘겨주고 이미지 처리 과정의 상황에 따라 Pooling Layer와 Zero-Padding Layer를 추가하며 Feature에 대한 학습률을 높이는 구조를 만들어 간다. Feature를 이용하여 학습을 진행하는 구조 뒤에는 이전의 계층을 거쳐 나온 결과로 Label을 분류하는 층을 만들어준다. Softmax나 sigmoid와 같은 활성 함수를 사용하여 Label값이나 값에 대한 확률값을 추론하며 모델이 마무리된다. 따라서 본 논문에서는 소리 신호의 스펙트로그램 이미지를 처리하기 위한 CNN의 Convolution Layer에 중점을 두어 사용하였다.

2.2 RNN-LSTM

RNN은 순환 신경망이다. 입력과 출력이 Sequence 단위로 처리되는 순차 모델이며 시계열 데이터 처리에 강점을 보이는 모델이다. CNN과의 가장 큰 차이점은 정보가 전달되는 방향이다. CNN의 경우 결과값이 Input Layer에서 Output Layer로의 단방향으로 진행되지만, RNN의 경우 Output Layer로의 진행은 물론이고 오차가 역전파의 형태로 진행된다. RNN의 Hidden Layer는 이전 상태의 값과 현재 상태의 연산 값을 활성함수인 tanh를 거쳐 출력값을 도출한다. 다만 RNN에서의 오차 역전파로 인해 기억되어야 할 이전 상태의 단계가 현재 상태와 다를 경우 역전파가 크게 감소하는 Gradient Vanishing 문제가 존재한다. 이를 극복하기 위해 LSTM이 고안되었다 ⁽¹⁴⁾.

LSTM은 RNN의 오차 역전파로 인한 Gradient Vanishing 문제를 극복하기위해 고안된 모델로 RNN의 Hidden State에 Cell State를 추가한 구조이다. Cell State는 기억 및 망각의 역할을 하며 forget gate에서는 이전 상태와 현재 값을 받아 sigmoid 활성 함수를 취해주며 sigmoid가 1이면 온전히 기억하는 형태, 0이면 모두 망각 하는 형태를 취한다. Cell State의 input gate에서는 현재 정보를 기억하기 위한 것이며 역전파는 각각의 활성 함수에 대한 Local Gradient와 역전된 Gradient를 곱하여 주는 구조이다. 따라서 본 논문에서는 시계열 데이터를 사용하므로 기울기 소실 문제에 강한 LSTM을 사용하였다.

2.3 개선된 모델 제안

본 논문에서 제안하는 모델은 Conv1D와 LSTM을 결합한 모델을 제안한다. 시뮬레이터를 이용해 취득한 데이터는 시계열 소리 데이터이다. 소리 신호의 특징 중 하나인 MFCC를 이용하여 LSTM에 넣어 구현 해 본 결과 학습의 결과가 유의미하게 나오지 않았다. 그 이유로 취득한 데이터는 시계열 데이터이기 때문에 시간의 흐름에 있어서 데이터의 값이 서로 간섭하기 때문이다. 간섭에 의해 소리 신호의 수치가 비교적 연속적인 값을 가지게 되므로 유의미한 학습 정확도를 얻기 위해 소리 신호의 다른 특징인 스펙트로그램을 사용하여 인식하기 어려운 신호의 작은 차이를 스펙트로그램의 컬러 맵으로 표현하여 학습 시켜 더욱 높은 정확도를 얻을 수 있었다. 그리고 시계열 데이터 처리를 위해 LSTM을 사용하였다. 마지막으로 Output Layer에서 Softmax 활성 함수를 적용하여 결과값에 대한 확률로 결과를 도출하여 주었으며 Convolution Layer와 LSTM Layer를 거칠 때 Batch 별 데이터 편향이 이루어질 수 있으므로 Batch Nomalization Layer ⁽¹⁵⁾를 추가하여 데이터 편향을 방지해 주었다.

표 1은 본 논문에서 제안한 모델의 매개 변수의 값이다. 학습률을 1e+05로 설정하였으며 Batch size를 32로 설정 하였고 학습 횟수를 500회로 두었으며 최적화 함수로 Adam을 사용하여 학습을 진행하였다.

3.1 데이터 구성

본 논문에서는 이상 진동 시뮬레이터에서 이상 진동이 발생 하였을 때의 소리 신호를 이용하여 기계의 이상 유무를 판단할 수 있는 모델을 제작하기 위한 실험을 진행하였다.

이상 진동 시뮬레이터에서 정상 가동과 이상 가동을 나타내기 위해 정상 가동의 상태에서 특정 주파수를 주어 이상 가동으로 구분 지었으며 시뮬레이터가 가동될 때의 소리 신호를 녹음하는 것으로 데이터를 취득하였다. 다만 소리는 Noise의 영향을 많이 받기 때문에 소음에 강한 IEPE 기반의 방향성을 가진 지향성 마이크를 사용하였다. 이상 진동을 발생시키지 않고 작동할 경우 Negative로, 특정 주파수를 주어 이상 진동 발생시 Positive로 분류 하였으며 소리의 샘플링 비율은 16000으로 설정하였다. 그리고 신경망을 통한 학습의 경우 데이터의 형식이 동일해야 하므로 timestep을 5초로 설정하여 데이터를 재구성 해주었다.⁽¹⁵⁾ 그림 3은 이상 진동 시뮬레이터로 수집한 데이터의 파형을 나타내며, 그림 3.(1)은 Negative 데이터를 나타내며 일반적으로 값이 중앙에 있는 안정적인 파형임을 알 수 있고, 그림 3.(2)는 Positive 데이터를 나타내며 파형이 매우 불규칙하고 변화폭이 큰 것을 알 수 있다.

데이터 수집과 전처리가 정상적으로 이루어졌는지 확인한 후, 소리 신호의 Feature 중 하나인 스펙트로그램 이미지를 사용하여 본 논문에서 제안한 모델을 이용하여 학습을 수행한다. 그림 4는 IEPE 지향성 마이크를 이용해 수집한 데이터의 스펙트로그램 이미지이며 가로축은 시간 정보를 세로축은 주파수 정보를 픽셀 별 color 이미지는 진폭 정보를 나타내고 있다.

Fig. 4. (1)은 이상 진동이 발생한 Positive 데이터이다. 시뮬레이터의 동작 시작과 끝부분은 이상 진동이 발생하지 않은 Negative 데이터와 유사함을 보이지만 시뮬레이터의 동작 중에는 저주파 부분의 컬러 맵이 Negative 데이터와 명확한 차이를 보이는 것을 알 수 있다.

Fig. 4. (2)는 이상 진동이 발생하지 않은 Negative 데이터이다. Negative 데이터는 전체적으로 White Noise가 저주파 부분에 깔려있음을 알 수 있고 역동적인 파형의 변화가 없이 안정적인 파형의 진행이 이루어짐을 알 수 있다.

3.2 학습 결과

본 논문에서는 기계가 정상적으로 작동할 때와 고장으로 인한 이상 진동이 발생하였을 때의 신호를 각각 약 510분, 150분가량 수집하였다.

Fig. 5는 본 논문에서 제안한 모델에 대한 학습 결과이다. 그림 5.(1)은 학습의 정확도를 나타내며 그림 5.(2)는 학습의 손실률을 나타냅니다. 학습의 정확도는 진동이나 발산이 아닌 1.0에 가까운 수치로 수렴하는 것이 가장 이상적인 학습이라고 할 수 있다. 본 논문에서 학습의 정확도는 약 98%에 수렴하는 것을 알 수 있다. 또한 학습의 손실률은 학습 도중 손실률이 증가하거나 일정 수치 이하로 내려가지 않으면 Underfitting이나 Overfitting의 문제가 발생하여 학습이 제대로 이루어지지 않음을 알 수 있다. 본 논문에서의 학습의 손실률은 0.04로 수렴되는 것으로 보아 의미있는 학습이 이루저 졌음을 알 수 있다.

학습에 사용된 데이터가 시계열 소리 신호이기 때문에 시간이 지남에 따라 신호 간의 간섭이 존재할 가능성이 있어서 학습된 모델의 테스트 과정을 통해 확인해보고 이상 진동 판별의 정확도를 알아보았다.

3.3 모델 검증

학습 모델의 검증 과정을 두 가지 방법으로 진행하였는데, 첫 번째는 준비된 테스트 셋을 학습된 모델에 적용하여 테스트 셋의 이상 진동을 판단 여부를 확인하는 것이고, 두 번째는 성능평가지표를 통해 판별 모델의 예측력을 검증하는 것이다.

Fig. 6은 Negative 테스트 셋의 스펙트로그램 이미지를 나타낸 것이다. Negative 테스트셋은 이상 진동이 발생하지 않았으므로 저주파 부분에서의 White Noise를 제외하고 특별한 주파수의 변화가 없음을 알 수 있다. 그림 7은 Positive 테스트 셋의 스펙트로그램 이미지를 나타낸 것이다. Positive 테스트 셋은 이상 진동이 계속 발생하였을 때 이상 진동의 판별이 잘 이루어짐을 알아보기 위한 테스트 셋이며 모든 timestep이 이상 진동으로 이루어져 있기 때문에 White Noise이외에도 특정 주파수에서 Negative와는 다른 연속적인 주파수의 검출이 컬러 맵의 형태로 이루어짐을 알 수 있다. 그림 8은 시계열 데이터의 이상 진동 판별 여부를 나타낸 로그이며, 왼쪽부터 Positive와 Negative 테스트 셋을 나타낸 것이다. 5초의 timestep을 기준으로 Positive와 Negative에 해당하는 라벨을 표시해 주었으며 Positive 테스트 셋과 Negative 테스트 셋을 정확히 분류해내는 모습을 보인다.

분류 모델의 성능평가지표는 Accuracy, Precision, Recall, F1 Score로 총 4가지이며 TP, TN, FP, FN의 값에 의해서 결정된다.

표 2는 제안한 이상 상태 검출 모델의 성능 평가 지표를 나타낸 것이며, Accuracy는 전체 예측 건수에서 정답을 맞힌 건수의 비율이다. 물론 Accuracy가 중요한 지표이고 제안한 모델의 Accuracy는 98.06%로 성능이 좋게 나왔다고 볼 수 있지만 불균형한 데이터 셋에서의 Accuracy를 평가 지표로 단독 사용한다면, 표적이 되는 데이터의 예측을 잘하지 못할 가능성이 있어 다른 분류 지표와 함께 사용해야 한다.

Precision과 Recall은 표적이 되는 데이터를 실제로 맞췄는지, 실제 표적을 얼마나 잘 예측하였는지에 대한 나타내는 지표이다. 두 지표 모두 1이 가장 이상적인 값으로 나타나며 두 값 모두 균등하고 높은 값을 가지는 모델이 성능이 우수한 모델이라고 할 수 있다. 제안한 모델의 검증 결과로는 Negative testset에서 각각 0.99와 1이 나왔으며 Positive testset에서는 두 가지 값 모두 1이 나와 매우 우수한 성능의 모델이라고 할 수 있다.

F1 Score는 Recall과 Precision을 이용한 조화 평균 지표이다. 두 지표가 균등한 값을 가질 경우 F1 Score는 상대적으로 높은 값을 갖게 된다. 제안한 모델의 F1 Score는 0.99로 매우 높은 값을 가지는 것을 확인할 수 있었다. Table. 2는 Negatie 테스트 셋의 평가 지표를 표로 나타낸 것이며, Negative의 Label값을 0으로 설정하였고 0에 대한 Precision, Recall, F1 Score값이 매우 높은 것으로 보아 성능이 우수함을 알 수 있다

표 3은 본 논문에서 제안한 Conv1D와 LSTM 모델, 기존 제시된 분류 모델, Conv1D와 다른 시계열 모델인 GRU모델의 정확도 비교를 나타낸 표이다. Conv1D와 LSTM모델의 정확도는 98.08%, 다른 시계열 모델인 GRU를 사용한 모델은 97.42%, 기존의 제시된 방법을 사용한 분류 모델은 97.98%로 제안한 모델의 우수성을 알 수 있다.