2.1 머신 러닝 기반 베어링 고장분류

고장 신호의 특징 추출 기법에는 통계적 특징 추출, 포락선 분석, 웨이블렛 패킷 분해 기법 등이 있다⁽⁹⁾. 통계적 추출 기법은 일정 범위 동안의 연속적인 데이터에서 통계적인 계산으로 특징을 추출하는 기법이다. 대표적으로는 시간 영역에서 RMS, 왜도값, 첨도값 등이 있으며 주파수 영역에서는 중심 주파수와 통계 값을 활용한다. 포락선 분석은 복조 기법 중 하나로, 계측된 회전기기의 진동 신호는 공진 신호와 결함 신호가 진폭 변조(Amplitude modulation)된 형태이기 때문에 포락선 분석으로 결함 신호를 추출할 수 있다⁽²⁾. Tian 등⁽¹⁰⁾은 포락선 분석으로 전처리한 신호에서 통계적 기법 중 하나인 Spectral kurtosis 특징을 추출해 모터의 베어링의 고장 특징을 추출하였다. 베어링 결함은 각 유형별로 고유한 결함 주파수를 가지고 있기 때문에 포락선 분석을 거친 진동 신호에서 각 결함 주파수별로 에너지를 계산하여 특징값으로 사용할 수 있다. 웨이블렛 패킷 분해 기법은 진동 신호를 단계적으로 고주파와 저주파로 분해하는 신호 분해 기법이며, 분해된 각 주파수 영역별 에너지 값을 특징 신호로 이용할 수 있다. Priya 등⁽¹¹⁾은 웨이블렛 패킷 분해를 이용해 원신호를 여러 주파수 대역으로 분해하고, 분해된 신호의 평균과 표준 편차를 각각 추출하여 특징으로 사용해 고장 유형별로 특징 값을 비교하는 연구를 수행하였다.

추출된 특징들은 특징 선택 기법을 통해 특징의 차원을 줄여 연산량을 감소시키고, 분류 성능이 떨어지는 특징을 제외함으로써 모델의 정확도를 높일 수 있다⁽¹²⁾. 특징 선택 기법은 크게 래퍼, 필터, 임베디드 방법으로 나눌 수 있다. 필터 방법은 t검정, 카이 제곱 검정, 정보 이득 등의 통계적인 측정 방법들을 이용하여 특징들 간의 상관관계를 계산해 특징 자체를 평가하는 방법이다. 래퍼 방법은 피처들의 부분 집합들을 사용해 학습시킨 모델의 정확도를 평가하여 모델의 성능을 높이는 방법으로, 필터 방법보다 연산량이 많지만 정확도가 더 높다. 임베디드 방법은 래퍼 방법과 필터 방법의 장점을 결합한 방법이다. Rauber 등⁽⁹⁾은 분류기 모델을 지나치게 정교하게 설계하는 것보다, 고성능의 특징 집합을 구축하는 것이 더 중요하며, 적절한 특징 모델을 사용한다면 간단한 분류기만으로도 충분하다는 결론을 내렸다.

적절한 특징을 추출 및 선택한 후에 베어링 결함진단을 위한 머신러닝 분류기의 입력 값으로 특징 집합을 사용할 수 있다. 머신러닝 분류기로는 이웃한 K개 데이터의 라벨에 따라 새로운 데이터의 라벨을 분류하는 K-Nearest Neighbor(K-NN), 서포트 벡터와 경계면의 마진을 최대화하여 데이터를 분류하는 SVM(Support Vector Machine) 등의 기법들이 주로 사용된다. Konar 등⁽¹³⁾은 Continuous wavelet transform으 로 전처리한 베어링 진동 신호에서 특징을 추출하고 SVM으로 베어링의 상태를 분류하였다. Safizadeh 등⁽¹⁴⁾은 vibration signal과 load signal 두 가지를 fusion한 multi-sensor data에서 추출한 특징을 K-Nearest Neighbor(K-NN)을 사용하여 볼 베어링의 상태를 식별하였다.

2.2 딥러닝 기반 베어링 고장분류

최근에는 머신러닝에서 더 나아가 딥러닝 기반 진단 기법인 인공 신경망을 이용해 높은 효율성과 정확도로 신호의 특징을 추출 및 건전성을 진단하는 연구가 활발하게 진행되고 있다⁽¹⁵⁾. 또한 기존에 사용되던 머신러닝 기반 방법은 원신호에서 특징을 추출하는 데에 전문가의 지식과 신호 처리 기술이 필요하고, 추출된 특징 간의 비선형적인 관계를 파악하기에는 얕은 구조를 가지고 있다는 한계점을 가지고 있다⁽⁴⁾. Wang 등⁽¹⁶⁾은 1차원 베어링 진동 신호를 잘라서 이어붙임으로써 2차원 이미지로 변환하여 CNN으로 고장을 진단했다. Ding 등⁽¹⁷⁾은 wavelet packet energy를 입력 이미지로 사용하여 CNN으로 베어링 고장 진단을 수행하였다. Chen 등⁽¹⁸⁾은 Short Time Fourier Transform(STFT)을 사용해 진동 신호를 2차원 이미지로 변환하여 CNN 학습을 통해 베어링 상태를 분류하는 딥러닝 기반 연구를 진행하였다.

그림 1 회전기기 테스트베드

Fig. 1 Rotationary system testbed

2.3 딥러닝 고장분류 모델 해석

딥러닝 모델은 예측 및 분류에서 우수한 성능을 제공 하지만 모델 내부의 매개 변수를 설명할 수 없다는 한계를 가지고 있다. 모델이 점점 복잡해져 해석하기 어려워짐에 따 라 최근 의료, 교통, 보안 등 안전과 직결된 분야에서 AI의 의사결정 해석에 대한 중요성이 대두되고 있다⁽⁶⁾. XAI는 모델 내부를 설명하여 모델의 신뢰도를 높이고 모델이 도출한 결과를 검증하는 용도로 사용된다. 모델을 해석하는 방법에는 모델 내부 해석, 대리(Surrogate) 모델을 사용 한 방법 등의 방법이 있다. CNN 해석은 주로 CNN이 분류 과정에서 높은 가중치를 둔 영역을 시각화함으로써 모델이 이미지에서 어떤 부분을 중점적으로 사용해 판단했는지 나타낸다. Zhou 등⁽¹⁹⁾은 CNN 모델의 마지막 convolution layer의 가중치를 시각화하는 Class Activation Map (CAM)을 제안하였다. Chen 등⁽¹⁸⁾은 CAM의 한계점을 보완한 Gradient-weighted Class Activation Map(Grad-CAM)를 제시하였다. 일반적으로 Grad-CAM은 이미지 및 영상처리 모델에 적용되기 때문에 CNN이 탐지한 객체를 이미지에서 어떤 부분을 보고 결과를 도출했는지 확인하여 모델의 의사결정과정을 해석하고 신뢰도를 판단하는 용도로 이용된다. Menikdiwela 등⁽²⁰⁾은 작은 곤충을 탐지하는 VGG16 모델의 결과를 검증하기 위해 Grad-CAM을 사용하였다. Panwar 등⁽²¹⁾은 흉부 CT 스캔 이미지를 사용한 COVID-19 양성 환자 검출 CNN 모델이 판단한 감염 영역을 시각화하고 모델의 신뢰도를 높였다. CNN을 사용한 베어링 고장 진단 연구에서는 주로 진동 신호를 시간-주파수로 분해한 이미지를 입력으로 사용한다. 이러한 모델의 분류 결과에서 높은 중요도를 가지는 주파수 영역을 시각화함으로써 모델을 설명할 수 있다.

그림 2 회전 시스템 베어링의 진동 신호

Fig. 2 Vibration signal of bearing in rotationary system

그림 3 머신러닝 기반 베어링 고장 진단 전체 흐름도

Fig. 3 Overall framework of Bearing fault classification using machine learning method

따라서 본 논문에서는 자체 설계한 회전기기 시스템에 가장 적절한 머신러닝 및 딥러닝 고장 진단 기법을 선정하고, XAI 기법인 Grad-CAM을 사용하여 딥러닝 모델의 진단 결과를 해석하고 XAI가 해석한 결론을 필터 설계를 통해 확인하고자 한다.

4.1 특징 추출

4.1.2 포락선 신호 특징 추출

결함 베어링의 진동 신호는 베어링의 구름 요소가 베어링 내부의 결함 부위에 부딪히면서 발생하는 결함 신호와 공진 신호가 진폭 변조된 형태로 나타난다. 변조된 신호로부터 고장에 대한 정보를 가지고 있는 결함 신호를 복조하기 위해 포락선 분석 기법이 주로 사용된다. Fig. 4는 공진에 의해 변조된 신호와 변조되기 전의 내륜 고장 신호의 파형을 나타낸다. 진동 신호의 포락선을 계산하는 대표적인 방법으로는 힐버트 변환이 있다. 힐버트 변환은 h(t) 은 다음 (1)식과 같이 정의된다.

그림 4 내륜 결함 베어링의 포락선 추출 결과

Fig. 4 Envelope extraction of inner fault signal

(1)

$h_{a}(t)=h(t)+i\widetilde h(t)$

신호에서 추출된 포락선 신호에서는 주로 고장 특성 주파수와 관련한 특징을 추출하여 사용한다. 본 논문에서는 고장 특성 주파수를 중심으로 1% 대역폭의 에너지를 특징으로 추출하였다⁽⁹⁾.

4.2 특징 선택 기법

본 연구에서는 특징 선택으로 필터 방법과 래퍼 방법을 사용하였다. 필터 방법은 통계적 테스트 점수로 특징 간의 상관관계를 계산하여 영향력이 높은 특징을 선택하는 특징 선택 방법이다. 계산 속도가 빠르다는 장점이 있지만 비교적 정확도가 떨어져 래퍼 방법을 사용하기 이전에 전처리 방법으로 사용되기도 한다. 래퍼 방법에는 전진 선택 (Sequential Forward Selection)과 후방 제거(Sequential Backward Selection) 두 가지 방법이 있는데, 전진 선택은 특징을 0개 가진 상태에서 특징을 하나씩 추가하며 모델의 정확도를 계산하여 모델의 성능을 높이는 특징 집합을 찾는다. 반대로 후진 제거는 전체 특징을 다 가진 상태에서 시작하여 특징을 하나씩 제거하며 최적의 특징 집합을 찾는 방법이다.

그림 5 레벨 3의 웨이블렛 패킷 분해

Fig. 5 Level 3 wavelet packet decomposition

4.3 분류기

4.3.2 서포트 벡터 머신(Support Vector Machine)

서포트 벡터 머신은 서포트 벡터와 경계면의 거리를 최대화하거나 최소화하여 데이터를 분류, 혹은 회귀하는 머신 러닝 기법이다. 서포트 벡터는 이상치를 제외한 결정 경계와 가장 가까이 위치한 데이터이며, 데이터의 분류를 위해서는 서포트 벡터와 경계면의 거리, 즉 마진을 최대화하는 최적의 결정 경계를 찾고 결정 경계를 기준으로 새로운 데이터의 클래스를 예측한다.

그림 6 선택된 특징 수에 ᄄᆞ른 K-NN 정확도

Fig. 6 K-NN accuracy according to the number of selected features

4.3 분류 결과 비교

통계적 분석 기법, 포락선 추출 특징, 웨이블렛 패킷 특징 3가지 방법 모두 전체 데이터를 1초 간격으로 분할하여 각 부분마다 특징을 추출하였다. 통계적 특징의 경우 Table 2에 나열된 RMS, SRA 등의 13가지의 통계적 특징값이 출력되었다. 진동 신호의 포락선을 추출하여 복조된 스펙트럼에서 증폭된 고장 주파수 성분을 중심으로 1% 대역폭의 에너지를 포락선 분석 특징으로 사용하였다. 고장 주파수는 Table 3에 명시된 결함별 계수에 축의 회전 주파수를 곱한 값이며 각 고장별로 제6고조파까지 특징 추출에 사용하였다. 웨이블렛 패킷 분해 특징은 진동 신호를 레벨 4로 분해하고, 분해된 신호 중 가장 말단 노드 16개의 신호의 에너지를 특성으로 추출하였다.

특징 선택 기법은 필터 방법과 래퍼 방법을 사용하였고, 래퍼 방법 중 가장 대표적인 전진 선택, 후방 제거 방법을 사용하였다. 래퍼 방법에서 특징을 선택/제거하기 위해 모델의 정확도를 평가하는 기준으로는 SVM과 K-NN의 결과를 사용하였다. Fig. 6은 선택/제거한 특징 추출의 수에 따른 전체 특징 모델의 성능을 나타낸 그림이다. 전진 선택, 후방 제거 두 가지 경우 다 특징을 전부 선택/제거했을 때 성능이 저하됨을 확인할 수 있다. 두 방법 모두 특징 선택 3개 이상부터는 특징을 전부 사용한 모델과 유사한 정확도를 보였다. 그에 비해 필터 방법으로 선택된 특징들은 5개의 특징을 선택하는 시점에서 99.4%로 전체 특징 집합과 유사한 정확도를 보였다. 이 결과를 통해 모델의 정확도를 저하시키지 않으면서 연산량을 낮추기 위해서는 래퍼 방법이 필요하다고 파악하였다.

그림 7 딥러닝 기반 베어링 고장 진단 전체 흐름도

Fig. 7 Overall framework of bearing fault classifcation using deep learning method

머신러닝 기반 특성 추출 기법과 분류 모델의 성능을 비교하였다. Table 4에 SVM과 K-NN으로 평가한 각 특징 모델과 특징 선택 기법의 성능을 정리하였다. 특징 모델 중에서는 모든 특징을 전부 사용한 전체 특징 모델이 99.6%의 정확도로 가장 높은 성능을 보였으며, 그 다음으로는 웨이블렛 분해 특징 모델이 99.0%로 우수한 성능을 보였다. 분류기 중에서는 대체로 K-NN이 SVM보다 다소 높은 정확도를 보였다.

그림 8 CNN의 오차행렬

Fig. 8 Confusion matrix of CNN

5.1 CNN(Convolutional Neural Network)

Fig. 7은 딥러닝 기반 베어링 고장진단의 전체 프레임워크이다. CNN 기법은 주로 영상이나 이미지를 분석하기 위한 목적으로 가장 많이 사용되는 딥러닝 기법 중 하나이다. 일반적인 심층 신경망은 입력으로 1차원 정보를 사용하기 때문에 2차원, 혹은 3차원 데이터인 이미지는 평탄화(flatten) 과정에서 각 데이터 포인트간의 공간 정보 손실이 일어난다. CNN은 이러한 공간 정보를 유지하면서 인접한 이미지와의 관계를 고려한 특징 계층을 추출 및 분류하는 신경망 구조이다. 입력 이미지에 필터를 스트라이드(stride)만큼 이동하면서 합성곱을 진행하고, 그 결과로 출력된 계층에 다시 필터와 합성곱하는 과정을 반복한 후 최종적으로 완전 연결 계층으로 평탄화하여 이미지의 클래스를 분류한다. 본 연구에서는 CNN의 입력 이미지로 STFT(Short Time Fourier Transform,) 결과와 CWT(Continuous Wavelet Transform) 결과를 사용하였다. 본 연구에서 사용한 CNN의 구조는 ⁽¹⁸⁾에서 설계한 구조를 참고하였으며, Table 5에 정리하였다.

5.2 Grad-CAM(Gradient Class Activation Map)

설명 가능한 AI 기법 중 하나인 CAM(Class Activation Map)은 CNN의 결과에 영향을 미친 픽셀의 위치를 시각화함으로써 신경망을 설명하는 모델이다.⁽¹⁹⁾ CNN의 마지막 합성곱 계층을 전역 평균 풀링(GAP, Global Average Pooling)을 통해 완전 연결 계층으로 만들고, 각 완전 연결 계층의 포인트들을 활성화 계층의 가중치로 사용해 이미지의 클래스를 분류한다. 합성곱 모델이 판단에 사용한 이미지의 위치를 시각화하기 위해서는 마지막 합성곱 계층의 각 특징맵마다 해당 특징맵의 평균값을 곱하고, 곱해진 채널들을 전부 더해 히트맵을 만들 수 있다. 완전 연결 계층 사용으로 인해 성능 저하가 일어나고, 마지막 합성곱 계층에서만 사용할 수 있는 CAM의 단점을 보완한 모델이 Grad-CAM이다.⁽²⁴⁾ CAM은 전역 평균 풀링의 가중치를 각 특징맵에 곱해 히트맵을 출력하지만, Grad-CAM은 가중치 대신 역전파 기울기를 이용해 히트맵을 만든다. Grad-CAM의 가중치와 수식은 다음과 같다.

그림 9 STFT와 Grad-CAM 결과

Fig. 9 STFT and Grad-CAM result

그림 10 CWT와 Grad-CAM 결과

Fig. 10 CWT and Grad-CAM result

5.3 분류 결과 및 해석

그림 11 Grad-CAM 결과와 시간-주파수 이미지의 3d 플롯

Fig. 11 3d plot of time-freq. image overlapped with Grad-CAM result

특성 추출 기법과 분류 모델의 성능을 비교하였다. Table 6에 각 이미지 변환 기법에 따른 CNN 모델의 성능, Table 7에서는 머신러닝 기법과 딥러닝 기법의 정확도를 비교하였다. CNN 모델의 경우에는 STFT, CWT를 입력 이미지로 사용한 모델 모두 우수한 성능을 보였으며, STFT 모델이 CWT 모델보다 다소 정확도가 높음을 확인할 수 있었다. 머신러닝 모델과 비교했을 때 딥러닝 기법인 CNN 모델이 전반적으로 분류 정확도가 우수함을 확인할 수 있었다. Table 7을 통해 Global 특징 모델의 성능이 가장 우수하고, STFT를 사용한 CNN 모델이 Global 특징 모델과 다음으로 가장 성능이 좋은 모델임을 확인할 수 있다. 하지만 CNN은 딥러닝 모델이기 때문에 모델이 판단을 내린 근거를 설명할 수 없다는 한계점이 있다. 따라서 본 연구에서는 Grad-CAM을 활용하여 CNN 모델의 결과를 분석 및 설명한다.

Fig. 8은 각각 STFT와 CWT 이미지로 CNN을 학습시켰을 때 혼동 행렬(Confusion matrix)이고, Fig. 9, 10은 각 유형의 베어링 신호-주파수 이미지에 Grad-CAM을 적용시킨 결과이다. Fig. 11은 각 시간-주파수 이미지를 3d로 플로팅하여 Grad-CAM을 적용한 결과이다. CWT 이미지 CNN 결과가 STFT에 비해 정확도가 다소 낮음을 확인하였다. 정상, 내륜 고장, 외륜 고장 세 가지 경우에 CNN 모델의 가중치가 높은 주파수 영역이 상이함을 확인할 수 있다. Grad-CAM결과에 의하면 정상 상태 베어링은 STFT와 CWT 이미지 모두 1~3.5kHz 이상의 고주파 영역을 분류에 주로 사용했는데, 정상 베어링의 진동 신호에서는 뚜렷한 고장 신호가 확인되지 않고 특히 고주파 영역에서는 고장 베어링에 비해 깨끗한 진동 파형을 가지고 있기 때문에 고주파 영역을 주로 사용한 것으로 보인다. 고장 베어링의 경우에는 STFT와 CWT이미지의 학습 결과가 반대되는 양상을 보인다. STFT 이미지로 CNN을 학습시킨 결과, 내륜 고장 베어링은 0~500Hz 영역을 집중적으로 사용하고, 외륜 고장 베어링에서는 내륜 고장 베어링보다 높은 대역인 1~2kHz를 분류에 사용함을 확인하였다. Fig. 11에서 가중치가 높은 주파수 대역을 확인하면, 외륜 베어링의 STFT 이미지는 250Hz, 1750Hz 주변에서 크게 증가하기 때문에 해당 영역에서 Grad-CAM의 가중치도 크게 증가한 것으로 보인다. 내륜 베어링의 STFT 이미지 또한 250Hz 주변에서 높은 값을 가지고 있지만 외륜 베어링에 비해 상대적으로 그 크기가 작고, 700Hz 이상 영역에 0에 가깝기 때문에 500Hz 이하만 집중적으로 분류에 사용하였다고 판단된다. 고장 베어링의 주파수 그러나 CWT 이미지에서는 내륜 고장 베어링이 1.5~2.5kHz대역으로 상대적으로 고주파, 외륜 고장이 0~500Hz로 저주파 영역을 사용한 것으로 관찰된다.

그림 12 딥러닝 해석 기반 필터 설계 전체 흐름도

Fig. 12 Overall framework of designing filter based on deep learning interpretation

STFT, CWT 경우 모두 베어링에서 고장이 발생하면 2kHz 이하의 저주파 영역에서 주로 고장 신호가 감지되고, 정상 신호는 모든 주파수 성분의 진폭이 작기 때문에 고장 베어링과 구사료된다. STFT와 CWT 이미지 모두 정상 베어링과 고장 베어링을 구분하는 정확도는 100%이지만 고장 베어링 중에서 고장 유형을 분류하는 성능은 상대적으로 다소 낮았다. 그러나 각 고장 유형별로 중요도가 높은 스펙트럼의 영역이 명확히 구분되기 때문에 CNN이 올바르게 판단을 내린 것으로 결론 내릴 수 있다.