2.1 Convolutional Neural Network(CNN)

최근 딥러닝 기술의 발달로 다양한 분야에서 딥러닝 응용 분야가 빠르게 확산하고 있다. 그 중 Convolutional Neural Network(CNN)는 Image Detection과 Image Classification 분야와 같은 이미지 분석에서 높은 성능을 나타내는 딥러닝 모델로 잘 알려져 있다. CNN은 하나 또는 여러 개의 Convolutional layer와 그 위에 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(Pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 2차원 구조의 입력 데이터를 충분히 활용할 수 있다⁽²⁾.

ImageNet Large-Scale Visual Recognition Challenge (ILSVRC)는 컴퓨터 비전 분야에서 여러 딥러닝 모델들의 정확도를 기준으로 매년 랭킹을 부여하였으며 AlexNet, GoogleNet, ResNet, SENet, YOLO 등과 같이 여러 아이디어 기반의 아키텍처 설계를 적용하여 높은 성능을 증명한 CNN 모델들이 등장하였다⁽³⁾-⁽⁷⁾. 그 중에서도 최근에는 여러 버전의 YOLO 모델이 등장하여 CNN 모델의 새로운 선두주자로 주목받고 있다. YOLO의 최신 버전인 Darknet-53(YOLO v3)는 Bounding Box Prediction, Class Prediction, Predictions Across Scales, Feature Extraction 등과 같이 여러 Task에서 최적화를 진행하였다.

Bilel Benjdira 연구팀은 Faster R-CNN과 YOLO v3를 활용하여 Unmanned Aerial Vehicles(UAV)를 이용한 Car Detection 연구를 진행하였으며, YOLO v3가 Faster R-CNN 대비 성능이 더 높았음을 증명하였다⁽⁸⁾. 그리고 Wenwei Xu 연구팀은 Water Power Application을 위해 YOLO v3를 이용한 Underwater Fish Detection 알고리즘을 개발하였으며, Jiwoong Choi 연구팀은 자율주행을 위한 Gaussian YOLO v3 알고리즘을 개발하는 등 다양한 산업분야에서 YOLO v3 기반 연구가 진행되고 있다⁽⁸⁾-⁽¹¹⁾.

2.2 Object Detection System

앞서 설명한 바와 같이 딥러닝 기술의 발달로 인한 응용 분야가 확장됨에 따라 Object Detection System에도 여러 딥러닝 기술이 활용되고 있다. Feiya Lv 연구팀은 Object Detection System의 핵심 기술에 해당하는 Fault Diagnosis 성능에서 최근 딥러닝 기술이 Principle Component Analysis(PCA), Independent Component Analysis (ICA) 등의 기존 기술과 비교하면 성능이 우수함을 증명하였다⁽¹²⁾. 그리고 David Wilson 연구팀은 Power Transmission System에서 Cyber-Attack Detection을 진단하기 위한 Stacked Autoencoder(SAE)를 개발하였으며, Avagaddi Prasad 연구팀은 Power Transmission Line을 진단하기 위한 여러 머신러닝 및 딥러닝 기반의 방법론들을 정리한 리뷰 논문을 발표하는 등 Object Detection System의 성능을 증가시키기 위한 연구자들의 노력은 지속되고 있다⁽¹³⁾-⁽¹⁴⁾. 이처럼 딥러닝 기반의 Object Detection System을 개발하면 높은 성능 효과를 거둘 수 있다는 장점이 있다.

3.1 System Architecture

본 논문에서 제안하는 학습이미지 데이터의 멀티 세그멘테이션 및 태깅 알고리즘의 시스템 구조는 그림 1과 같다. 손상 영상을 입력받고, 사용자가 태깅 툴을 활용하여 해당 영상 중 손상영역 지정 및 영역의 종류를 지정하면, Segmentation and Tagging Function을 적용하여 영역 내 설비 손상 부분을 자동 태깅 분할하여 그 정보를 저장하고, Deep Learning Function을 통해 딥러닝 진단 학습 수행 후 진단 시뮬레이션을 통해 설비 검출과 진단 정확도를 검증하는 절차로 진행된다.

수집된 손상 이미지가 학습자에 의해 영역이 지정되면, 시스템에 의해 아래와 같은 단계로 자동 학습 데이터가 생성된다. 첫째, 지정된 손상 영역의 외곽선을 추출하고, 둘째로 연속된 형태의 외곽선 변화 위치를 지정하고, 셋째로 지정된 영역을 잇는 선분을 구성한다.

그림 1 시스템 아키텍쳐

Fig. 1 System Architecture

다음으로는 본 진단에 활용된 CNN에서 추천하는 최소 크기인 16 pixel x 16 pixel size를 기준으로 가로, 세로 정비율을 유지한 채, 적용 가능한 최대 크기까지 10% 비율로 키우며 자동으로 분할 영역을 정의한다.

각 분할된 분할영역은 학습자가 지정한 Label과 동일한 정보로 학습 데이터를 생성하고 이를 통해 학습을 수행하게 된다. 위와 같이 손상된 하나의 이미지 영역을 분할하여 학습함으로써, 기존 방식에서는 1개의 이미지에 1개의 학습 오브젝트가 생성되지만, DeepMultiSeg는 1개의 이미지가 다수의 학습 데이터로 구축될 수 있다. 이 수량은 손상영역의 크기가 크고, 이미지 해상도가 좋을수록 더 많은 학습 데이터를 생성 가능하게 된다. 또한, 손상된 영역의 다양한 부분 특징을 학습하여 비정형으로 손상되는 형태 검출에도 효과적으로 대응할 수 있는 학습 모델을 생성할 수 있다. 특히, 학습자에 의해 일관성 없는 형태의 분할 태깅보다 다양하게 구성될 수 있어 학습 성공률 및 검출률 증대에 기여할 수 있다.

3.2 Segmentation and Tagging Function

Segmentation and Tagging Function은 입력된 송전설비 이미지 내에서 손상된 영역을 학습자에 의해 영역 지정 및 식별하는 ①사용자 영역 지정 모듈과 지정된 영역 내에서 이미지의 외곽선을 추출하고, 그 외곽선의 조합을 연결하여 손상영역을 도출하고, 도출된 영역을 다양한 크기로 자동 분할 태깅하는 기능의 ②자동 태깅 분할 모듈, 영상이미지를 관리하여 사용자 영역지정과 자동 태깅 분할에 활용할 영상 이미지를 저장하는 ③영상 데이터베이스, 그리고 태깅된 정보를 저장하고 학습 시 해당 정보를 제공하는 ④태깅 데이터베이스로 구성된다.

Segmentation과 Tagging 기능의 세부 모듈의 동작 및 기능을 보다 상세하게 설명하면 그림 2와 같다. 수집된 손상 부위가 포함된 송전설비 이미지에서 학습 시행자는 Damage Area Detection Module을 활용하여 송전설비의 영역 및 해당 설비의 손상 영역 위치지정을 수행하고 해당 손상 영역 식별 및 손상 종류를 분류한다((a)Tagging, (b)Labeling). 이때 Damage Area Detection Module에 포함된 마우스 끌기 형태의 영역지정, 영역 지정 후 식별을 위한 메뉴 기능을 활용하여 빠르게 태깅 업무를 수행할 수 있다.

그림 2 세그멘테이션과 태깅 기능 구조

Fig. 2 Structure of Segmentation and Tagging Function

학습자가 최초 영역을 지정하는 작업을 종료한 후, Automatic Tagging and Segmentation Module에 의해 최적의 외곽선 검출을 위해 반복 시행하며, 레벨차가 충분할 경우 해당 영역에서 코너를 검출하고, 선분을 연결하여 손상 영역의 패턴을 생성한다. 그리고 16 pixel x 16 pixel에서 증감된 Grid Box와 패턴을 매칭하여 자동 태깅 영역을 생성하는 일련의 절차로 진행된다((a)Damage Area Analysis, (b)Automatic Tagging Generation).

3.3 Deep Learning Function

Deep Learning Function의 세부 모듈의 동작 및 기능은 그림 3과 같다. 태깅 완료 후 수집된 이미지와 태그 데이터를 활용하여 학습을 수행하는 ①Deep Learning Module과 그 결과를 시뮬레이션을 통해 최종 확인하는 ②Simulation Module, 그리고 학습한 결과를 저장하는 ③Learning Database로 구성된다.

Deep Learning Module은 YOLO v3에서 제공하는 학습 수행 진행 사항의 모니터링을 생성하고, 모니터링 정보 위에 학습 데이터가 정상적으로 적층되는지를 확인할 수 있도록 학습 손실율 현황을 모니터링한다. 반복 학습 수행간 손실율 그래프와 함께 검출 성능을 지속적으로 확인하기 위한 학습 성능 모니터링으로 학습의 정량적 성공률을 미리 확인한다((a)Loss Monitoring, (b)Performance Monitoring).

그림 3 Deep Learning Function 구조

Fig. 3 Structure of Deep Learning Function

시뮬레이션 모듈은 학습된 모델을 등록하고 모델에 대한 검증 영상의 Mean Average Precision(mAP) 검출을 수행하는 역할을 한다. 학습 완료된 모델을 시스템에 등록하고, 모델의 세부 파라미터를 조정한 후 검증 영상을 활용해 정상 탐지, 오탐지, 미탐지 결과로 분류하는 모델별 시뮬레이션과 시뮬레이션 결과 검색으로 해당 결과를 통해 딥러닝 성능 지표로 널리 사용되는 mAP를 도출하고 결과를 확인한다((a)Simulation, (b)Simulation Result). 본 연구에서 활용한 YOLO v3의 구조는 표 1과 같다.

4.1 학습데이터 생성 실험

학습 시행자에 의해 상단의 학습자영역 지정 업무가 완료된 후, Automatic Tagging and Segmentation Module은 학습 시행자의 입력이 종료된 것을 확인하고, Damage Area Analysis를 수행한다. Damage Area Analysis로 영역 내 외곽선을 검출하고, 검출된 외곽선 코너 부분을 찾아 연결한다. 그리고 단순 외곽선 코너 연결로는 손상된 영역을 모두 학습에 포함시킬 수 없어, 손상된 영역을 잇는 코어 선분을 추가하여 태깅시 변화가 많은 지역과 각 지역을 연계할 수 있는 코너 중심 선분을 추가하여 생성한다. 이 검출된 변화영역 및 선분은 이후 Box Grid 영역과 비교하여 겹치는 영역에 대한 태그를 수행하게 된다. 위에서 언급한 절차를 이용한 활용 사례는 그림 4와 같다.

그림 4 애자 고장영역 분석의 사례

Fig. 4 Example of Damage Area Analysis for Insulator

상기 절차가 완료되면 16 pixel x 16 pixel size를 기준으로 10%씩 증가한 Grid를 생성한다. 이때 최소 사이즈 16 pixel을 적용한 이유는 딥러닝 모델 YOLO v3에서 가이드하는 학습 적층에 적합한 이미지 최소 해상도가 16 pixel x 16 pixel이기 때문이다. 위 방식으로 생성된 Box Grid와 손상 영역 분석 결과에서 도출된 코너, 중앙 선분 연결 부분을 비교하여 겹치는 영역들을 선정하고, 해당 영역들을 세부 자동태그 생성 및 관리를 통해 분할 태깅을 수행한다.

그림 5 손상된 애자의 자동 태깅 이미지 생성 사례

Fig. 5 Example of Automatic Tagging Image Generation for Damaged Insulator

그림 5는 Automatic Tagging Generation의 일부 예시이다. 흰색 선 영역은 분할 영역으로 생성된 Box Grid이며, 적색 Box 영역은 자동으로 태깅된 영역을 나타낸다. 아래와 같은 다양한 비율의 Size로 태깅 영역이 생성되고, 적은 학습 데이터 이미지를 활용하여 학습 수행의 정확도를 올릴 수 있는 학습 데이터를 증가시켜 활용할 수 있다.

본 실험에서 Segmentation and Tagging Function의 결과로 추출한 데이터셋은 표 2와 같이 원본 이미지 개수는 50개, 학습을 위한 이미지 개수는 40개, 검증을 위한 이미지 개수는 10개이다. 그리고 DeepMultiSeg의 Segmentation and Tagging Function에 의한 결과로 추출된 이미지는 총 426개로써 원본 이미지 대비 10.65배 증가하였으며, 딥러닝을 위한 학습데이터로 활용되었다.

4.2 Deep Learning 학습결과 성능 검증

DeepMultiSeg의 Deep Learning Function 성능검증 실험을 위해 K계수가 5로 설정된 K-겹 교차 검증 기법을 활용하였다. 표 3와 그림 6은 기존 방식의 한 개의 고장 이미지를 한 개의 학습 객체로 학습하는 방식의 결과로써, 이미지 내 학습 대상을 설비 내 불량 영역 전체를 하나로 라벨링하는 방식이다. 학습은 전체 불량 설비 데이터 중 80%를 사용하였으며 검증은 데이터 중 학습에 사용되지 않는 20%를 활용하였다. 총 5회에 거쳐 K-겹 교차 검증을 수행하였다.

그림 6 싱글 태깅 데이터셋 적용 성능

Fig. 6 Performance of Single Tagging Dataset

그림 6의 학습 손실율을 나타내는 청색 라인은 70%대 이상으로 유지되어 학습 모델에 데이터가 정상적으로 적층되지 않는 것으로 확인할 수 있다. 평균 정밀도를 나타내는 적색 라인은 mAP 최대값이 낮은 30%대를 나타내는 것을 확인할 수 있으며, 최종 학습 결과, 평균 정밀도 mAP는 39.2%의 낮은 결과를 나타냈다.

반면에 표 4과 그림 7은 DeepMultiSeg의 Segmentation and Tagging Function과 Deep Learning Function을 활용한 결과이다. 앞서 설명한 Single Tagging DataSet과 동일한 원본 이미지를 사용하였으며, Labeling 테이터는 DeepMulitSeg 알고리즘에 따른 분할 태깅 방식으로 증가시켰다. 학습 및 검증은 상기 실험과 동일한 방식인 K계수가 5로 설정된 K-겹 교차 검증 기법을 활용하였다.

성능 결과는 아래의 그림 7의 학습 손실율을 나타내는 청색 라인이 표시하는 것과 같이 20% 미만의 양호한 학습 손실율을 유지하였으며, 평균 정밀도를 나타내는 적색 라인의 흐름에서 확인할 수 있듯이 mAP의 최대값은 기존 전체를 학습한 알고리즘과 비교시 2배 정도 수준인 39.2%에서 81.1%으로 높은 정확도를 확인할 수 있다.

그림 7 멀티 태깅 데이터셋 적용 성능

Fig. 7 Performance of Multi Tagging Dataset