2.1 합성곱 신경망(CNN) 기반 객체탐지 모델

객체탐지는 이미지 내에 존재하는 객체들에 대해 각각의 클래스 정보와 위치 정보를 알아내는 작업을 의미한다. 초기의 딥러닝 기반 객체 검출기는 객체가 존재할 것으로 추정되는 영역을 선별한 뒤, 해당 영역에서 객체 분류를 수행하는 이단계 방식으로 진행됐다. 대표적인 이단계 방식의 객체 검출기인 R-CNN⁽¹²⁾에서는 selective search 알고리즘을 통해 객체 추정 영역을 약 2000개 정도 추출한 후, 각각의 추정 영역에 대해서 이미지 사이즈를 동일하게 조절한 다음 CNN 모델을 거쳐 객체의 클래스 분류를 진행한다. R-CNN은 selective search에 의해 추정된 약 2000개의 영역에 대해서 각각 CNN을 수행하기 때문에 연산 속도가 매우 느린 단점이 있다. Fast R-CNN⁽¹³⁾에서는 selective search를 통해 얻은 객체 추정 영역(ROI)을 CNN을 통과시켜 얻은 특징맵에 투영하는 ROI pooling 기법을 도입하여, CNN 연산을 단 1번만 진행하고도 객체 추정이 가능한 객체 검출기를 제시한다. 그러나, selective search로 대표되는 ROI 생성에 여전히 많은 연산 시간이 소요되기에 Faster R-CNN⁽¹⁴⁾에서는 region proposal network를 통해 ROI를 생성함으로써 연산 속도를 향상시켰다.

위에서 소개한 이단계 방식의 객체 검출기는 상대적으로 높은 정확도(mAP)를 보이는 반면, 연산 시간이 오래 소요되는 문제점이 있다. Faster R-CNN⁽¹⁴⁾은 NVIDIA K40 GPU에서 5 fps의 속도로 객체 탐지를 진행하며, 이는 실시간 구동이 요구되는 환경에서 사용하기에는 한계가 있다. 이러한 연산 처리 속도 문제를 해결하기 위한 방법으로 YOLO⁽¹⁵⁾-⁽¹⁸⁾, SSD⁽¹⁹⁾, RetinaNet⁽²⁰⁾ 등의 단일단계 방식의 객체 검출기가 제안되고 있다. 단일단계 방식의 검출기는 객체의 위치 추정과 클래스 분류를 한 번에 수행하는 객체 검출기로 상대적으로 연산량이 적고 빠른 추론이 가능하다.

SSD⁽¹⁹⁾는 multi-scale layer의 특징맵을 사용함으로써 다양한 크기의 객체를 효율적으로 검출한다. 합성곱 필터가 진행됨에 따라 특징맵의 크기가 줄어들게 되고 이를 통해 다양한 크기의 객체를 검출할 수 있다. RetinaNet⁽²⁰⁾은 학습 시에 발생하는 클래스 불균형 문제를 해결하기 위해 focal loss라는 손실함수를 도입하여 정확도를 향상시킨다. Focal loss는 기존에 작은 loss 값을 가지는 잘 분류된 샘플에 대해서는 작은 가중치를 부여하며, 기존에 높은 loss 값을 가지는 분류하기 어려운 샘플에 학습을 집중하여 클래스 불균형 문제를 해결한다.

YOLO⁽¹⁵⁾는 객체 검출 문제를 회귀 문제로 접근한다. 입력 이미지에 대해 SxS 의 그리드 셀을 생성하고, 각각의 그리드 셀에 대해 B 개의 바운딩 박스를 할당한다. 생성된 각 그리드 셀에 대해 물체가 존재할 확률인 confidence score를 계산하고, 할당된 각각의 바운딩 박스에 대해 박스의 위치 정보(x,y,w,h)와 어떤 클래스에 해당되는지에 대한 conditional class probability를 추론한다. YOLOv2⁽¹⁶⁾에서는 특징 추출을 위한 backbone network를 기존의 VGG16⁽²¹⁾ 대신 Darknet19로 대신함으로써 속도 측면에서의 개선을 이뤄낸다. 또한, anchor box의 개념을 도입하고 배치 정규화를 적용함으로써 정확도 측면에서의 개선도 이뤄낸다. YOLOv3⁽¹⁷⁾는 Backbone-Neck-Head의 구조로 이뤄졌으며 backbone에서는 skip connection⁽²²⁾을 활용한 Darknet53을 사용하고, neck에서는 Feature Pyramid Network(FPN)⁽²³⁾를 도입하여 다양한 크기의 객체에 대한 검출 정확도를 향상시킨다. YOLOv4⁽¹⁸⁾는 YOLOv3의 기본적인 구조를 차용하며, backbone network에서 CSPDarknet53을 도입하고 기존에 FPN으로 구성된 Neck에 Spatial Pyramid Pooling⁽²⁴⁾, Path Aggregation Network⁽²⁵⁾ 구조를 추가한다.

2.2 경량화 합성곱 신경망 개발 연구

이전 2.1장에서 소개한 바와 같이 객체탐지의 정확도를 높이기 위한 다양한 연구들이 제시되고 있으나, 이들 모델은 고성능 GPU에서의 동작을 전제로 하고 있기에 임베디드 플랫폼에 탑재하게 될 시 실시간 구현이 어렵다. 경량화 합성곱 신경망 개발 연구는 메모리 사용량 및 연산시간을 감소시켜 고성능 GPU 탑재가 불가능한 임베디드 및 모바일 환경에서의 실시간 딥러닝 모델 구동을 위해 연구되고 있다.

XNOR-Net⁽²⁶⁾, Bi-Real-Net⁽²⁷⁾에서는 네트워크의 가중치를 양자화함으로써 합성곱 필터에 사용되는 메모리 사용량을 감소시킨다. SqueezeNet⁽²⁸⁾은 메모리 및 연산량을 감소시키 위해 squeeze layer와 expand layer로 구성된 fire module을 제안하였으며, AlexNet⁽²⁹⁾의 정확도를 유지하면서 50배의 메모리 감소를 이뤄냈다. Fire module의 squeeze layer에서는 1x1 합성곱 필터를 통해 채널을 압축하며, expand layer에서 1x1 및 3x3 합성곱 필터를 통해 특징맵 정보를 추출한다. MobileNet⁽³⁰⁾에서는 depthwise separable convolution을 도입하여 기존의 합성곱 연산을 depthwise convolution과 pointwise convolution으로 분리하여 연산량을 감소시킨다. MobileNetv2⁽³¹⁾는 1x1 합성곱을 통해 채널을 증가시킨 후 depthwise 합성곱을 진행하는 inverted residual block을 도입한다. Inverted residual block은 특징맵의 차원을 늘려 연산을 진행하며, 저차원의 특징맵을 skip connection⁽²²⁾으로 출력 특징맵과 연결하기에 적은 메모리를 사용하면서도 깊은 layer까지 필요한 정보를 전달할 수 있게 되는 효과를 지닌다.

ShuffleNet⁽³²⁾에서는 1x1 합성곱 연산 과정에서 입력 채널을 여러 그룹으로 나눈 후 각 그룹끼리 합성곱을 진행하는 pointwise group convolution을 도입하여 연산량을 감소시킨다. 또한, 서로 다른 그룹끼리의 정보를 뒤섞는 channel shuffle 연산을 통해 group convolution 이후 정보의 흐름이 원활히 일어나도록 한다. 이후 제시된 ShuffleNetv2⁽³³⁾는 연산 속도를 감소시키기 위해 FLOPs 이외에도 Memory Access Cost(MAC)를 감소시키는 전략들을 제시한다. 1x1 합성곱 시 입출력 특징맵의 채널 크기를 동등하게 가져가며, 원소별 합(elementwise addition) 연산을 concatenation 연산으로 대체함으로써 MAC를 감소시킨다.

4.1 YOLOv4 객체탐지 모델

대표적인 단일단계 방식의 검출기인 YOLOv4는 크게 Backbone- Neck-Head의 단계로 구분된다. Backbone은 입력 이미지로부터 고차원의 특징맵을 추출하는 단계로서, VGG, ResNet, DenseNet 등이 주로 사용된다. YOLOv4에서는 DarkNet53에

그림 2 열화상 이미지 전처리 과정

Fig. 2 Thermal Image Preprocessing Step

그림 3 YOffleNet⁽¹¹⁾ 객체탐지 모델 아키텍처

Fig. 3 YOffleNet⁽¹¹⁾ Object Detector Architecture

Cross Stage Partial connection(CSP)을 적용한 CSPDarkNet53을 backbone으로 사용한다. CSP⁽³⁴⁾는 이전 특징맵의 가중치를 재사용하면서도 중복하여 사용되는 gradient 값을 제거함으로써 연산량을 줄이면서도 성능을 높이는 기법이다.

Neck은 backbone을 통해 나온 특징맵을 입력으로 받아 다양한 scale에 대한 추론이 가능하도록 특징맵을 재구성해주는 역할을 한다. YOLOv4의 neck에서는 Spatial Pyramid Pooling(SPP)⁽²⁴⁾을 FCN 네트워크에 맞게 재구성하여 도입한다. YOLOv4의 SPP는 입력 특징맵을 서로 다른 3가지 커널 사이즈의 max-pooling layer에 통과시킨 후 나온 결과를 모두 concatenation하여 출력 특징맵을 내보낸다. SPP를 통해 다양한 크기의 receptive filed에 대한 추론이 가능해지는 효과를 얻으며, COCO 데이터셋에서 SPP를 적용하기 전과 후의 mAP를 비교했을 때 3.2%p의 차이가 나는 것을 확인할 수 있다.⁽¹⁸⁾ 또한, YOLOv4에서는 YOLOv3의 Feature Pyramid Network(FPN)⁽²³⁾를 대체하는 Path Aggregation Network(PANet)⁽²⁵⁾를 도입한다. PANet은 bottom-up path augmentation을 통해 다양한 크기의 객체 추론에 필요한 정보의 흐름을 원활히 하여 정확도를 상승시키는 효과를 얻는다.

Head는 가공된 특징맵을 바탕으로 객체의 위치 및 클래스 추정을 진행하는 단계이다. YOLOv4의 head는 YOLOv3의 head에 제안된 방식을 그대로 사용하였다. PANet을 거쳐 나온 3가지 스케일의 특징맵에 대해 객체 탐지가 진행되며, 이때 anchor box의 크기는 훈련 데이터를 k-means clustering으로 분석하여 결정한다.

4.2 YOLOv4 경량화 설계 전략

본 연구에 사용된 YOffleNet 객체탐지 모델은 YOLOv4 모델 구조를 기반으로 메모리 사이즈 및 MAC 감소를 위해 CSPDarkNet으로 구성된 backbone을 ShuffleNetv2 모듈로 변경하였으며, ShuffleNetv2 모듈이 정보흐름에 이점을 주는 점을 고려해 neck의 PANet 구조를 간소화하는 경량화를 진행했다.

그림 4 CSPDarknet(a)과 ShuffleNetv2(b) 모듈

Fig. 4 CSPDarknet(a) and ShuffleNetv2(b) Module

본 연구에서 차용한 ShuffleNetv2⁽³³⁾의 MAC 감소 전략은 다음과 같다. 입력 특징맵에 채널 분리(channel split) 연산을 수행하여 입력 채널을 두 개의 분기로 나눈다. 분리된 일부 채널에 대해서는 합성곱 연산을 진행하고 나머지 채널은 identity를 유지한다. 합성곱 연산 시에는 일반적인 합성곱 연산이 아닌 Depthwise Separable Convolution을 통해 연산량을 감소시킨다. 또한, 각각의 합성곱 필터에서 동일한 입출력 채널 크기를 유지하고, 두 분기를 합치는 과정에서 원소별 합 연산 대신 concatenation 연산을 사용하여 MAC를 감소시킨다. (그림 4(b))

YOLOv4 모델의 경우 backbone으로부터 3가지 스케일의 특징맵이 나와 PANet으로 전달된다. 이러한 구조의 PANet은 정보의 흐름을 원활하게 하여 다양한 스케일의 객체에 대한 검출 정확도를 증가시키지만, 파라미터 수와 연산량이 증가하는 단점이 있다. YOffleNet은 기존 YOLOv4에 사용된 PANet을 간소화하여 backbone으로부터 2가지 스케일만의 특징맵만을 전달받아 bottom-up path augmentation을 진행한다. 본 논문에 사용된 YOffleNet 모델의 전체적인 구조는 그림 3과 같다.

5.1 데이터셋 취득 및 구성

제안하는 변전소 애자 및 코로나 검출기의 성능분석을 위해 애자에 열선을 감아 코로나 현상을 표현했다. 정상애자(애자)와 불량애자(애자&코란)의 두 가지 클래스의 객체를 검출할 수 있도록 학습용 데이터셋을 구축하였으며, 정상애자 모형 1종과 불량애자 모형 2종의 3가지 형태의 모형을 사용했다.

그림 5 애자 및 코로나 모형

Fig. 5 Insulator and Corona Data

FLIR Lepton 3.5 microbolometer (radiometric) 열화상 센서가 장착된 Parrot ANAFI Thermal 드론을 활용하여 다양한 배경, 거리, 각도에서 여러 영상 데이터를 취득하였다. 총 3,776장의 이미지 데이터셋에 대해 라벨링을 진행하였으며, 이 중 1,888장을 학습용, 1,133장을 검증용, 755장을 평가용으로 분류하여 사용했다.

5.2 평가결과 및 검증

제안하는 드론 열화상이미지 기반 변전소 애자 및 코로나 검출 기법의 정확도 및 실시간 구동 가능성을 확인하기 위해 NVIDIA GeForce GTX1080 GPU에서 32의 batch size로 300 epoch 동안 학습을 진행했다. 그림 6은 epoch의 증가에 따른 loss의 감소 변화 추이를 나타내고 있다. Epoch가 300회에 다다름에 따라 loss 값이 수렴하였다고 판단하여 학습을 중단하였다. 성능평가를 위해 기존 선행연구⁽¹⁰⁾에서 제안되었던 객체탐지 모델 및 대표적인 단일단계 방식의 객체탐지 모델인 YOLOv4⁽¹⁸⁾의 성능을 함께 비교했다. 모델의 메모리 사이즈, 추론 속도(fps), 정확도(mAP)를 검증 지표로 사용했다. 또한, 임베디드 환경에서의 실시간 구동 가능성을 확인하기 위해 고성능 연산 처리가 가능한 PC 환경(PC GPU, PC CPU)와 고성능 연산이 불가능한 임베디드 플랫폼 환경(NVIDIA Jetson Nano)에서의 추론 속도를 각각 비교하였다. 선행연구 객체탐지 모델은 c/c++ 기반 darknet 프레임워크에서 동작하며, YOLOv4와 YOffleNet 모델은 python 기반 Pytorch 프레임워크에서 동작하도록 설계했다. 본 연구에서 적용한 YOffleNet 모델의 경우 640x640의 이미지를 입력으로 받으며, 향후 시선각 추정 알고리즘 적용 시 정밀도 향상을 위해 비교 모델 대비 4배 이상의 높은 해상도에서도 객체 검출이 가능하도록 설계되었다. NVIDIA GTX 1080 Ti GPU에서 추론 속도를 확인했을 때 YOffleNet 모델은 121.9 fps로 대표적인 실시간 모델인 YOLOv4 대비 1.93배 빠르게 동작하였으며, CPU(Intel i7-8700K @ 3.70GHz)에서는 3.8 fps로 YOLOv4 대비 1.9배 빠르게 동작하는 것이 확인됐다. 선행연구 모델 대비 낮은 추론 속도를 지니지만, 8.16배 큰 입력 이미지 해상도로 추정이 가능하며,

그림 6 학습에 따른 Loss 감소 추이

Fig. 6 Loss Reduction Trend as Learning Progress

그림 7 YOffleNet 기반 애자 및 코로나 검출 결과

Fig. 7 Insulator and Corona Detection Result based on YOffleNet Model

2.6배 적은 메모리 사이즈로 구동이 가능한 것을 확인했다. 임베디드 GPU인 NVIDIA Jetson Nano에 탑재하여 추론 속도를 비교하였을 때, YOffleNet은 5.9 fps로 YOLOv4 대비 2.03배 빠른 속도로 동작했다. 정확도 지표인 mAP의 경우 3가지의 모델 모두 99% 이상의 준수한 정확도를 보였다. 메모리 크기에서는 제안하는 모델이 YOLOv4 대비 38배, 선행연구 모델 대비 2.6배 감소되었다. 이를 통해, 메모리 용량이 떨어지고 고성능 연산 처리가 불가능한 임베디드 플랫폼에서 YOffleNet 모델이 효과적으로 동작하는 것을 확인했다.