2.1 객체 검출 알고리즘

Deep-learning 기반의 객체 검출은 크게 Two-stage Network, One-stage Network 두 가지 방식이 있다. Two-stage Network은 객체의 검출과 객체의 레이블링을 따로 하는 방식으로, 이러한 방식은 고전적인 방법인 Sliding Window 방식에서 시작해 R-CNN 계열의 아키텍처들까지 다양한 방식이 있다. Region Proposal 알고리즘은 객체가 존재할 수 있는 모든 이미지 영역을 검색하는 기존의 방식이 아닌 색상 군집 및 특성 등을 이용하여 객체가 존재할 가능성이 있는 영역만을 선택하여 이미지 분류기를 적용하는 방식이지만, 매우 느린 속도로 인해 실시간성을 요구하는 작업에 사용하기에는 많은 무리가 있다 ⁽¹⁾.

한편, 객체의 위치 추론에 많은 시간이 소요되어 개발된 Faster-RCNN 아키텍처는 입력 이미지에서 Convolution을 적용시킨 후에 Region Proposal Network(RPN)을 이용하여 객체 위치 추론에 걸리는 시간을 대폭 줄였다. 이는 GPGPU 연산을 통해 검출 시간도 줄였지만, 학습기반의 객체 위치 추론 방식이여서 검출률 또한 대폭 상승시켰다 ⁽²⁾.

두 번째 방식인 One-stage Network는 객체의 위치와 종류를 모두 한 번에 학습하고 추론한다. 일반적으로 이 방식의 장점은 속도가 빠르다는 점이다. 본 연구에서 고려하는 YOLOv3 SPP(You Only Look Once v3 with Spatial Pyramid Pooling) 아키텍처는 기존의 YOLOv2 방식의 한계를 극복하기 위하여 제안되었으며, 기존의 YOLOv2의 단점인 작은 물체의 검출률 하락과 poor localization 문제를 소폭 개선하였다. YOLOv3는 백본 네트웍으로 Darknet-53을 사용한다. 이는 기존의 YOLOv2의 백본인 Darknet-19 보다 3배가량 많은 레이어를 사용한다 ⁽³⁾.

YOLOv2의 경우 416x416의 입력이미지에 대하여 845개의 Bounding boxes만을 추론하지만, YOLOv3의 경우 10,647개의 Bounding boxes를 추론한다. 이러한 다양한 기능을 가진 YOLOv3에 Spatial Pyramid Pooling(SPP)를 추가하면, SPP는 이미지의 크기에 상관없이 고정된 길이의 Feature를 출력하는데 이는 다양한 크기의 객체에 더욱 견고한 특성을 가진다 ⁽⁴⁾.

기존의 전력분야 감시시스템에 활용된 인공지능 연구를 살펴보면, Stacked Autoencoder(SAE)를 기반으로 스카다 시스템에 대한 사이버 공격을 검출하기 위한 딥러닝 프러임워크를 제안하거나, 송전선로의 결함을 분류하기 위하여 다양한 인공신경망(ANN)을 활용한 결함 분류 방법을 제안했다. 특히, 한전 전력연구원은 최근 Convolutional Neural Network와 같은 인공 지능 기술을 드론 어플리케이션에 적용하여 실시간 추적 성능을 향상하는 연구를 진행하고 있다. 자동 추적을 위한 송전 선로의 설비에 대한 학습은 그레이 스케일링, 뒤집기, 미러링 및 회전과 같은 이미지 변환을 통해 데이터 셋을 확장하여 많은 학습 이미지를 수집하고 자동 추적이 가능한 인식 성능을 나타낸다 ^(5-7).

2.2 학습 데이터 수집

건설 프로젝트 현장에서 현장의 안전을 모니터링 목적으로, 효율적인 장비 학습 및 인식 방법을 3D 모델을 생성하여 건설현장의 다양한 이미지와 합성하는 연구가 진행되었다. 장비의 3D 모델은 학습에 필요한 객체 형상의 다양성을 확보할 수 있으며, 자동화를 통하여 많은 수량의 다양한 각도의 이미지 학습 자료 확보가 가능하다 ⁽⁸⁾.

이러한 합성 데이터는 실제 데이터를 획득하는데 비용이 많이 발생할 때 좋은 대안이 된다 ^(9,10). 다양한 각도에서 정확한 검출 영역을 획득할 수 있는 3D 모델 합성 방식은 경우에 따라서는 실제 사진 데이터보다 더 높은 검출 결과를 보이기도 한다 ⁽¹¹⁾.

또한, 건설 장비와 같이 산업현장 고유의 설비에 대한 학습 및 검출용 데이터 셋 구축은 더욱 어려움이 많다. 전력 현장의 데이터의 경우 1차 적으로는 다양한 환경 그리고 다양한 상태의 학습 시료 데이터를 구하기 어렵다는 것이며, 특히, 고장 데이터의 경우 많은 데이터를 확보하기는 더욱 어려운 상황이다. 그래서 현장에서는 객체 자동 촬영시스템, 동영상으로부터의 다수의 자동 데이터 취득 그리고 분할 이미지 데이터 취득과 같은 인공적인 학습데이터 수집 환경을 만들어 수십만 ~ 수백만개의 학습 데이터 셋을 구축하는 연구를 하고 있다 ^(12,13).

특히, 손상된 설비의 학습 데이터 취득은 시료의 부족으로 더욱 확보가 쉽지 않기 때문에 하나의 샘플 데이터를 잘 활용하는 것이 무엇보다도 중요하다. 특허 ‘자동 분할 태깅 기술을 이용한 불량설비 진단 학습장치 및 방법’에서는 1단계로 수집된 송전설비 영상에서 사용자가 이미지 내 손상된 전체 영역을 설정하고, 2단계로 시스템에 의하여 자동으로 지도학습 영역을 자동으로 분할 태깅하여 학습 데이터를 몇 십배 증가시키고, 이를 통하여 진단 정확도를 향상 시킬 수 있는 학습 알고리즘을 제안하였다 ⁽¹⁴⁾.

3.1 학습 분류 객체 및 객체 인식 환경

본 연구에서는 송전철탑 주변에서 송전선이나 송전철탑에 위협이 될 수 있는 물체를 미리 판별하여 감시하는 목적의 시스템 구현을 위하여 필요한 사람이나, 차량, 굴삭기나 중장비, 패러글라이더나 연, 비행기 그리고 화재 상황을 탐지해야 할 객체로 분류한다.

차량의 경우에는 검출 객체의 단순화를 위해 승용차, 트럭, 버스 등을 모두 차량으로 그룹화하였고, 패러글라이더는 행글라이더와 낙하산도 모두 포함시켜서 그룹화하였다. 그런데, 카메라가 송전철탑 중간에 설치되어 있어서, 검출되어야 하는 객체가 영상의 크기 대비 매우 작은 특성을 가진다. 또한, 검출 객체 중 굴삭기, 패러글라이더, 화재 상황 등은 실제 영상에서는 좀처럼 등장하지도 않아 학습 데이터 구축에 많은 어려움이 있다. 그리고 일반적으로 구할 수 있는 영상은 영상의 크기 대비 객체의 크기가 큰 반면 본 감시시스템 프로젝트에서는 객체가 너무 작아서 학습에 적합하지 않다.

아래 그림 7은 실제 송전철탑에 설치되어 촬영된 영상이다. 영상은 1,920x1,080의 FHD 영상이며 객체의 크기는 이미지 크기 대비 2 ~ 7% 정도의 크기를 가진다. 일반적인 객체 검출기로는 이러한 작은 객체를 검출하고 분류하는데 적합하지 않다. 일반적인 객체 검출기는 입력 해상도로 400 ~ 600px 사이의 값을 사용하는데 1,920x1,080에서 2%의 크기를 가진 객체는 20 ~ 40px 정도의 크기를 가지게 된다. 이러한 영상을 400 ~ 600px로 줄여서 딥러닝 네트워크에 적용하면 객체의 크기가 8 ~ 12px로 줄어들게 되는데 이는 객체 검출에 적합하지 않은 크기로 검출 정확도가 현저하게 하락한다. 일반적으로 이러한 작은 객체 검출 방법은 이미지에서 여러 개의 ROI(region of interest)를 정의하고 해당 ROI에서 검출하고 통합하는 과정을 수행한다. 이러한 방법은 실시간 탐지가 불가능하거나 실시간성을 유지하기 위해 성능이 떨어지는 경우가 많다 ⁽¹⁵⁾. 본 연구에서는 실시간 탐지와 실시간성을 강화하기 위하여 객체 검출기의 신경망 엔진 최적화와 입력 영상의 실시간 동시처리를 위한 멀티스레딩 모델을 사용하였다. 신경망 엔진 최적화는 GPGPU 프로그래밍 코드 레벨의 최적화(single precision->half precision) 그리고 배치정규화 연산의 최적화를 수행함으로써 신경엔진망을 최적화 하였고, 카메라 스트림 획득과 객체 검출 그리고 이미지 저장을 모두 병렬적으로 수행하여 속도를 향상시켰다.

본 연구에서는 위에서 분류한 6가지의 객체 수집을 위하여 공용 데이터 셋과 공인 데이터 셋을 이용하는 방법과 3D 모델을 활용한 데이터를 확보하여 객체와 배경을 합성하는 가상 데이터 구축 방법으로 추진하였다.

3.2 공용 데이터 셋 활용 객체 수집 및 레이블링

앞에서 언급한 검출 대상 학습 데이터의 수집은 다양한 사진 및 동영상을 제공하는 플랫폼에서 수집하였다. 첫 번째로 사진을 제공하는 플랫폼인 Google, pixabay, IMAGE SOURCE, IMAGENET 등의 플랫폼에서 해당 객체의 이미지를 다량 수집하였다. 보다 많은 데이터를 확보하기 위해 굴삭기의 경우 excavator, backhoe, 굴삭기, 포크레인, 挖掘机, 挖掘機 등 다양한 검색 키워드를 사용하였다. 이렇게 수집된 사진 데이터는 2가지로 분류할 수 있다. 실제 사진과 투명한 배경 또는 단색 배경의 사진이다. 실제 사진은 레이블링이 필요하지만, 투명 또는 단색 배경의 사진은 단조로운 배경을 제거함으로써 레이블링을 자동으로 할 수 있다. 단조로운 배경의 사진은 학습에 바로 사용하지 않고 배경을 투명하게 바꾸어서 합성데이터를 생성하는데 사용하였다.

두 번째로 동영상을 제공하는 플랫폼인 YouTube, videvo, pixabay, Videezy를 이용하여 데이터를 수집하였다. 동영상 플랫폼의 경우 학습에 매우 적합하지 않은 영상이 많아 직접 선별하고 수집하였다.

3.3 공인 데이터 셋 활용

공인 데이터 셋은 객체 검출 정보 또는 객체 윤곽 정보를 가진다. 공인 데이터 셋을 그대로 학습해도 큰 문제는 없지만 공인 데이터 셋의 레이블링의 신뢰성이 높지 않아 이를 그대로 학습하는 방법은 매우 높은 정확도를 이끌어 내기에는 문제가 있다. 실제로 공인 데이터 셋은 레이블링이 되어 있지 않은 객체가 종종 등장한다. 또한, 여러 개의 객체를 하나로 묶어 레이블링한 경우도 자주 볼 수 있다. 이러한 객체를 모두 찾아 레이블링하기에는 시간과 인력 비용이 너무나 크기 때문에 공인 데이터 셋에서 윤곽 정보가 있는 객체만을 추출하여 합성 데이터를 생성하는데 사용한다.

높은 정확도를 얻기 위하여 본 프로젝트에서는 불필요한 데이터 셋을 유의미한 데이터로 만드는 패치 결합 합성데이터 기법을 사용하였다. 먼저 객체의 윤곽 정보를 통해 객체 정보만 남기고 투명한 배경의 패치를 획득한다. 그 후 적절한 배경 이미지에 패치를 합성시키면 된다. 그림 8의 (a)는 레이블링이 하나만 되어 있는 경우로 학습에 사용하기에 적절하지 않다. (b)는 객체 윤곽 정보이며, (c)는 객체의 영역만 추출한 이미지고. (d)는 합성에 사용할 배경 데이터. (e)는 최종 합성 데이터이다.

위와 같은 방법으로 합성 데이터를 구축할 경우 모든 객체에 레이블링을 할 수 있다는 장점과 자동화 프로그램을 활용하여 사람이 레이블링을 할 필요가 없다는 장점, 그리고 객체의 크기를 원하는 대로 조절할 수 있다는 장점이 있다. 공인 데이터 셋은 Stanford car dataset, MS COCO, PASCAL VOC, LISA, Medusa, KITTI, LabelMe, MSRC, ADE20K, OpenImages- V5+을 사용하였으며 사람, 차량, 트럭, 버스, 비행기 데이터를 추출하여 감시시스템을 위한 학습 데이터를 생성하였다 ^(16~25).

3.4 3D 모델 활용 객체 생성

공인 데이터 셋을 사용하는 가장 큰 이유는 객체 윤곽 정보가 있기 때문이다. 이 윤곽 정보를 사용하여 배경이 투명한 패치를 생성하고 합성 데이터를 만들 수 있기 때문이다. 하지만 공인 데이터 셋에는 굴삭기나 패러글라이더 및 화재 같은 데이터는 존재하지 않는다. 실제 데이터에서 윤곽 정보를 생성하여 똑같은 방법으로 처리할 수 있으나 비용이 너무 많이 들기 때문에 3D모델을 이용하여 배경이 투명한 패치를 생성한다. 3D모델은 학습에 필요한 객체의 다양성을 확보하기 위한 보조 데이터로 다양한 각도에서 촬영한 패치를 이용하여 위와 똑 같은 방법으로 배경 이미지에 합성하여 최종 학습 데이터를 획득한다. 이러한 합성 데이터는 실제 데이터를 획득하는데 비용이 많이 발생할 때 좋은 대안이 된다. 다양한 각도에서 정확한 검출 영역을 획득할 수 있는 3D 모델 합성 방식은 경우에 따라서는 실제 사진 데이터보다 더 높은 검출 결과를 보이기도 한다.

3D 모델은 1° 기준으로 전방향을 촬영하며 카메라를 위쪽으로 이동시켜 모델당 1,440장의 패치 이미지를 생성한다. 3D 모델 역시 마찬가지로 그림 8과 같이 다양한 크기 및 위치로 배경 이미지에 합성할 수 있다. 쉽게 데이터를 획득하기 힘든 굴삭기, 패러글라이더 그리고 화재 데이터를 3D 모델을 사용했다. 패러글라이더는 모양이 변하지 않는 객체이므로 단순히 카메라만 회전시켜 데이터를 획득하였고 굴삭기의 경우 팔이 움직이므로 다양한 형태의 굴삭기 모델을 준비하여 데이터를 획득하였다. 화재의 경우 그 형태가 정해져 있지 않고 매우 다양한 색이 존재하여 연기와 화염 모두를 합쳐 화재로 정의하고 유니티를 이용하여 가상의 화재를 시뮬레이션하고 촬영하여 배경이 투명한 화재 패치를 획득하였다.

3.5 합성 데이터 및 가상 데이터 구축

위와 같이 공인 데이터 셋과 3D 모델을 활용하여 다음과 같은 분류의 패치 데이터들을 취득하였다.

다양한 종류의 패치를 획득 후 적절한 배경 데이터에 패치를 오버레이 하면 최종 학습 데이터가 생성된다. 테스트 데이터와의 차이를 줄이기 위하여 Semantic Segmentation 기술을 이용하여 배경 영상에서 육지와 하늘 2종류 영역으로 분할하여 패러글라이더와 비행기는 하늘 영역에 주로 배치하고 나머지는 육지 영역에 배치하도록 설계하였다.

의미론적 분할(Semantic Segmentation)은 DeepLabV3+ 아키텍처를 사용하였다 ⁽²⁶⁾. DeepLabV3+는 Semantic segmentation 신경망으로 V1, V2, V3, V3+까지 총 4개의 버전으로 구성되어 있다. V1에서는 딥러닝 알고리즘의 핵심 연산 중 하나인 합성 곱(Convolution)에 대한 한계점을 파악하고 Atrous Convolution 연산을 적극 활용하여 모델의 성능을 높였다. V2에서는 이미지 검출에서 주요 문제점 중 하나인 다중 크기 문제를 해결하기 위해서 ASPP(Atrous Spatial Pyramid Pooling)기법을 적용하였다.

V3는 Atrous Convolution을 활용해 Feature map의 구조를 밀도 있게 구성했다. 최종적으로 V3+는 Feature map의 채널과 깊이를 고려하여 Separable Convolution과 Atrous Convolution을 혼용함으로써 PASCALVOC 2012 데이터 셋에서 mAP(Mean Average Precision)가 89.0로 높은 성능을 확인하였다.

모든 배경 이미지에 대해 영역을 분할하고 어떠한 영역에도 속하지 않은 부분은 검은색으로 두고 해당 위치에는 객체를 생성하지 않는 방식으로 구성한다. 그림 11은 Deep-learning 기반 의미론적 분할을 이용한 객체 패치 생성 방법을 나타낸다. (a)는 배경으로 사용될 원본 이미지, (b)는 의미론적 분할을 이용해 하늘과 땅을 분할한 마스크 이미지, (c)는 객체 패치의 특성에 따라 적절한 위치에 데이터를 생성한 이미지이다.

배경 이미지는 5,269장의 실제 송전철탑 뷰와 비슷한 이미지들로 수집하여 사용하였으며 배경 이미지 1장당 5 ~ 13개의 학습 이미지를 생성하였다. 또한, 본 연구에서는 PTZ카메라를 이용해 다양한 크기의 객체를 학습해야 하기 때문에 Zoom을 인위적으로 하여 1x, 2x, 4x에 대응되는 데이터 셋도 같이 생성하였다.

굴삭기나 패러글라이더는 공인 데이터 셋에 정보가 부족하고, 웹에서 배경이 투명한 이미지도 많지 않아서 공용 플랫폼들을 활용하여 확보된 데이터들은 학습 데이터의 다양성을 확보하기 위해 데이터를 증강하여 활용한다. 인위적으로 객체의 크기를 줄여서 학습하였다. 배경의 다양성과 객체의 크기를 줄이는 방법으로 CutBlur에 기반한 Reverse CutBlur방법을 사용하여 실제 데이터를 증강하였다 ⁽²⁷⁾.

또한, 영상의 종횡비가 16:9 가 아닌 영상도 위의 연산으로 모든 학습 데이터가 16:9의 종횡비를 가지게 하여 학습 시 letterbox나 resize 연산을 통해 이미지의 종횡비가 깨지거나 패딩이 들어가는 것을 방지할 수 있다. 그림 12의 (a)는 원본 이미지이고 (b)는 가우시안 블러를 적용한 이미지 (c)는 (b)와 크기를 줄인 (a)를 오버레이한 이미지이다.

또한, 패치 단위로 존재하는 각 객체들은 회전과 같은 변형 증강이 매우 자유로운 특성이 있다. 패치 단위로 회전, 색 변화, 혼합, 반전 등의 증강을 수행한 후 전체 영상으로 합성 뒤 회전, 색 변화, 노이즈를 반영하여 증강하여 많은 변화를 가진 학습 데이터 셋을 다양화하였다. 최종적으로 수집되고 증강된 전체 데이터 셋 규모는 아래와 같다.

4.1 검출시스템 구조 설계

객체 검출을 위한 본 연구 목적의 프로젝트에서는 총 6대의 카메라(5대의 PTZ카메라, 1대의 IR카메라(Infrared Camera 열화상카메라))를 NVIDIA GeForce RTX 2,080ti 3대가 장착된 1대의 PC에서 20FPS(Frame Per Seconds, Frame rate, 초당 프레임)로 검출하는 것을 목표로 하였다. 1개의 GPU로 2대의 카메라 스트림을 동시에 처리하는 구조이다.

4.2 객체 검출 시험 결과

실험 데이터는 실제 환경에서 화재나 중장비가 등장하는 영상을 구하기 어려웠기 때문에 학습 데이터를 생성하는 방법과 비슷하게 랜덤하게 객체들을 분포시켜 검증 데이터를 생성하였다. 2,550장의 검증 데이터를 이용하여 정확도를 측정하였는데, 다른 객체에 비해 상대적으로 크기가 작은 사람과 차량은 전체 이미지의 2 ~ 7%의 크기의 작은 사이즈를 가지기 때문에 다른 객체들 보다 더 낮은 정확도를 나타낸다. 일반적인 공용 데이터셋(MS COCO, OpenImagesV4)을 이용하여 정확도를 비교해 보았다. 전력설비 현장에 적합한 데이터셋 구성을 고려하여 확보된 데이터셋이기 때문에 예상했던 대로 일반 데이터셋을 활용한 검증 결과와 많은 차이가 나고 있음을 알 수 있다.

표 6의 결과는 각 객체의 AP(Average Precision)을 계산할 때 정답 박스와 예측 박스의 겹치는 정도인 IoU(Intersection of Union)가 0.5 이상인 경우와 0.75 이상인 경우에 대한 객체의 검출 시험 결과를 정리한 내용이다.