2.1 드론 검출

드론 검출은 배경이 하늘과 뚜렷이 구분되어 검출이 용이한 경우도 있지만, 상당수는 너무 작거나, 나무 등 자연물에 근접한 경우, 건물 등 인공물에 인접한 경우, 그리고 복수개의 드론이 존재하는 경우 등은 검출이 어렵다. 또한 기상 조건 및 자연광의 상태에 따라서도 검출 난이도가 달라진다. 그림. 1과 그림. 2는 이러한 예시를 모아 놓은 영상들이다. 그림. 1은 드론을 조정하면서 직접 촬영한 영상들로서 태양의 방향 때문에 역광으로 인해서 컬러 영상이 그레이 영상과 유사하게 나타난다. 그림. 2는 인터넷상에서 수집한 영상으로 더 다양한 배경을 가진 컬러 영상을 포함한다.

2.2 드론의 검출 및 분류

드론의 검출 후 이를 모델별로 분류하는 것은 드론을 식별하기 위해서 필요한 기능이다. 대부분의 드론이 상공에 멀리 떨어져 있고 상대적인 크기가 작기 때문에 드론 모델을 구별하는 것은 또 다른 어려운 문제이다. 드론의 형태가 잘 나타난 영상에서는 이의 식별이 용이하나, 대부분 먼 거리에서 잡힌 작은 크기 때문에 드론 모델을 구성하는 특징이 잘 나타나지 않고, 회전 및 촬영 각도에 따라 형태상의 차이점이 소실될 수가 있다. 그림. 3은 Inspire2와 Phantom4Pro라는 서로 다른 모델에 대한 영상들이다. 이 두 모델을 정확하게 분류하는 것이 중요한 과제이다.

3.1 딥러닝 기반 물체 검출 기법

Faster R-CNN^[7]은 이미지 내의 물체 검출을 수행하며 객체의 클래스 분류 뿐 아니라 이미지 상에서 물체의 위치, 넓이 및 폭을 경계상자로 나타낸다. Faster R-CNN의 컨볼루션 층과 풀링 층에서 출력되는 특징맵은 RPN(region proposal network)과 완전연결 층으로 연결된다. RPN은 특징맵에 슬라이딩 윈도우 방식으로 앵커(anchor) 박스를 적용한다. 앵커 박스는 크기와 비율을 변화시킨 다양한 크기로 구성되어 있고, 이들을 적용시켜 검출하고자 하는 객체가 존재할 만한 다양한 영역을 제안한다.

YOLOv2^[8,9]는 기존의 검출 성능을 유지하면서 빠른 검출 시간을 목표로 한다. YOLOv2는 입력 이미지를 $S \times S$의 그리드 셀로 나눈 후 각 그리드 셀마다 5개의 앵커 박스를 적용하여 그리드 셀 내 객체의 존재 확률, 객체에 대한 클래스의 확률, 객체의 중심좌표와 객체의 너비 및 높이를 추정한다. 완전연결계층 대신 전역평균풀링(global average pooling)을 사용하여 클래스를 분류하기 때문에 Faster R-CNN기법에 비해 빠른 검출이 가능하다. Faster R-CNN이 9개의 앵커를 사용하는 비해 YOLOv2는 5개를 사용하는 점도 작용한다. 그림. 4에 YOLOv2의 구조가 나와 있다.

Faster R-CNN과 YOLOv2의 비교는 다른 물체에 대해서 여러 논문에서 비교되어왔다^[1,2,6]. 대부분 검출 성능은 비슷하나 검출속도에서 YOLOv2가 우수하며, 일부의 경우에선 검출 성능도 약간 더 YOLOv2가 우수함을 나타낸다.

3.2 전이학습

전이학습(Transfer Learning)^[10]은 한 태스크(또는 도메인)에서 학습한 모델을 다른 태스크(또는 도메인)에 적용하는 것으로서, 두 번째 태스크에 대해서 빠른 학습과 더 나은 성능을 얻을 수 있게 해준다. 도메인이나 데이터에 따라 향상 효과의 차이가 다르다.

기존에 학습된 모델을 선택하고, 이를 새로운 데이터에 대해서 튜닝하는 과정을 거친다. 본 논문에서는 1000 클래스 분류 대상인 ImageNet 데이터에 대하여 사전 학습된 YOLOv2 darknet 모델을 가져와서, 이를 드론 분류 데이터에 대해서 추가 학습을 진행한다. 전이학습된 darknet의 특징 추출기를 검출(detection) 네트워크에 적용하고, 드론 위치/분류 데이터에 대해서 추가 학습한다.

4.1 드론 데이터 수집 및 생성

실험에 사용한 학습 및 평가 데이터는 직접 촬영한 1920x1080 크기의 동영상으로부터 프레임 단위로 분리한 영상을 기본으로 사용하였다. 부족한 데이터를 보충하기 위해서 기본적인 어파인 변환을 이용하여 확장하였다. 촬영한 동영상의 대부분에서 드론과의 먼 거리 때문에 드론의 크기가 작게 나타난다. 이러한 문제를 보완하기 위해서 드론 주변을 100x100 크기로 잘라낸 다음, 200x200 크기로 확대해서 생성하였다. 검출과 분류가 병행되어야 하는 문제이기 때문에 각각의 학습 목적에 맞게 구성하였다.

분류기 학습용 데이터는 직접 촬영한 영상을 가지고 3개의 클래스로 구성한다. 두 종류의 드론 외에 드론과 유사한 형태로 보일 수 있는 나뭇가지 클래스를 추가한다. 검출기 학습 및 테스트 데이터는 드론 주변을 448x448 크기로 잘라내어 구성하였다. 검출기 학습 데이터는 검출 대상인 두 드론에 대한 영상만으로 두개의 클래스로 구성한다. 이렇게 해서 얻은 1차 실험 데이터는 각 클래스 당 1600장이다.

기본적인 확장을 통해 얻은 1차 데이터만으로 다양한 영상을 얻기가 어려웠다. 검출 성능의 향상을 위하여 촬영 영상 외에 인터넷 상에서 드론 영상을 수집한 2차 데이터를 추가하였다. 1차 데이터와 합하여 클래스 당 5200장씩으로 구성된다. 2차 데이터의 드론 크기는 1차 데이터에 비해서 경우가 많으며 좀 더 복잡한 배경을 가진다. 정리된 데이터는 표 1과 같다.

4.2 Yolo 학습 방법

YOLOv2 학습은 C언어 기반의 darknet 프레임워크 상에서 수행되며, CUDA 8.0 또는 9.0 버전과 OpenCV 2.4.9 버전이 요구된다. darknet은 객체 검출 알고리즘이 주를 이루고 있기 때문에, 객체 검출 알고리즘의 특징 추출기를 생성하는 것이 가능하다. 이 특징 추출기는 검출하려는 객체의 특징을 잘 추출하도록 분류기로 학습되며, 분류기 학습을 마치면 특징 추출기만 분리하여 검출기에 전이학습을 적용할 수 있다. 표 2에 YOLOv2 학습 파라미터가 나와 있다.

YOLOv2 알고리즘의 적용 시 앵커 박스의 수는 전체 데이터에 대해서 k를 증가시키면서 k-means 클러스터링에 따른 IoU 성능을 비교하여 결정한다. 사전 실험을 통해 얻은 수행 복잡도 대비 IoU 성능 향상 효과를 고려하여 5개의 앵커 박스를 사용한다. 학습률은 0.001부터 시작하여 배치 5000회부터 까지 단계적으로 감소시킨다.

4.3 실험 및 평가

실험은 총 3가지 학습 모델로 나누어 수행하였다. 첫 번째는 직접 촬영한 데이터를 일부 확장한 1차 데이터만을 사용하여 학습하였고, 두 번째는 1차 데이터에 ImageNet 데이터를 학습 시킨 모델을 전이학습시켜 적용하였다. 세 번째는 추가 확장된 2차 데이터에 전이학습을 적용하였다.

세 가지 모델에 대하여 검출 환경을 단일 드론, 다중 드론, 그리고 복잡 배경으로 나누어 성능 평가를 수행하였다. 실험의 성능 지표는 재현율(Recall)과 평균 IoU(Avg IoU)를 사용한다. IoU는 예측한 경계상자와 정답 경계 상자간의 공유 비율로, 두 영역의 교차 영역의 넓이를 합 영역의 값으로 나눈 값이다.

단일 드론 검출 실험에서 객체의 크기가 35x35픽셀보다 크고 객체 주변 배경이 단순한 영상을 가진 총 265장으로 구성하였다. 표 3에서 세 가지 모델 모두 재현율 96% 이상의 성능을 보였다. 이는 객체의 형상이 배경과의 차이가 분명하여 객체의 특징을 추출하기 용이함을 보여주고 있다. Avg IoU는 검출 박스의 크기가 정답 박스의 크기와 일치하기가 어렵기 때문에 일반적으로 재현율 수치보다 낮다. Avg IoU 성능은 67~71% 대로 나타나며, 각 방법 간의 성능 차이도 재현율 순으로 나타난다. 그림. 5에 단일 드론 검출에 대한 영상 예가 나와 있다.

다중 드론 실험은 두 개의 드론이 한 영상 내 모두 존재하는 것을 대상으로 한다. 대부분의 테스트 데이터에서 두 드론의 크기가 비슷한 경우는 적고, 드론의 크기가 서로 다른 경우가 대부분이었다. 1차 학습 데이터에 대한 검출 성능이 전이학습 적용에도 45%대에 머물렀다.

이러한 불균형한 영상에 대한 검출 성능을 높이기 위해 객체의 크기가 다양한 2차 학습 데이터를 추가하였고, 추가 실험에서 재현율이 63%대로 성능이 향상되었다. 다중 드론 Avg IoU 성능은 40~63%대로 나타나며, 각 방법 간의 성능 차이도 재현율 순과 일치한다. 단일 드론 검출 실험에 비해서는 각 방법에서의 재현율과 Avg IoU의 성능 수치가 비슷하게 나왔다. 표 4에 성능 결과가 정리되어 있고, 그림. 6에 다중 드론 검출에 대한 영상 예가 나와 있다.

추가로 작은 크기 때문에 영상에서 제대로 구분이 안 되는 초소형 객체에 대해서도 실험을 수행하였다. 영상에서 드론의 크기가 35x35픽셀보다 작은 것을 따로 분류하여 실험을 시도하였다. 이 크기는 전체 이미지의 해상도 1920x1080에 비해서 아주 작은 비율이며, 대부분의 경우가 검출 및 분류 성능이 매우 저조하였다. 참고로 그림. 8은 이 중에서 정확히 검출 한 예이며, Phantom4Pro 크기는 15x11이고 Inspire2 크기는 21x23이다.