이건영
(Keon Young Yi)
1iD
서기성
(Kisung Seo)
†iD
-
(Dept. of Electrical Engineering, Kwangwoon University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Drone identification and localization, Image processing, DroneTracker, Inspire2, Phantom4Pro
1. 서 론
드론이 물건 운반등의 민간 운송 수단이나 지역 탐색등의 용도 외에, 군사적 용도 등 다양한 분야에서 사용되기 시작하면서[1] 드론에 의한 인식이나 비행 제어 외에 드론을 대상으로 인식하는 문제의 중요성이 점차 높아지고 있다[2].
최근에는 드론에 의한 보안이나 테러의 위험이 증가하고 있으며, 의도치 않은 비행 제어의 문제 발생으로 인한 사고 가능성도 배제할 수 없다[3,4]. 공항, 발전소 및 주요 산업 시설, 그리고 군사 기밀 지역에 대한 접근 제한이 필요하나, 돌발적인 드론의 출현과 침입에 대해서 대비하는 것이 현실적으로
매우 어렵다.
드론은 소형이고 빠른 이동 속도를 가지기 때문에 상황에 따라 정확한 검출이 어렵다. 특히, 멀리 떨어져 있을 경우에는 점으로 보이기 때문에 인식이
더욱 어렵고, 건물이나 전신주, 안테나 등의 인공 구조물이나 나무 등의 자연 구조물에 근접하는 경우에도 구분이 어렵다. 또한 기능 및 형태상 날아다니는
새와 혼동을 일으킬 수 있으며, 촬영 환경, 시기 및 광의 배경에 따라 얻어진 영상들의 차이가 크다.
관련된 드론 검출 연구는 다음과 같다. 딥러닝 기법인 Faster R-CNN과 YOLOv2 알고리즘들의 성능과 처리 속도 비교를 통해 드론을 검출하고
추적하는 연구가 수행되었다[5]. 학습 데이터가 부족한 드론 이미지를 모델 기반 확장 기법을 통해 자동적으로 생성하는 연구[6] 및 딥러닝을 사용하여 드론과 새의 구분 검출을 목적으로 하는 연구도 진행되었다[7] 이상에서 볼 수 있듯이, 대부분의 드론 검출 연구는 임의의 드론을 검출하거나, 유사 물체인 새와 구분하는 경우가 대부분이다. 이러한 문제들 외에도
드론의 위치나 비행 궤적을 파악하는 것이 필요하며, 이미 상업적으로 이용 가능한 실용적인 장비도 도입되고 있다[8].
본 연구자들에 의한 선행 연구로 Dedrone사 DroneTracker [8]의 성능을 분석한 사례가 소개되었으며[9], 딥러닝을 사용하여 드론을 검출 하고 분류한 연구도 수행되었다[10]. 본 논문에서는 이러한 선행 연구를 바탕으로 드론을 식별하고 각 드론에 대한 영상 정보를 위치 정보로 변환하여 드론의 정확한 위치를 파악할 수
있는 방법을 제안한다. 그리고 현재 상용화된 Anti-drone 제품인 Dedrone사 DroneTracker[4]의 드론 탐지 성능을 분석하고 제안된 방법과 비교를 한다.
2. 드론 식별 및 위치 탐지 문제
드론 검출은 배경이 하늘과 뚜렷이 구분되어 검출이 용이한 경우도 있지만, 상당수는 너무 작거나, 나무 등 자연물에 근접한 경우, 건물 등 인공물에
인접한 경우, 그리고 복수개의 드론이 존재하는 경우 등은 검출이 어렵다. 그림 1은 이러한 예시를 모아 놓은 영상들로서, 드론을 조정하면서 직접 촬영한 것이다. 역광으로 인해서 컬러 영상이 그레이 영상과 유사하게 나타난다.
그림. 1. 드론 검출 – 촬영 영상
Fig. 1. Detection of drones - shooting images
드론 식별은 드론의 종류를 구분하는 것으로서 검출보다 한 단계 난이도가 높은 문제이다. DJI사의 Inspire2와 Phantom4 Pro에 대한
식별 예가 그림 2에 나와 있다.
그림. 2. 드론 식별 예
Fig. 2. Identification examples for multiple drones
드론의 위치 탐지는 정해진 경로를 비행시키면서 촬영한 동영상을 처리하여 드론의 비행 궤적을 구하는 것이다. 그림 3에 본 연구에서 사용한 비행 경로의 예가 나와 있다. 영상을 통해 3차원 위치(거리와 고각)를 추정한 후 이를 2차원 지도에 투영하여 표시하고자 한다.
그림. 3. 드론의 비행경로
Fig. 3. Trajectories of drone
3. 드론 위치 추정 알고리즘
3.1 드론의 크기 검출 기법
드론이 식별된 경우, 드론 영상의 크기를 구하여 이를 통해 거리와 위치를 추정한다. 드론의 모양이 컨벡스가 아니므로 크기 산정에 어려움이 있다 이에
대한 산출 정밀도를 높이기 위하여 다음과 같은 영상처리 과정을 적용한다.
그림. 4. 드론 크기 검출 예 a) 전방, b) 중앙, c) 후방
Fig. 4. Detection fo drone size a) front b) center c) back
1단계: 식별된 드론의 중심점을 기준으로 폭 2배 크기의 크롭영상 취득(영상이 작은 경우 40x40)
2단계: 크롭영상 이진화(ThresholdBinary)
3단계: 영상 흐림(SmoothBlur)과 이진화 3회 반복
4단계: 블랍영상 탐색(BlobDetect)
5단계: 외곽선 추출(FindContour)
6단계: 최소영역 탐색(MinAreaRect)
이 방법을 앞서 기술한 비행 궤적 중 드론의 크기가 서로 다른 전방-중앙-후방 각각에 대하여 적용하면 그림 4와 같다. 그림 4에서 녹색 사각형은 일반적인 영상처리 결과를 표시한 것이다. 즉, 드론이 호버링 중인 경우 배경 걸러내기에서 일부 이미지 손실될 수 있다. 적색 사각형은
앞서 기술한 기법에 따라 영상크기를 추출한 결과를 표시한 것이다. 영상흐림과 이진화 반복(3단계)은 드론 구조물의 특성 보완을 위한 과정으로 드론의
암과 프롭 영상 소실을 최소화 하는 과정이다.
그림. 5. 드론 면적과 거리의 비례 관계
Fig. 5. Relationship between drone area and distance
3.2 드론과의 거리 산출
드론 영상 크기검출이 완료되면, 특정거리의 영상크기를 샘플링하여 드론과 캠과의 거리 산출을 위한 함수를 구한다. 즉, 그림 5에 나와있는 드론 면적과 거리의 비례 관계를 수식화 한다. 사용된 드론 영상과 거리와의 관계식은 다음 식 (1)-(2)와 같다. 여기서, $y_{i ns2}$는 Inspire2에 대한 거리식이고, $y_{p4p}$는 Phantom4Pro에 대한 거리식을 나타낸다.
위 식은 Inspire2에의 직경(605)과 Phantom4Pro의 직경(350)을 비교할 때 크기 계수비가 다소 다르지만, 이는 Inspire2에의
형상(비행 시 암을 상승시켜 다소 폭이 좁아지며, 팬텀에 비해 여유 공간이 많아 실제 크기와 영상 크기의 차이가 발생한다. 따라서 그림 5와 같이 특정거리의 영상(약 5개 지점)을 촬영하여 영상크기와 거리와의 관계식을 실험적으로 구하여 사용한다.
3.3 드론의 위치 산출
드론과 카메라의 거리 산출이 끝나면, 영상 속 드론의 위치로부터 방위각과 고각을 계산한 후 식 (3)과 같이 드론의 지도상 위치를 구한다.
여기서, $\theta_{elv}$는 고각(elevation), $\theta_{azm}$는 방위각(azimuth)을 의미한다. $R\cos\theta_{elv}$는
드론과의 거리를 지도위에 정사영 한 경우의 거리이며, 이 거리에 방위각을 적용하면 드론의 지도상 좌표(탐지 카메라에 대한 상대 위치)가 얻어진다.
4. DroneTracker 실험 결과
실제 영상 탐지장비인 DJI사의 DroneTracker를 직접 사용하여 드론 탐지 실험을 하였다 탐지대상 드론은 DJI사의 Inspire2와 Phantom4Pro이다.
그림 6은 두 개의 드론에 대한 비행계획 경로이다 빨간색은 Phantom4Pro, 노란색은 Inspire2에 대한 것으로, Phantom4Pro의 단순한
사각형 보다는 복잡한 형상의 Inspire2 궤도의 추적에 주안점을 두었다.
그림. 6. 드론의 비행계획 경로
Fig. 6. Planning path for drones
DroneTracker를 사용한 실험 결과는 그림 7과 같으며 위치 판별 성능에 문제가 있어서 두 드론의 비행 경로를 구분하지 못하며 거의 동일하게 Inspire2와 유사한 궤적으로 표시되었으며,
구해진 경로도 계획 경로와 큰 차이를 나타낸다.
그림. 7. DroneTracker로 구해진 드론의 비행 경로
Fig. 7. Obtained paths for drones using DroneTracker
5. 제안된 영상 분석 기반 위치 탐지 실험 결과
5.1 영상 분석 프로그램
DroneTracker에서 기 촬영된 영상(10FPS, 1920x1080) 을 실시간으로 처리하기 위한 EmguCV 기반 프로그램의 실행 화면은 그림 8과 같다. 그림 하단에 앞서 기술한 드론 크기 조정 과정의 영상이 표시되며, 영상 처리와 동시에 드론의 위치 좌표를 산출하게 된다. MOG2 방식의
배경영상 제거방법이 사용 되었으며, 구름의 움직임을 감안하여 history=2, threshold=16으로 설정하였다. 이 배경 제거 방식에서 드론이
호버링 하는 경우 이미지 손실이 발생하지만, 이는 선행연구에서 드론의 위치가 탐지 되므로 그 정보를 활용하면 문제 해결이 가능하다.
그림. 8. DroneTracker 실행 화면
Fig. 8. Running screen of DroneTracker
5.2 영상 분석을 통한 드론 위치 판독
그림. 9. 구간별 면적과 거리 산출 a) 면적 산출 b) 거리 산출
Fig. 9. Calculation of area and distance
그림 9-a)는 탐지된 두 드론의 면적을 프레임 단위로 표시한 것으로, 영상크기는 3.1절의 영상처리 마지막 단계의 영상을 표시한 사각형의 픽셀 면적을 의미한다.
이 면적을 입력으로 하여 식 (1)에 의해 드론과 카메라와의 거리(단위: m)를 산출하면 그림 9-b)와 같다. 그림에서 프레임 번호 #826부터 #937 까지 청색 구간의 면적(그림 a)과 거리(그림 b)가 순간적으로 변하고 있는데, 이는 Inspire2에가
화면 좌측에 위치한 나무에 가리는 구간을 지나는 상황이다. 이 때 Inspire2에의 거리가 크게 나옴(이미지가 작게 나오거나 잡히지 않음)에 기인하는
것으로 이 부분에 관한 처리는 실험부분에서 뒤에서 설명한다. Phantom4Pro(황색)의 경우는 비행궤도가 나무에 간섭 받지 않도록 하여 Inspire2에와
같은 현상은 발생하지 않지만 원거리 비행 부분에서 이미지가 작아 식 (1)로 산출한 카메라와 드론과의 거리변화가 심한 경우(#190, #1050)를 보인다.
5.3 탐지된 드론 위치 재구성
본 논문에서 제안한 영상분석 기반 위치탐지 기법에 의한 드론의 궤적을 구하기에 앞서 영상 속의 드론 궤적을 표시하였다. 그림 10은 DroneTracker의 영상궤적을 비교용으로 표시한 것이며, 그림 11은 본 연구에서 탐지한 영상궤적을 표시한 것이다. 그림 10은 탐지된 드론을 적색 사각형으로 표시하고, 이 사각형의 자취를 청색으로 표시한 것(드론의 종류는 구분하지 못함)으로, 본 연구에서의 결과와 대부분
일치하고 있으나, 드론이 멀리 있는 경우(그림의 하단부)에서 다소의 차이를 보이고 있다. 즉, 본 연구에의 결과가 작은 드론이미지 탐지 능력이 다소
우수함을 알 수 있다.
그림. 10. DroneTracker로 구해진 드론의 비행 경로
Fig. 10. Obtained paths for drones using DroneTracker
동일한 영상에 대하여 드론을 식별하여 각 드론의 궤적을 표시한 결과를 그래픽 좌표를 기준으로 표시하면 그림 11과 같다. 이것은 화면상의 궤적을 나타내며, 실제의 위치를 좌표계상에 나타낸 그래프는 그림 12에 있다.
그림 12는 여러 방해 요소들로 인하여 불안정한 궤적을 나타낸다. 나무에 진입한 구간의 데이터를 최소영상값(200 픽셀)으로 처리하고, 3차 Butterworth
필터를 적용하면 그림 13과 같다. 제안된 기법에 의해 구해진 경로를 4절의 DroneTracker를 사용한 실험 결과인 그림 7과 비교하였을 때 확연히 우수한 성능을 확인할 수 있다. 2차원 영상정보만을 처리하여 얻어진 결과임을 감안하면 매우 정확한 경로 추정이 이루어졌음을
알 수 있다.
그림. 11. 제안된 기법에 의해 구해진 드론의 비행 경로
Fig. 11. Obtained paths for drones using the suggested method
그림. 12. 좌표계상의 드론 궤적
Fig. 12. Tracking of droens in coordinate
그림. 13. 필터링된 좌표계상의 드론 궤적
Fig. 13. Filtered tracking of drones in coordinate
6. 결 론
본 논문에서는 론에 대한 영상처리 기반 위치추정 기법을 제안하였다. 드론의 위치가 식별되면 주변을 포함한 크롭영상을 해석하여 드론의 크기 식별의
정밀도를 높였으며, 이 영상을 기반으로 캠의 방위각과 고각을 기초로 하여 드론의 지도상 위치 추출을 시도한다. DJI사의 Inspire2와 Phantom4Pro에
대해서 실제 촬영한 영상을 바탕으로 드론의 지도상 위치를 추출하고, 현재 상용화된 제품인 Dedrone사 DroneTracker의 드론 탐지 성능과
비교하여 매우 우수한 성능을 얻었다. 향후, 드론식별을 위한 선행연구 결과를 반영하여 캠에서 확보되는 드론의 위치를 실시간으로 지도상 위치로 표시하는
기능 향상이 필요하다.
References
Amazon Prime Air, 2017, amazon drone delivery, https://www.amazon.com/Amazon-Prime-Air/b?ie=UTF8&node=8037720011
D. R. Lee, W. G. La, H. Kim, 2018, Drone Detection and Identification System using
Artificial Intelligence, IEEE Int. Conf. on Information and Communication Technology
Convergence (ICTC), pp. 1131-1133
Cahal Milmo, 2017, Drone terror attack by jihadists in Britain is ‘only a matter of
time’, security sources warn, https://inews.co.uk/news/uk/drone-terror-attack-jihadists-britain-matter-time-security-sources-warn/
Kehl Bayern, 2017, Drones Really Should Stay Away from Nuclear Power Plants According
to New FAA Regulations, https://www.lightstalking.com/drones-really-stay-away-nuclear-power-plants-according-new-faa-regulations/
Y. Chen, P. Aggarwal, J. Choi, C. Kuo, 2017, A Deep Learning Approach to Drone Monitoring,
in Proceedings of APSIPA Annual Summit and Conference 2017, pp. 686-691
M. Saqib, S. D. Khan, N. Sharma, M. Blumenstein, 2017, A Study on Detecting Drones
Using Deep Convolutional Neural Networks, IEEE Int. Conf. on Advanced Video and Signal
Based Surveillance (AVSS), pp. 1-5
C. Aker, S. Kalkan, 2017, Using deep networks for drone detection, IEEE Int. Conf.
on Advanced Video and Signal Based Surveillance (AVSS), pp. 1-6
Dedrone, 2015, DroneTracker Overview, https://www.dedrone.com/products/overview
K. Yi, H. Lee, C. Park, 2018, Performance Evaluation of Short Range Drone Detection
Device, in Proceedings of Information and Control Symposium ICS’2018, pp. 92-93
K. Yi, D. Kyeong, K. Seo, 2019, Deep Learning Based Drone Detection and Classification,
The Transactions of the Korean Institute of Electrical Engineers, Vol. 68, No. 2,
pp. 359-363
저자소개
1982년 한양대 전기공학과 졸업. 1984년 동 대학원 전기공학과 졸업(석사).
1993년 동 대학원 전기공학과 졸업(공박).
1994~1996년 The Ohio State University, Dept. of EE, 연구원
2004~ 2005년 University of Hawaii, Dept. of ME, 방문연구원
2014년~현재 미니드론자율비행 경진대회 조직위원장
1996년~현재 광운대 전기공학교 교수. 관심분야는 드론 제어, 드론 인식
1986년 연세대학교 전기공학과 졸업(공학사)
1988년 연세대학교 대학원 전기공학과 졸업(석사).
1993년 연세대학교 대학원 전기공학과 졸업(박사)
1999~2003년 Michigan State University, Genetic Algorithms Research and Applications
Group,Research Associate
2002~2003년 Michigan State University, Electrical & Computer Engineering, Visiting
Assistant Professor
2011~ 2012년 Michigan State University, BEACON (Bio/ computational Evolution in Action
CONsortium)Center, Visiting Scholar
1993년~현재 서경대학교 전자공학과 교수
관심분야는 진화연산, 딥러닝, 머신비전, 기상예측, 지능로봇