1. 서 론

최근 UAV 기술이 발전하면서 군사, 교통, 운송, 농업 등 다양한 산업에서 활용되고 있다. 하지만 UAV는 날씨와 같은 외부의 요인을 크게 받기 때문에 충돌, 추락과 같은 안전성 문제가 대두되고 있으며, 이를 해소하기 위해 다양한 기술이 연구되고 있다. 일반적으로 UAV의 안전성과 사용 성을 높이기 위해 LiDAR(Lighting Detection And Ranging)나 스테레오 카메라와 같은 센서를 부착하는 경우가 대부분이다. 이러한 센서들은 깊이 맵(depth map) 또는 시차 맵(disparity map)을 통해 주변의 장애물을 탐지한다.

LiDAR는 레이저 펄스를 이용하여 장애물에 반사되어 돌아오는 시간을 측정해 장애물의 위치 좌표를 측정하는 시스템이다. 주로 항공, 위성, 자율주행자동차에 사용되며, 정확성이 높지만 전력 소비가 크고 무겁기 때문에 UAV에 부착하는 것에 제약이 존재한다. 그에 반해 스테레오 카메라는 LiDAR와 비교해 전력소모가 적고, 크기가 작으며, 가격이 저렴하다는 장점이 있기 때문에 소형 UAV 사용에 적합하다. 스테레오 카메라는 두 영상의 시차(disparity)를 이용해 3차원 거리정보를 획득 할 수 있다. 본 논문에서는 LiDAR와 같은 센서를 사용 할 수 없는 소형 UAV 환경에 초점을 두어 거리 정보를 획득하기 위한 시차 맵을 추정한다.

본 논문의 실험 과정은 다음과 같다. UAV에 스테레오 카메라를 부착해 데이터 셋을 수집 후 SGM⁽¹⁾(Semi- Global Matching)을 통해 유사 ground truth를 구성하고, 이를 활용해 시차 맵을 구성하기 위한 준 지도 학습 기반 신경망을 구성한다. 위와 같이 실험한 결과로 SGM보다 정교한 시차 맵을 구성 할 수 있었으며, 추후 MobileNet⁽¹³⁾연구와 유사하게 가벼운 신경망을 구성해 실제 UAV 환경에 사용할 수 있도록 연구할 예정이다.

본 논문의 구성은 다음과 같다. 제 2장에서는 기존 스테레오 매칭 알고리즘 가운데 가장 널리 알려진 SGM과 신경망을 이용한 시차 맵 추정 방법에 대해 서술한다. 3장에서는 UAV를 이용한 데이터 셋 수집 방법 및 본 논문에서 제안하는 분석과 신경망 학습을 위한 방법에 대해 기술하며, 4장에서는 실험결과에 대해 서술한다. 5장에서는 결론 및 향후 과제를 제시하며 논문을 마무리한다.

2. 관련 연구

스테레오 비전이란 인간의 시각 시스템을 모방한 컴퓨터 비전

그림 1 수집한 데이터 셋(위의 사진들은 UAV의 정면에 스테레오 카메라를 부착하여 수집한 스테레오 이미지이며, 아래는 자동차를 통해 수집한 스테레오 이미 지이다.)

Fig. 1 Collected data set (The above pictures are stereo images collected by attaching a stereo camera to the front of the UAV, and below are stereo images collected through a car.)

분야 중 하나로서 좌/우 영상의 시차를 계산하여 3차원의 거리정보를 획득 할 수 있는 기법이다. 여기서 시차란 두 영상 안에 존재하는 같은 물체에 대한 픽셀 위치의 차이를 말하며, 시차 값이 클수록 가까이 있는 물체를, 시차 값이 작을수록 멀리 있는 물체를 나타낸다. 이러한 3차원 거리정보는 자율 주행 자동차^(2,3), UAV⁽⁴⁾ 등에 활용된다. Scharstein과 Szeliski⁽¹⁴⁾에 의하면 스테레오 정합 알고리즘은 기본적으로 매칭 비용 계산, 비용 합산, 시차 값 계산 및 최적화, 시차 값 개선 과정을 거친다. 또한 정합의 종류는 크게 윈도우를 기반으로 시차 값을 계산하는 local matching과 에너지 함수를 기반으로 시차 값을 계산하는global matching으로 나뉜다.

SGM⁽¹⁾은 global matching 방식 중에 하나이며, 정합 기반 알고리즘 가운데 성능이 우수한 것으로 알려진 알고리즘 중 하나이다. SGM에서 시차 맵 계산 방법은 다음과 같다. 두 이미지 사이의 전역 변화를 이용하여 정합을 수행하는 MI⁽⁵⁾(Mutual Information)를 변형한 HMI (Hierarchically Mutual Information)를 이용하여 매칭 비용을 계산한다. 그 후 수식 1과 같이 에너지 함수를 정의하여 픽셀의 모든 방향에 대해 최적화를 수행하여 시차 값을 계산하고, left-right consistency check, removal peak 등과 같은 알고리즘을 통해 시차 값의 불일치를 보완한다. 수식 1의 첫 번째 합산 항은 픽셀 에 대한 모든 바용의 합이고, 두 번째 합산 항은 픽셀 의 모든 주변 픽셀 에 대해 시차 값 차이가 1일 때 페널티를 부과한 값들의 합을 구한 것이며, 세 번째 식은 시차 값의 차이가 1이상 일 때 페널티를 부과한 값들의 합을 나타낸다.

또한 스테레오 비전 분야에서는 딥러닝 기술이 발전함에 따라 신경망을 이용하여 시차 맵을 추정하는 연구가 활발하게 진행되고 있다. 딥러닝을 통해 시차 맵을 추정하는 연구는 크게 이미지 패치를 신경망의 입력으로 하여 시차 맵을 추정하는 방식^(6,7,8)과 이미지 전체를 입력으로 하여 시차 맵을 추정하는 방식^(9,10,15)이 있다.

이미지 패치를 통해 시차 맵을 추정하는 논문들의 경우 이미지의 일부분을 신경망의 입력으로 하여 합성곱 신경망(Convolutional Neural Network)과 완전 연결(Fully Connected)계층을 이용해 시차 값을 추정하는 경우를 말하며, SGM의 패널티 값이 출력으로 나오거나⁽⁶⁾ 이미지의 유사도 값^(7,8) 통해 시차 맵을 계산하는 연구 등이 존재한다.

이미지의 전체를 신경망의 입력으로 사용하는 경우, 합성곱 신경망을 통해 두 이미지의 기하학적 상관관계를 통해 시차 맵을 계산한다. 일반적으로 합성곱 신경망을 통해 두 이미지의 특징을 추출하고 매칭 비용을 계산하여 encoder/decoder 구조를 통해 시차 맵을 추정한다. 이러한 방식의 연구의 경우 샴 네트워크(Siamese Network) 구조를 이용해 시차 맵을 추정하는 방식^(9,15)과 신경망의 입력으로 각각의 이미지가 들어가지만 신경망 중간에 두 개의 신경망이 더해져 하나의 시차 맵을 추정하는 방식⁽¹⁰⁾ 등이 존재한다.

위와 같이 스테레오 이미지를 이용하여 시차 맵을 추정하는 연구 이외에도 이미지 한 장으로 시차 맵을 추정하는 monocular vision 연구⁽¹¹⁾나 매칭 비용을 입력으로 시차 맵을 추정하는

그림 2 신경망 구조 (스테레오 이미지(1280x1280)를 입력받고, 각 이미지를 center crop하여 640x640 크기의 이미지가 신경망의 입력으로 들어간다. 신경망은 크게 3부분으로 나뉘며, (A)는 각 이미지에서 특징 맵을 추출하는 부분, (B)는 이를 합하여 매칭 비용을 계산하는 부분, (C)는 encoder-decoder구조로 고차원의 특징 맵을 추출하고 시차 맵을 추정하는 부분이다.)

Fig. 2 Neural Network Architecture (a stereo image (1280x1280) is input, and an image cut by 640x64 size based on the center of the image enters the input of the neural network. (B) is the part to calculate the matching cost by summing it, (C) is the part to extract the high-dimensional feature map and estimate the parallax map with the encoder-decoder structure.)

연구⁽¹²⁾ 등 시차 맵을 계산하는 다양한 연구가 진행되고 있다.

3. 본 론

3.2 전처리 과정

신경망 학습을 진행하기에 앞서 두 가지의 과정이 필요하다. 첫 번째로 각 이미지의 왜곡을 보정하고, 두 이미지 사이의 y축을 평행하게하기 위해 calibration 및 rectification을 하는 것과 준지도 학습 기반 신경망을 구성하기 위해 SGM을 이용해 유사 ground truth를 구성하는 것이다.

먼저 스테레오 비전은 두 이미지 사이의 화소 값을 기반으로 시차 값을 계산하기 때문에 두 이미지의 y축이 평행하다는 가정을 만족해야 한다. 그렇기 때문에 calibration과 rectification 과정을 거쳐야 한다. 이를 수행하게 되면 1440x1440의 원본 스테레오 이미지에서 1280x1280의 왜곡이 보정된 이미지를 얻을 수 있다.

또한 본 논문에서는 정확한 ground truth가 없기 때문에 유사 ground truth를 구성한다. 비지도 학습을 통해 신경망을 구성하면 보다 정확한 시차 맵을 만들 수 있지만 메모리 소비가 크며, 시차 맵을 정확하게 예측하는데 오랜 시간이 걸리기 때문에 위와 같은 방법을 고려하였다. SGM의 결과가 ground truth가 아닌 유사 ground truth라고 하는 것은 화소 기반 매칭 방식이기 때문에 술통형 왜곡(barrel distortion)이 크게 나타나는 이미지의 외각부분이나 low texture, repetitive texture, reflection이 나타나는 부분 등의 경우 시차 값의 불일치 값이 발생하기

그림 3 실험결과(맨 왼쪽부터 오른쪽 이미지, 왼쪽 이미지, SGM(유사 ground truth), 신경망 학습 결과이며, 두 스테레오 이미지의 크기는 각각 640x640이다.

Fig. 3 Experimental results (left to right image, left image, SGM (similar ground truth), neural network learning results, and the size of the two stereo images are 640x640 respectively)

때문이다. 약간의 불일치가 있는 시차 값이지만 유사 ground truth를 만들게 되면 학습 시 비지도 학습에 비해 시차 값을 빠르게 수렴할 수 있다는 장점이 있다. 따라서 본 논문에서는 유사 ground truth를 통해 시차 맵을 빠르게 수렴하고, 비지도 학습기반 손실함수를 도입해 유사 ground truth의 불일치 부분을 보정한다. SGM을 기반으로 만든 시차 맵의 값의 범위는 1~33이며, 이는 약 1.8m~58.5m 범위내의 객체와의 거리를 추정할 수 있게 한다.

3. 실험 결과

위와 같이 데이터를 수집하고, 신경망 학습을 한 결과는 그림 3과 같다. SGM으로 시차 맵을 만들었을 때와 비교하면 SGM에서는 추정할 수 없었던 폐색영역(occlusion)(그림 3의 노란색 부분)이 줄어들고, 시차 값이 불일치(그림 3의 초록색 부분)하는 영역 역시 줄어든 것을 확인할 수 있다. 또한 스테레오 이미지에서 색의 변화가 없는 부분(low texture)이나 반복적인 패턴(repetitive texture)이 있는 부분의 경우 SGM을 사용하면 그림 3의 아래 부분과 같이 격자무늬가 생기는 경우(그림 3의 파란색 부분)가 발생한다. 이는 SGM이 수식 1의 에너지 함수를 최소화 하는 과정에서 모든 방향에 대해(위, 아래, 양 옆, 대각선) 최적화를 수행하면서 생긴 불일치이다. 하지만 본 논문에서 제안한 신경망에서는 위와 같은 문제가 발생하지 않는다. 이는 컨볼루션으로 인해 smoothness constraint가 적용되어 좀 더 부드러운 시차 맵을 추정할 수 있었고, 무엇보다 유사 ground truth에만 의존해 학습하지 않고, 비지도 학습 기반 손실함수를 도입하여 유사 ground truth의 불일치된 시차 값을 보정했기 때문에 나온 결과이다.

4. 결 론

본 논문에서는 UAV환경에서 스테레오 비전과 딥러닝을 활용하여 시차 맵을 추정하는 방법에 대해 제안하였다. 기존 UAV기반 스테레오 데이터 셋은 스테레오 비전에 필요한 카메라 정보나 영상의 촬영 각도 등이 적합하지 않기 때문에 본 논문에서는 새로운 UAV 데이터 셋을 구성하여 신경망을 학습시켰다. 또한 원활한 학습을 위해 SGM⁽¹⁾을 이용하여 유사 ground truth를 만들어 준지도 학습을 수행하였다. 위와 같이 데이터 셋을 구성하고 준지도 학습 기반 신경망을 통해 시차 맵을 추정한 결과 기존 스테레오 알고리즘 보다 견고한 시차 맵을 추정할 수 있었다.

하지만 여전히 시차 값의 불일치가 존재하며, 연산 량이 크기 때문에 실시간 추정이 필요한 UAV에 적용하기에는 부적합한 부분이 존재한다. 향후에는 MobileNet⁽¹³⁾과 같이 신경망의 파라미터를 줄이고, 좀 더 견고한 시차 맵을 추정할 수 있는 알고리즘에 대해 연구를 할 예정이다.