2.1 실험 환경

본 실험의 실험환경은 약 2.7m*4.3m 환경에서 총 170개의 이미지 데이터를 이용하여 실험하였다. 기존의 Vardy 연구진이 획득한 이미지를 사용했으며, 이는 이미지는 모바일 로봇 (P3-DX)을 이용하여 획득하였다 ^[23]. 최초의 이미지는 640*480 해상도의 옴니 이미지를 720*120 크기의 파노라마 이미지로 변형하여 사용하게 된다. Haar-like Feature의 경우 그림 2의 첫 번째 두 번째와 같은 가장 간단한 모양을 사용하여 실험을 진행하였다.

2.2 Haar-like Featur를 이용한 시각내비게이션

본 논문에서는 가장 먼저 Haar-like Feature를 이용하여 랜드마크를 생성하고 이를 바탕으로 이미지 사이의 유사도를 판단하고 있는데, 귀소 내비게이션 HFLV (Haar-like Feature Landmark Vector)^[18]을 기반으로 학습 방법을 구현한다.

본 논문에서 사용되는 Haar-like Feature의 경우 동물의 시각 세포를 형태학적으로 모델링한 방법이고, 여러 가지 객체 탐지 알고리즘에서 사용되는 방법이다. 본 연구진은 이러한 Haar-like Feature를 이용하여 곤충의 생물학적인 특이성에 영감을 받아 간단하고 효과적인 시각 내비게이션을 구현한다.

본 논문에서는 두 개의 이미지의 신호의 차이를 분석하여 원하는 목적지와 얼마만큼 떨어져있는지 구분하는 스냅샷 모델을 활용하게 된다. 스냅샷 모델의 원리는 목적지가 되는 이미지와 현재 위치의 이미지가 적은 신호의 차이를 가지게 되면 비교적 가까운 거리에 있다고 판단하고, 이와 반대되는 경우는 이미지간의 거리가 멀리 떨어져 있다고 판단하는 방법이다 ^[20][24].

HFLV 알고리즘은 두 개의 파노라마 이미지의 선상에서 똑같은 위치에 Haar-like Feature를 배치시키고 두 이미지의 유사도를 측정하고 신호의 차이만큼 방향벡터를 생성하여 현재위치에서 목표지점의 방향을 추측하게 된다.

식(1) 과 같이 현재 이미지에서 계산된 값과 목표하는 지점(집) 이미지에서 계산된 값의 차이를 계산하고 이미지 상의 방향인 $\hat u_{j}$를 계산하여 목표 지점으로 가는 방향을 계산하게 된다. 위 식을 바탕으로 차이가 클수록 방향을 많이 움직이게되고 반대로 차이가 적을수록 방향을 유지하게 된다.

그림 2는 파노라마 형태의 이미지에 HF (Haar-like Feature)를 결합하는 방법의 모식도 이다. 목표지점 이미지와 현재 위치의 이미지에 각각 그림 3과 같이 HF를 적용하게 되는데, 이는 각각의 Haar-like Feature를 하나의 랜드마크로 이용하는 방법을 나타낸다.

본 연구진은 HFLV를 이용하여 집 이미지를 제외한 40개의 포지션에서 방향벡터를 추정하고 각도의 평균 에러값을 계산하여 평가하게 된다.

2.3 매칭 스코어

본 연구에서 우리는 Haar-like Features 와 각각의 이미지의 계산값을 매칭 스코어라 정의한다. 매칭 스코어는 Haar-like Feature의 모양과 해당 위치의 이미지의 상태에 따라 다른 값을 가지게 된다. 그림 3은 이미지와 Haar-like Features를 계산하는 방법의 모식도 이다.

그림 3과 같이 생성한 각각의 Haar-like Features와 Image 사이에 매칭 스코어 계산을 하여 미리 저장해 놓고 사용하게 된다. Haar-like Features가 목표 지점에서 의 매칭 스코어와 탐사를 나간 지역에서의 매칭 스코어가 분명 다를 것이다. 대부분의 매칭 스코어의 차이는 거리가 많이 떨어져 있게 되면 커지고 반대로 거리의 차이가 줄어들면 매칭 스코어의 차이가 줄어들 것이다. 본 연구진은 이러한 Haar-like Features의 특징을 이용하여 유사도를 판단하고 얼마나 움직여야 할지를 평가하게 된다. 여러개의 Haar-like Features를 사용할 때일수록 신뢰도가 높아져 가는 것을 추측할 수 있다.

3.1 여러 가지 형태의 매칭 스코어

본 논문에서 연구진은 여러 가지 형태의 매칭 스코어를 제시한다. 매칭 스코어를 형태별로 활용하는 이유는 매칭 스코어의 형태별 크기가 Haar-like features의 특징적인 수행능력을 가지기 때문이다. 매칭 스코어를 잘 활용하게 되면 적은 Haar-like features를 이용하여 높은 수행능력을 얻을 수 있다. 적은 개수의 Haar-like features를 이용하는 것은 연산 량을 줄여주는 것이므로 본 논문에서 제시하는 알고리즘에서 중요한 요소이다.

본 논문에서는 식(2)와 같이 3개의 매칭 스코어를 제시하게 된다. 첫 번째 매칭 스코어의 경우 목표 지점에서 Haar-like features의 매칭 스코어가 계산 되었을 때 생성되는 값의 크기이다. 두 번째 매칭 스코의 경우 하나의 Haar-like features 포지션별 매칭스코어와 목표지점의 매칭스코어의 차이를 크기로 나타내 누적된 값이다. 예를 들어 어떠한 한개의 Haar-like features 가 있고 포지션이 169개가 있다면 169개의 값이 생성될 것이고 이를 누적한 값을 나타낸다. 세 번째 매칭 스코어의 경우 두 번재와 유사한 형태이지만 절대 값을 취한 누적 형태를 나타내는데 이는 매칭스코어의 부호를 고려하지 않고 크기의 형태만 누적하는 것이다.

각각의 매칭스코어의 형태가 나타내는 의미가 있다. 첫 번째 매칭 스코어의 경우 목표지점(집)에서의 특징 점을 잘 찾아내는 Haar-like features를 찾아내기 위해 사용한다. 각각의 Haar-like features의 매칭 스코어1 형태를 고려하여 값을 비교하였을 때 가장 큰 값을 가지는 Haar-like Features는 집 이미지에서 랜드마크를 잘 나타내는 Haar-like Feature일 것이다. 매칭 스코어2 의 경우 이미지에 따라 생성되는 벡터가 달라질 것이다. 각각의 이미지 마다 Haar-like Features가 가지는 벡터에 따라 방향 결정이 되는데 부호를 인정하여 모든 이미지의 위치적인 특성을 고려하는 방법이다. 매칭 스코어3 의 경우 계산된 벡터값의 크기만 누적하는 형태이다. 이는 이미지의 위치의 특성을 고려하지 않고 Haar-like Features의 생성위치에 따른 매칭 스코어의 크기만을 고려하는 방법이다.

이후 실험에서는 이러한 여러 가지 형태의 Haar-like Features를 이용하여 다양한 실험을 진행하게 된다.

3.2 경사하강법을 이용한 학습

본 연구진은 머신러닝의 가장 간단한 알고리즘인 경사하강법을 이용하여 본 연구를 진행하였다. 경사하강법은 글로벌한 목표에 도달하기 위하여 에러를 피드백 받고 이를 방영하는 알고리즘으로서 본 연구에서는 HF 각각의 각도의 오차값을 피드백 하여 가장 이상적인 방향벡터를 도출해 낼 수 있는 Haar-like Feature를 만들게 된다 ^[25]. 식(2)는 가중치를 업데이트 하는 식이다. 본 식에서$Y_{P}^{e}$는 이상적인 추정값이고 $Y_{P}$는 HFLV를 통해 계산된 값이다. $Y_{P}^{e}$을 구하는 방법은 사전에 탐사가 이루어졌을 때 얻은 값인데 본 실험에서는 이상적인 에러를 가졌다고 가정한다. 이상적인 추정값과 계산값의 차이를 구하여 HF마다 피드백 하고 매번 해당 비율만큼 가중치를 업데이트하게 된다.

식(2)와 같은 업데이트를 통해 얻은 가중치를 HFLV 알고리즘에 적용하는 방법은 식(3)을 통해 알 수 있다. 식(3)을 보게 되면 이전에 HF를 통해 추정된 방향에 가중치를 곱하여 가장 이상적인 방향을 도출해 낼 수 있다. 가중치의 업데이트는 환경마다 다르지만 대부분의 실험에서는 일정 업데이트 횟수가 넘어가게 되면 경사하강법의 특성상 업데이트가 느려지게 된다. 본 논문에서는 모든 포지션의 각도에 평균 에러의 감소율이 포화상태에 이르게 될 때까지 업데이트를 진행한다. 본 연구진은 HFLV(Haar-like Feature Landmark Vector) 방법에 경사하강법을 적용하여 학습한 방법을 HFLV-GD(Haar-like Feature Landmark Vector - Gradient Descent)라고 정의하였다.

3.3 실험 결과

실험 결과를 평가하는 방법은 두 가지가 있다. 첫 번째 방법은 벡터맵을 이용하는 방법이다. 벡터맵을 이용하게 되면 각 포지션의 방향벡터를 직관적으로 볼 수 있게 된다.

두 번째 방법은 모든 포지션의 각도의 평균 에러값을 구하는 방법이다. 본 방법을 이용하게 되면 학습을 진행함에 따라 각도의 평균 에러의 감소율을 관찰 할 수 있다. 본 실험에서는 두 가지 방법을 전부 이용하여 평가 하였다.

그림 3은 목표(집) 이미지를 포함한 총 41개 포지션의 이미지 데이터를 이용하여 실험한 결과이다. 그림 4의 (a)는 HFLV (Haar-like Feature Landmark Vector)만 적용한 결과의 벡터맵이다. 벡터맵을 보게 되면 가장 가운데 빨간점은 목표 지점이고 로봇이 목표 지점(집)에서 부터 탐사를 시작하여 다른 포지션까지 닿은 뒤 다시 목표지점으로 돌아올 때 방향을 추정하여 귀소 할때 얼마나 정확하게 방향을 추정하는지 직관적으로 알 수 있다. 하지만 그림 4의 (a)의 경우 방향 추정에 있어서 Haar-like Feature만 사용하는 것은 어느 정도 오차가 포함되어 있는 것을 관찰 할 수 있다.

그림 4에 (b)는 HFLV(Haar-like Feature Landmark Vector)에 경사하강법을 적용한 알고리즘으로 벡터맵을 그렸다. (a)와 같이 빨간 지점이 목표지점이고 탐사를 시작해서 다시 돌아갈 때 방향을 추정하여 벡터맵을 그렸다.

HFLV로 구현한 (a)와 다르게 빨간 점으로 향하는 벡터들이 비교적 최단 거리로 이동하는 것을 볼 수 있다. 학습을 하기 이전과 학습을 하고 난 후의 결과의 뚜렷한 차이가 관찰 된다. 학습의 효용성이 뚜렷하게 나타나는 것을 벡터맵을 통해 알 수 있다.

그림 5는 학습이 진행됨에 따라 집을 제외한 40개의 포지션에 각도의 평균 에러를 나타낸 그래프이다. 처음 학습이 진행되었을 때부터 10000회 가량 반복 학습이 진행됨에 따라 AE(Angular Error)가 낮아지는 것을 볼 수 있다. 최종적으로 학습이 성공적으로 진행되어 1도 미만의 에러를 가지는 결과를 얻었다.

실험을 통해 본 연구진은 Haar-like Feature만 이용하여 구현한 시각 내비게이션 보다 간단한 머신러닝 알고리즘을 적용하여 학습시킨 Haar-like Feature를 사용한 시각 내비게이션이 더 높은 수행능력을 가진다는 것을 관찰 할 수 있다.

3.4 매칭 스코어의 내림차순 정리

본 논문에서는 다양한 형태의 매칭 스코어를 활용하는 방법으로 내림차순 정리를 사용하게 된다. 내림차순 정리의 경우 해당 형태에서 가장 큰 값을 가지는 Haar-like Features를 뽑기 위해서이다. 식(2)에서 제시한 매칭 스코어를 내림차순 정리하여 크기에 따라 새롭게 마스크를 선별하게 된다. 그림 6은 내림차순 정리를 통해 선별된 Haar-like Features를 이용하여 목표 위치(집) 에서의 이미자와 현재 위치에서의 이미지에서 새롭게 매칭스코어를 계산하고 방향결정을 하게 된다. 그림 6을 보게 되면 선별된 Haar-like Features를 통해 다시 방향 결정을 위한 계산을 하는 것을 나타낸다.

그림 6과 같이 새롭게 선별된 Haar-like Features의 방향결이 어느 정도의 수행능력을 나타내는지에 대해서 새롭게 평가한다.

그림 7은 3개의 매칭 스코어의 형태로 새롭게 선별된 마스크의 수행능력 그래프이다. 검은색의 원의 경우 학습을 하기 전의 수행능력이고 청록색의 경우 학습을 하고난 후의 수행능력을 각각 나타내는데 본 실험 결과에서 3개의 타입에 각각의 매칭 스코어에 수행능력의 미세한 차이를 볼 수 있다.

본 그래프의 x축의 경우 Haar-like Features 의 개수인데, 학습을 하지 않은 경우에는 적은 Haar-like Features를 사용하여도 최종 수행능력의 포화지점보다 더 낮은 평균 오차를 가지는 경우가 있다. 이는 매칭 스코어3 의 형태에서 내림차순으로 선별된 20개의 Haar-like Features를 사용할 때가 100개의 마스크를 사용할 때 보다 더 나은 수행능력을 가질 수 있다는 결과를 나타낸다. 매칭스코어의 형태를 잘 활용하게 되면 더 적은 개수의 Haar-like Features를 사용하여 연산량을 줄이고 더 좋은 수행능력을 나타낼 수 있다는 가능성을 제시하는 결과 이다.

우리는 위에서 언급한 것과 같이 업데이트된 가중치와 매칭스코어의 관계를 파악하여 마스크의 특징을 찾아내기 위하여 그림 8과 같은 그래프를 그렸다. 그림 8의 가운데 빨간점은 가중치와 매칭스코어의 평균점이다. 그림 8은 매칭스코어의 형태별 분포도가 다른 것을 관찰 할 수 있다. 우리는 가중치와 매칭 스코어 각각의 평균값보다 높은 HF를 선별하여 수행능력을 비교하였다.

그림 9는 매칭 스코어가 평균보다 높은 Haar-like Feature를 선별하였다. 가장 좋은 수행능력은 나타내는 벡터 맵은 매칭 스코어3을 사용했을 때의 결과이다. 학습된 가중치를 가지고 있을 때 매칭 스코어만으로 판단을 하게 되면 매칭 스코어3 의 형태의 스코어를 통해 분별력있는 좋은 Haar-like Features를 선별할 수 있었다.

그림 10은 평균 가중치보다 높은 HF를 선별하여 각 매칭스코어의 형태 마다 벡터맵을 그렸다. 가중치를 이용하여 HF를 선별하게 되면 매칭 스코어의 형태와 상관없이 좋은 수행능력을 가진 Haar-like Features를 선별할 수 있었다. 본 결과를 통해 가중치로 선별된 Haar-like Features 가 매칭 스코어의 형태와 상관없이 강인한 Haar-like Feature를 선별하는 것을 관찰하였다.

표 1을 보게 되면 각 실험의 결과가 기록되어 있다. Angular Error deg의 경우 모든 포지션의 각도의 에러를 합산한 값의 평균이다. HFLV-GD를 적용하고 모든 HF를 사용하였을 때 Angular Error deg가 1.92도 정도로 낮게 나왔다. 선별된 HF로

적은 개수를 사용할 때도 낮은 에러의 수행능력을 얻을 수 있었다. 특히 평균 가중치 값이 높은 HF를 모아서 실험해본 결과 8.76도 라는 값이 나왔는데 이는 44개를 사용하여 연산량을 줄였음에도 불구하고 좋은 수행능력을 나타낸다. 이처럼 특정 값을 기준으로 내림차순 하여 Haar-like Features를 선별할 때 적은 숫자의 Haar-like Features를 이용하여 이상적인 결과 값을 가질 수 있었다. 이는 연산량을 줄일 수 있고 Haar-like Features의 특성을 파악하는 것에 도움이 된다.

그림 11 여러 가지 특성별 내림차순 정리를 통해 마스크를 선별하고 수행능력을 나타내는 그래프 이다. Harr-like Features를 학습한 이후 각각의 Harr-like Features가 가지고 있는 특성 값을 내림차순 정리를 통해 선별 하였고 선별한 개수별로 적용하였을 때 수행능력 그래프를 마스크의 매칭 스코어의 형태별로 정리하였다. 가장 주목해야할 부분은 각 그래프의 마젠다 색의 그래프와 연두색 그래프이다. 두 색의 그래프는 전부 특성값에 가중치가 포함되어있었다. 위의 결과와 같이 학습된이 후가중치가 포하여 고려하고 이를 통해 HF를 선별하게 된다면 연산량이 줄었지만 강인한 Haa-like Features를 구할 수 있다.

3.5 다양한 환경에서 학습

Vardy의 데이터셋은 가장 기본적인 환경인 ‘a1original’ 환경 이외에 여러 가지 상황의 환경이 있다. 첫 번째로 환경 중앙부에 나무가 있는 'Arboreal' 환경, 장애물을 통해 폐색 공간을 만드는 ‘Screen’ 환경 그리고 낮은 해상도의 환경인 ‘hall’ 환경이 있다. 우리는 여러 환경에서도 학습이 알고리즘이 잘 작동하는지 확인하였다.

그림 12의 경우 중앙에 나무 위성이 있는 ‘Arboreal‘ 환경이다. 나무 위성에 의해 폐색 지점이 생기고 처음 알고리즘을 적용하였을때 나무에 가려져 있는 부분은 폐색 환경이므로 제대로 방향결정을 하지 못했다. 하지만 학습이후에 낮은 Angular Error로 좋은 수행능력을 보였다.

그림 13은 스크린으로 목표지점의 왼쪽 부분이 가려져있는 환경이다. 그림 13의 (a)를 보게 되면 스크린이 놓여 있는 왼쪽 부근에서 방향결정을 제대로 하지 못하였다 하지만 학습을 진행한 후인 그림 13의 (b)를 보게되면 방향결정을 잘하는 것을 볼 수 있다.

그림 14 는 빛이 적어서 낮은 해상도의 이미지 데이터를 수집한 'Hall' 환경이다. 그림 14 (a)는 낮은 해상도로 인해 정확도가 떨어지는 것을 볼 수 있다. 하지만 학습을 진행한 그림 14 (b)는 정확도가 높은 것을 볼 수 있다. 이처럼 여러 가지 제한 사항이 있는 환경에서도 본 알고리즘이 정상적으로 작동하는 것을 볼 수 있었다. 또한 본 알고리즘을 학습하기 이전과 학습한 이후에 차이를 비교해 볼 수 있는데 특히 폐색 환경에서는 가려져있는 공간이어서 이미지에 폐색 부분이 생겨도 학습을 통해 극복한 것을 볼 수 있다.

표 2는 여러 가지 환경에서 수행능력을 보여준다. HFLV을 이용하여 각도를 추측하면 높은 에러를 가지게 되는데 학습을 통해 환경에 상관없이 극복하는 것을 볼 수 있다. 이를 통해 본 연구에서는 다양한 방법으로 알고리즘을 평가하였고 여러 가지 환경에서도 문제없이 강인한 알고리즘을 제시하였다.