1. 서 론

인공지능의 발전으로 인해 다양한 분야에서 이미지, 음성, 텍스트와 같은 데이터의 활용 능력이 비약적으로 향상되었다. 이로 인해 로봇 산업의 전반에 걸쳐 인공지능을 활용하여 로봇의 효율성과 정확성을 높이기 위한 연구가 활발하게 진행되고 있다^(1-2). 최근에는 카메라만 장착된 자율주행 로봇이 다양한 분야 및 환경에서 활용되고 있다. 인공지능을 활용한 로봇은 주행 환경의 정보를 얻기 위한 별도의 센서 없이 로봇에 부착된 카메라로 인식된 시각 정보를 기반으로 다양한 환경에서 자율주행을 실현하고 있다. 또한 인공지능 로봇은 실내 환경에서 출발 지점부터 경유지를 포함하여 최종 목적지까지의 경로를 기계학습, 딥러닝(Deep learning) 등의 인공 신경망을 통해 얻을 수 있다.

최근 인공지능을 기반으로 로봇이 스스로 주변 상황을 파악하여 장애물을 회피하며 최적의 이동 경로를 찾아 주행하는 방식에 대한 연구가 활발하다^(3-6). 이러한 방식은 자율주행을 위한 유도선 등의 가이드라인 설치가 불필요하고 주변 상황의 변화에도 자율주행 로봇 시스템의 큰 수정 없이 유연한 대처가 가능하다⁽⁴⁾.

인공지능의 대표적인 기술인 기계학습은 크게 지도 학습, 비지도 학습 그리고 강화학습 등이 있고 최근에는 서로 혼합하여 사용되고 있다⁽⁷⁾. 지도학습은 정답이 되는 데이터에 대한 레이블(Label)을 이용하여 원하는 결과를 도출시키는 모델을 만든 후 이 모델을 실제 적용하면서 오차를 줄여나가 설계한 모델이 최적화되도록 하는 알고리즘이다. 지도학습에는 선형회귀, 서포트 벡터 머신(Support Vector Machine), 딥러닝(Deep learning) 등이 있는데 그 중에서 자체 신경망을 통해 예측의 정확성 여부를 스스로 판단할 수 있는 딥러닝 기법이 주목받고 있다⁽⁶⁾. 비지도 학습은 정답 레이블이 없는 데이터를 비슷한 특징끼리 군집화하는 작업을 통해 데이터 속의 패턴을 찾고 그 의미를 추론하는 기법이다. 이 기법은 지도학습과는 달리 데이터에 정답 레이블이 없기 때문에 데이터 속에 어떤 정보가 숨겨져 있는지 정확히 모르는 경우에 사용된다. 강화학습은 사용자가 정답 레이블이 있는 데이터를 모델에 학습시킨 지도학습과는 달리, 데이터에 대한 정답이 정해져 있지 않고, 단지 모델이 한 행동에 대한 보상을 통해 행동을 강화하도록 학습시킨다^(6-8).

기계학습 등의 인공신경망을 이용한 자율 주행 로봇은 주행 환경의 객체 검출을 통해 위치를 인식하고 주행 방향을 결정한다. 실제로 이는 매우 많은 시간과 비용, 그리고 전문 인력이 필요하다. 로봇이 객체를 분류하거나 인식하기 위해서는 먼저 충분한 학습이 필요하다. 자율주행 로봇을 위한 인공신경망을 구축하기 위해서는 최적의 학습 모델을 설계하고, 설계된 모델을 학습시키기 위한 충분한 학습 데이터가 필요하다. 학습 모델이 부적합하거나 학습 데이터가 부족한 경우에는 인공신경망 모델의 학습이 완료된 후에 분류가 부정확하거나 인식률이 떨어진다. 이처럼 실내 이동로봇의 자율주행을 위해 인공지능을 도입하려는 연구가 많이 시도되고 있지만 아직까지도 다양한 주행 환경에 적용할 수 있는 인공지능의 구현은 어려운 실정이다.

본 논문에서는 실내 공간 바닥 면의 격자무늬 정보를 이용하여 위치를 인식하고 주행 방향을 결정하는 방법을 제안한다. 또한 심층신경망을 이용해 학습된 광학문자인식 모델을 활용하여 로봇이 실내 공간에 설치된 안내 표지판의 문자 정보를 인식함으로써 현재 위치를 인식하고 목적지까지 경로를 계획하여 자율주행 하는 방법을 제안한다. 이와 같은 로봇의 실내 주행 방법은 기존의 이동 로봇 가이드 시스템이 갖고 있는 단점을 극복하면서도 장점을 최대한 활용할 수 있다. 특히 비전 센서의 정보만으로 이동 로봇의 위치 인식과 주행 제어가 가능하게 하므로 기존의 방법에 비해 간단하고 경제적이다. 또한 레이저 시스템과 SLAM을 적용한 실내 이동 로봇 시스템의 장점인 확장성과 유연성을 확보하면서도 더 우수한 위치 인식 정확도를 보장할 수 있다.

2. 격자무늬 추적 자율주행 로봇

참고문헌 ⁽⁹⁾에서는 인간의 시각 지능을 모방하여 실내 공간의 바닥면에 설치된 타일 정보를 분석해 위치를 인식하는 방법을 제안하였다⁽⁹⁾. 참고문헌 ⁽⁹⁾에서 제안한 타일 격자무늬 추적 자율주행 로봇은 바닥에 타일이 설치된 공간에서 로봇에 장착된 카메라를 통해 획득한 타일의 격자무늬 정보로부터 로봇의 위치 인식과 주행 제어를 위한 정보를 추출한다.

격자무늬 추적 자율주행 로봇은 카메라를 통해 획득한 영상을 이미지 전처리 과정을 거쳐 노이즈를 제거하고 이진화(Binarization)한다. 이진화된 이미지에서 원근 요소를 제거한 후 에지(Edge) 검출 알고리즘과 선 검출 알고리즘을 이용해 타일 격자무늬의 직선을 검출하여 이동 로봇의 위치 인식과 주행 제어에 필요한 가이드라인(Guideline)을 추출한다.

그림 1은 격자무늬 추적 자율주행 로봇의 주행 방향 제어를 위한 방법을 설명하기 위한 그래프이다. 로봇의 주행 시작점에서 획득한 수평 가이드라인과 수직 가이드라인을 초기 가이드라인(Initial Guideline)이라 하고, 로봇이 주행을 시작한 후에 획득한 수평 가이드라인과 수직 가이드라인을 주행시간 가이드라인(Runtime Guideline)이라 정한다.

그림 1에서 ‘$O$’는 로봇의 주행 시작점에서 획득한 타일 영상의 수평 가이드라인과 수직 가이드라인의 교차점이다. 이 교차점을 원점이라 한다. 주행 시작 후 획득한 이미지로부터 추출된 수평 가이드라인과 수직 가이드라인이 원점을 지나는 수평선과 만나는 점을 $X_{h}$와 $X_{v}$라고 한다.

임의의 시간에 수평 가이드라인과 원점을 지나는 수평선이 이루는 각을 $\theta(t)$, 수직 가이드라인과 원점을 지나는 수평선의 교점 $X_{v}$와 원점까지의 거리를 $d(t)$라 하면, 로봇의 초기 위치와 현 위치 사이의 차이 $e(t)$를 식 (1)과 같이 정의할 수 있다. 식 (1)에서 가중값은 경험치로 구할 수 있다.

식 (1)을 이미지의 특정 프레임에 대해 계산하기 위해 이산식으로 바꾸면 식 (2)가 되며, 주행 로봇이 바닥 타일을 따라 직선 주행을 하기 위한 조건식은 식 (3)과 같다.

주행 로봇의 초기 구동 시 좌우 모터를 구동하기 위한 PWM(Pulse Width Modulation) 듀티비(Duty ratio)는 동일하다. 주행 로봇이 직선 주행을 하기 위해서는 $e[n]$이 0보다 크면 좌측 모터의 RPM을 고정하고 PID 제어 알고리즘에 따라 우측 모터의 RPM을 제어한다. $e[n]$이 0보다 작으면 그 반대 방법으로 제어를 수행한다.

3. 문자 기반 격자 지도

본 논문에서는 타일 격자무늬 추적 자율주행 로봇을 위한 행렬식을 이용한 문자 기반의 격자 지도를 제안한다. 그림 2는 타일이 설치된 바닥면을 여러 개의 지역으로 나눈 그림이다.

주행 가능한 전체 공간은 $m\times n$개의 지역으로 나뉘어져 있다. 이와 같은 구조는 행렬식을 이용하여 식 (4)로 표현하고 $A$는 구역(Area)으로 정의 한다.

각 지역은 동일한 개수와 모양을 갖는 타일의 집합으로 이루어져 있고 이는 그림 3과 같은 격자 구조를 갖는다. 이를 행렬식으로 표현하면 식 (5)와 같다.

위 식의 $Z_{xy}$는 지역(Zone)으로 정의한다.

$A$는 $m\times n$행렬, $Z$는 $p\times q$행렬이므로, 주행 공간에 설치된 타일의 전체 개수는 $m\times n\times p\times q$가 되며, 각 지역 행렬 $Z_{xy}$는 구역 행렬 $Z$의 원소이다.

$Z$를 구성하는 각각의 원소는 그리드(Grid)라 하고, 이는 설치된 타일 1개를 의미한다.

격자 지도를 구성하는 행렬에서 주행 가능 여부에 따라 행렬의 각 원소의 값은 다음 식 (6)과 같이 정한다.

타일 격자무늬 추적 이동 로봇의 주행 계획과 주행 경로 작성을 위한 격자 지도는 문자 기반의 경로 탐색이 가능하다. 이는 문자 기반 경로 탐색을 위한 행렬을 정의함으로써 가능하게 된다. 식 (7)은 원소 값이 문자열 값인 타일 격자무늬 추적 이동 로봇을 위한 행렬식이다. 식 (7)에서 $S$는 $m\times n$행렬이며, 식 (4)의 행렬 $A$의 크기와 같다.

식 (7)에서 행렬 $S$의 각 요소 값 $s_{xy}$는 유니코드 문자열 값이다.

식 (8)은 격자 지도의 구역 행렬의 크기가 $m\times n$인 주행 공간에서 특정 지역을 유니코드 문자열로 지정한 문자열 행렬 지도의 예이다.

식 (8)에서 $s_{22}=실험실$, $s_{mn}=강의실$이고, 행렬 $S$에서 문자열 값이 없는 나머지 원소의 값은 ‘null’이다.

그림 4에서 이동 로봇의 현 위치는 실험실이고, 목적지가 강의실 이라면 실험실은 $s_{22}$, 강의실은 $s_{mn}$이므로, 격자 지도에서 로봇의 현 위치와 목적지는 문자 행렬의 행과 열 번호 같은 $A$행렬의 원소 $a_{22}$와 $a_{mn}$이고 이동 로봇의 주행 경로는 식 (9)와 같다.

식 (9)에서 ‘⇒’ 기호 는 직선 주행을 의미하고, ‘↴’기호는 정지 위치에서의 회전을 의미한다.

그림 4의 예시에서 식 (9)와 같이 타일 격자무늬 추적 이동 로봇을 위한 문자 행렬 지도를 작성함으로써, 이동 로봇의 현 위치와 주행 경로, 목적지 등의 정보를 로봇과 인간이 문자 정보로 공유할 수 있다.

4. 격자무늬 추적 자율주행 로봇의 문자인식

우리가 거주하고 이용하는 실내 공간에는 이용자들의 편의를 위해 층 정보, 호실 명칭, 보행 유도 표시 등의 다양한 정보 안내 표시물이 설치되어있다. 인간은 이 시각정보(문자/기호 정보)를 이용하여 자신의 현재 위치를 파악하고 목적지를 찾아갈 수 있다. 본 연구에서는 이러한 인간의 시각 지능을 모방하여 격자무늬 추적 자율주행 로봇이 주행 중 문자 이미지 객체를 인식하고 이미지 객체로부터 문자를 인식하여 현재의 위치를 파악하고 목적지까지의 경로를 계획하여 자율주행 할 수 있는 방법을 제안한다. 주행 중 촬영된 이미지 내의 문자 영역을 인식하기 위해서는 컴퓨터 비전 알고리즘을 활용하고 인식된 문자 이미지 영역 내의 문자 인식을 위해서는 훈련된 딥러닝(Deep Learning) 모델을 활용한다^(10-12).

5. 실험 결과

격자무늬 추적 자율주행 로봇에는 두 개의 카메라가 장착되어 있다. 그 중 1개의 카메라는 로봇의 전면에 부착되어 있고 타일 영상을 획득하는데 사용된다. 다른 한 개는 로봇의 측면에 부착되어 있으며 문자 안내판이 설치된 벽면의 영상을 획득하기 위해 사용된다. 격자무늬 추적 자율주행 로봇이 격자 지도 정보를 저장하고 있지만 주행 공간에 대한 완전한 문자열 행렬 지도를 포함하고 있지 않을 때, 그리고 로봇이 주행 공간에서 현 위치 정보를 알 수 없을 때, 문자 인식을 이용해 현 위치 정보를 갱신하고 미리 작성된 경로를 주행하면서 문자를 인식하여 목적지를 찾는 문자 인식 기반의 경로 주행 실험을 수행하였다.

문자 인식 기반 경로 주행 실험에서 로봇의 초기 구동 시, 현 위치를 모를 경우에는 주행 경로에 장애물이 없고 바닥면에 타일이 설치된 주행 가능한 구역에서 전진 및 후진 주행 후 안내 표지판 문자 인식 결과에 따라 문자 행렬에 현 위치 정보를 갱신한다. 이후 갱신된 현 위치를 기준으로 시작점까지의 경로를 계획하고 시작점 위치까지 주행한다. 시작점에 도착한 이후에는 약속된 경로를 주행하며 안내 표지판 문자 인식 결과에 따라 문자 행렬을 작성한다.

실험을 위한 주행 구역은 그림 10과 같이 격자 지도로 표현 가능하며, 로봇의 현 위치 인식 전의 주행 구역을 행렬식 $A$로 나타내면 식 (12)와 같다. 이때 초기 문자 행렬 지도 $S$는 식 (13)과 같다. 격자무늬 추적 자율주행 로봇은 로봇의 현 위치 인식 후 미리 지정한 경로를 주행하도록 프로그램되어 있다.

$n=$null

격자무늬 추적 이동 로봇은 문자 인식을 통해 현 위치를 인식한 후 시작점까지의 경로 계획을 작성하고 경로 주행을 통해 시작점에 도착한 이후부터 미리 프로그래밍된 경로를 주행한다. 이때 측면 카메라를 통해 안내 표지판의 문자를 인식하면 문자 행렬 지도를 갱신한다. 약속된 경로의 주행을 종료하면 타일 격자무늬 추적 자율주행 로봇은 문자 행렬 지도를 완성하게 된다.

식 (14)는 격자무늬 추적 자율주행 로봇이 측면 카메라를 통해 얻은 이미지로부터 컴퓨터 비전 알고리즘과 테서렉트 OCR 엔진을 활용한 안내 표지판 문자인식 알고리즘을 이용해 약속된 주행 경로를 1회 주행하면서 인식한 문자 정보와 행렬 지도를 바탕으로 작성된 문자 행렬 지도이다.

$n=$null

문자인식을 이용한 격자무늬 추적 자율주행 로봇의 성능을 평가하기 위해 지능형 로봇 표준 포럼의 KOROS 1079-1:2013 ‘이동로봇 위치인식 성능 평가 - 제1부 : 실내 복도 공간’ 성능 평가 방법을 준용하여 실험을 수행하였다. 실험 환경은 바닥에 타일이 설치된 실내 공간이며, 실험 공간의 천장과 벽면에는 다수의 조명과 투명창이 설치되어 있다.

표 4는 격자무늬 추적 자율주행 로봇의 주행 성능 평가를 위한 실험 조건 및 환경이다.

표 5는 실내 안내 표지판 문자 인식을 이용한 자율주행 실험 절차를 정리한 표이다.

표 6은 문자 인식과 문자 행렬 지도를 이용한 타일 격자무늬 추적 로봇의 자율주행 실험을 20회 반복 수행한 결과를 요약하여 보여준다. 수행된 실험에서 로봇의 총 주행 거리는 691[m]이고, 총 주행 시간은 2,408[sec]이며, KOROS 1079-1:2013을 준용한 위치 인식 성능 정확도는 0.027[m]이다.

총 20회 반복 수행한 격자무늬 추적 자율주행 로봇의 문자 인식 기반 자율주행 실험 결과를 통해 격자무늬 추적 자율주행 로봇이 주행 공간에서 현 위치 정보를 인식하지 못한 경우에 문자 인식을 이용해 현 위치 정보를 갱신하고 문자열 행렬 지도를 생성하여 목적지까지의 주행 경로를 작성하고 경로 이탈 없이 주행할 수 있음을 확인하였다. 이와 같은 실험 결과는 격자무늬 추적 자율주행 로봇의 높은 위치 인식 성능과 확장성을 보여주며 나아가 SLAM 기능을 추가할 수 있는 가능성을 보여준다.

M. Filipenko 등은 2018년 IS 국제 학술대회에서 발표한 ‘Comparison of Various SLAM Systems for Mobile Robot in an Indoor Environment’ 연구에서 실내 환경에서 자율주행이 가능한 이동 로봇에 적용된 다양한 SLAM 시스템을 비교하였다. M. Filipenko 등의 연구에 따르면 이동 로봇에 SLAM 시스템을 적용한 경우에 일부 SLAM 시스템은 상당히 높은 위치 인식 정확도를 보여주지만 주행 공간이나 환경 변화시 위치 인식 정확도가 감소해 자율주행의 신뢰성을 확보할 수 없으며 대부분의 SLAM 적용 자율주행 로봇의 위치 인식 정확도는 여전히 많은 오차를 포함하고 있다⁽¹⁶⁾.

표 7은 레이져 시스템에 다양한 SLAM 방식을 적용한 실내 자율주행 로봇 시스템과 문자 인식 기반 격자무늬 추적 자율주행 로봇 시스템의 성능을 비교한 표이다. 문자 행렬 지도와 문자 인식을 이용한 격자무늬 추적 자율주행 로봇 시스템은 Cartographer SLAM 방식과 유사한 위치 인식 정밀도를 갖는다. 하지만 Cartographer SLAM을 제외한 다른 SLAM 방식에 비해서는 상당히 높은 위치 인식 정밀도를 갖고 있다.

격자무늬 추적 자율주행 로봇은 SLAM 방식에 비해 시스템 구성이 단순하며 복잡하지 않기 때문에 도입 비용 면에서 상당한 장점을 갖는다. 또한 문자 인식과 문자 행렬 지도를 기반으로 한 격자무늬 추적 자율주행 로봇은 사용자 인터페이스 측면에서도 SLAM 방식에 비해 높은 편의성을 제공할 수 있다.

6. 결 론

격자무늬 추적 자율주행 로봇에는 두 개의 카메라가 장착되어 있다. 그 중 1개의 카메라는 로봇의 전면에 부착되어 있고 타일 영상을 획득하는데 사용된다. 다른 한 개는 로봇의 측면에 부착되어 있으며 문자 안내판이 설치된 벽면의 영상을 획득하기 위해 사용된다. 본 논문에서는 격자무늬 추적 자율주행 로봇이 격자 지도 정보를 저장하고 있지만 주행 공간에 대한 완전한 문자열 행렬 지도를 포함하고 있지 않을 때, 그리고 로봇이 주행 공간에서 현 위치 정보를 알 수 없을 때, 문자 인식을 이용해 현 위치 정보를 갱신하고 미리 작성된 경로를 주행하면서 문자를 인식하여 목적지를 찾는 문자 인식 기반의 경로 주행 방법을 제안하였다. 이와 같은 자율주행 방법은 로봇을 사용하는 이용자에게 문자열 기반의 직관적 인터페이스를 제공할 수 있으므로 로봇 운용의 효율성을 높일 수 있으며, 향후 격자무늬 추적 자율주행 로봇에 SLAM 기능을 추가할 수 있는 가능성을 보여준다.

격자무늬 추적 자율주행 로봇은 주행 경로 작성과 자율주행 성능에서 매우 많은 장점을 갖고 있으며 기존의 다른 유⸱무선 가이드 시스템 비해 높은 확장성과 유연성을 갖고 있다.

그림 11은 실내 이동 로봇을 위한 문자 인식과 문자 행렬 지도 기반의 격자무늬 추적 시스템과 기존의 대표적인 4가지 유⸱무선 가이드 시스템의 장⸱단점을 비교한 그래프이다.

문자 인식과 문자 행렬 지도 기반의 격자무늬 추적 자율주행 로봇은 위치인식 성능 정확도가 매우 높아서 레이저 시스템의 단점인 경로 이탈 문제가 발생하지 않는다. 또한 별도의 시공이나 장치의 추가 없이 비전 센서의 정보만으로 이동 로봇의 위치 인식과 주행 제어를 가능하게 하므로 기존의 방법에 비해 간단하고 경제적이다. 본 논문에서는 격자무늬 추적과 문자 행렬 지도를 혼합한 문자 인식 기반 자율주행 로봇이 효율성, 유연성, 확장 용이성 측면에서도 우수함을 실험을 통해 증명하였다.

문자 인식과 문자 행렬 지도를 이용한 격자무늬 추적 로봇의 자율주행 방법은 이동 로봇과 다른 디바이스들이 위치 정보를 문자로 공유할 수 있기 때문에 타 장치와의 인터페이스가 편리하며 문자를 이용한 목적지 및 주행 경로 설정 등의 유용한 사용자 인터페이스를 추가할 수 있다. 향후에는 기계학습, 딥러닝 등의 인공신경망을 활용해 자율주행 로봇이 주행 환경에 있는 다양한 객체를 인식하여 자율주행 로봇 사용자를 위한 다양한 인터페이스를 제공할 수 있는 방법과 문자 행렬 지도를 이용한 격자무늬 추적 자율주행 성능을 더욱 높일 수 있는 방법을 추가적으로 연구할 계획이다.