2.1 이동 로봇 시스템 구성

그림 2는 본 논문에서 구현한 실내 자율주행 로봇 시스템의 기능 블록도이다. 제어부는 Microchip사의 PIC16F884기반 임베디드 보드를 사용하였다. 영상 촬영과 컴퓨터 비전 알고리즘 처리, 그리고 로봇의 주행 제어를 위해 노트북을 사용하였으며, 이동 로봇의 실시간 주행 모니터링과 원격 제어를 위해 별도의 PC를 사용하였다.

2.2 이동 로봇 시스템 제어기 설계

이동 로봇 시스템 제어기의 하드웨어 구성은 그림 3과 같다. CPU는 Microchip사의 PIC16F884 8bit 마이크로컨트롤러를 사용하였다. 로봇을 구동하기 위한 모터는 2개의 In-Wheel BLDC 모터를 사용하였다. 장애물 감지를 위하여 전방과 후방에 각각 1개의 초음파 센서를 사용하였으며, 영상획득을 위하여 노트북과 웹캠(Webcam)을 사용하였다. 획득한 영상은 위치 추정 알고리즘을 이용해 이동 로봇의 현 위치를 추정하는데 사용되고, 계산된 현 위치는 주행 제어 알고리즘을 이용하여 CPU에 차동 주행 신호를 전송하기 위해 사용된다. 이를 통해 실내 자율주행 로봇의 주행 방향과 속도를 제어할 수 있다.

3.1 가이드라인 추출을 위한 이미지 전처리

이동 로봇의 현재 위치와 진행 방향의 주행 정보를 획득하기 위해서 바닥 타일의 영상으로부터 가이드라인(Guideline)을 추출한다. 그림 4는 카메라를 통해 획득한 바닥 타일의 원본 이미지이다.

그림 5는 바닥 타일 원본 영상으로부터 타일의 격자무늬 정보를 얻고 이를 통해 가이드라인을 추출하기 위한 이미지 전처리 과정을 보여주는 순서도이다.

3.2부터 3.6까지는 이동 로봇의 위치 인식과 주행 제어에 사용될 가이드라인 추출을 위한 이미지 전처리 과정을 상세히 설명한다.

3.2 노이즈 제거

카메라로부터 받아진 영상은 조명 등의 영향으로 인하여 많은 노이즈를 포함하고 있다. 흐림효과(Blurring)와 모폴로지(Morphology) 연산을 이용하여 영상에 포함된 노이즈를 최소화 한다⁽⁸⁾. 그림 6은 카메라를 통해 획득한 원본 타일 이미지(그림 4의 floor_1)에 가우시안 흐림 효과(Gaussian blur)와 히트미스 모폴로지(Hit-or-miss morphology) 연산을 적용하여 원본 영상으로부터 노이즈를 제거한 이미지이다.

3.3 이진화

전처리 과정을 통해 노이즈를 축소한 이미지를 그레이스케일(Grayscale)로 변환한 후 처리 속도 향상과 잔여 노이즈 제거를 위해 이진화(Binarization)를 수행한다.

본 논문에서는 모폴로지 연산 수행 후 이미지에 남아있는 잔여 노이즈 제거를 위해 가중평균(Weighted average) 적응형 임계값(Adaptive threshold) 이진화 알고리즘을 사용하였다. 가중평균 적응형 이진화 알고리즘은 각 픽셀(Pixel) 주변의 (Block size) × (Block size) 영역에 대한 가중평균을 계산한다. 이후 가중평균에서 상수(Constant)를 감산한 값을 계산해서 픽셀마다 적응형 임계값을 설정한다. 각 픽셀에 적용된 적응형 임계값에 따라 임계값 보다 낮은 픽셀값은 0으로 변경하고, 임계값 보다 높은 픽셀값은 최댓값으로 변경한다. 그림 7은 적응형 이진화 알고리즘를 적용해 그림 6의 그레이스케일 이미지를 백색과 검정색의 이진 이미지로 변경한 결과이다.

3.4 원근 적용

카메라를 통해 획득한 이미지는 촬영 각도에 따라 일정한 원근 성분을 포함하고 있다. 이는 오류 요소가 될 수 있다. 원근 성분에 의한 오류 요소를 제거하기 위해 획득된 이미지에 투시 변환(Perspective transform)을 적용한다. 투시 변환은 아홉 개의 원소를 갖는 3×3 행렬을 사용한다. 투시 변환을 표현하는 행렬을 $M_{P}$라고 하면, 입력 영상의 픽셀 좌표 $(x,\:y)$가 행렬 $M_{P}$에 의해 이동하는 결과 영상 픽셀 좌표 $(x',\:y')$는 다음 식 (1)과 같다.

식 (1)에서 $\alpha$는 결과 영상의 좌표를 표현할 때 사용되는 비례 상수이며 식 (2)와 같다. 그러므로 $M_{P}$에 의해 이동하는 결과 영상 픽셀 좌표의 $x'$과 $y'$은 식 (3), 식 (4)와 같다.

이때 행렬 $M_{P}$는 입력 영상에서 네 점의 좌표와 이 점들이 이동한 결과 영상의 좌표 네 개를 이용하여 계산한다.

그림 8의 위 그림은 카메라를 통해 획득한 원본 타일 이미지이며, 그림 8의 아래 그림은 아핀(Affine) 원근 변환 알고리즘을 적용해 원본 이미지로부터 원근 요소를 제거한 이미지이다.

3.5 가장자리 검출과 직선 검출

그림 8의 아래 이미지로부터 이미지 내의 가장자리 검출을 위해 케니 엣지 검출 알고리즘(Canny edge detection algorithms)을 사용한다. 케니 엣지 검출 알고리즘은 크게 네 개의 연산 과정을 포함한다. 그림 9는 케니 엣지 검출 알고리즘에 포함된 4가지 연산 과정을 보여준다.

케니 엣지 검출 알고리즘은 다른 엣지 검출 알고리즘에 비해 에러율이 낮고 엣지 추출이 정확하기 때문에 이미지로부터 엣지를 검출할 때 많이 사용되고 있다⁽⁹⁾. 그림 10은 그림 8의 아래 이미지(아핀 원근 변환 알고리즘 적용 후)에서 노이즈를 제거하고 이진화한 후, 케니 엣지 검출 알고리즘을 적용한 결과이다.

케니 엣지 검출 알고리즘을 수행해 얻은 그림 10의 이미지로부터 타일의 직선 성분을 추출한다. 본 논문에서는 표준 허프 변환(Standard Hough transform)을 이용한 직선 추출 알고리즘을 이용한다.

허프 변환은 2차원 $xy$좌표에서 직선의 방정식을 파라미터 공간으로 변환하여 직선을 찾는 알고리즘이다⁽¹⁰⁾. 일반적으로 직선의 방정식은 식 (5)의 형태로 사용한다. 그러나 이와 같은 직선의 방정식은 $y$축과 평행한 수직선을 표현하지 못하기 때문에 허프 변환을 구현할 때는 식 (6)과 같은 극좌표 형식의 직선의 방정식을 사용한다.

위 식 (6)에서 $\rho$는 원점에서 직선까지의 수직 거리를 나타내고, $\theta$는 직선에 수직이며 원점을 지나는 선이 $x$축과 이루는 각도를 의미한다. 이는 $xy$공간에서 한 점이 $\rho\theta$공간에서 삼각함수 그래프 형태의 곡선으로 표현되고, $\rho\theta$공간에서의 한 점은 $xy$공간에서 직선의 형태로 나타낼 수 있음을 보여준다. 그림 11은 $\rho\theta$파라미터를 이용한 직선 표현식 예시 그래프이다. 그림 11의 (a)는 2차원 $xy$ 좌표계이며, 직선의 방정식은 $x\cos\theta + y\sin\theta =\rho$이다. 이 직선 위의 두 점에 대하여 각 점에 대응하는 $\rho\theta$공간에서의 곡선은 그림 11의 (b)와 같다. $\rho\theta$공간에서 두 곡선은 하나의 점에서 교차하며, 이 점의 좌표 $(\rho_{0},\:\theta_{0})$가 그림 11(a)의 직선을 나타내는 파라미터가 된다.

허프 변환을 이용하여 직선을 찾으려면 $xy$ 공간에서 엣지로 판별된 모든 점을 이용하여 $\rho\theta$ 파라미터 공간에 곡선으로 표현하고, 축적 배열을 이용하여 곡선이 많이 교차되는 점을 찾는다. 이 점은 $xy$ 공간에서의 선을 의미한다.

그림 12는 엣지 검출과 허프 변환 직선 검출 알고리즘을 통해 검출된 직선을 원본 이미지 위에 도시한 그림이다.

3.6 가이드라인 추출

그림 12의 이미지에 있는 다수의 선들 중에서 이미지의 중심을 2차원 평면의 원점으로 가정할 때, 직선의 기울기를 $a$라 하면, $a$의 크기가 $-1\le a\le 1$인 선과 그 외의 선들로 분리할 수 있다. 기울기에 따라 두 종류로 분류된 각각의 선들에 대하여 선의 길이와 기울기의 유사도를 비교하여 기울기가 유사한 선 중 가장 길이가 긴 두 종류의 선을 추출한다. 타일의 크기가 작아 이미지에 다수의 타일 있는 경우에는 원점에서 가장 가까운 타일의 격자무늬를 기준으로 직선 추출 과정을 수행한다. 그림 13은 그림 12의 다수의 선들 중에서 선의 기울기를 대표하고 가장 길이가 긴 선만 추출한 후 원본 이미지의 가장자리까지 선을 연장하여 그린 이미지이다. 이 두 개의 선은 이동 로봇의 현재의 위치와 주행 방향을 의미하며, 주행 제어를 위한 수직, 수평 가이드라인으로 사용된다. 특히 수평 가이드라인은 주행 거리를 측정하기 위한 엔코더(Encoder)로 활용된다.

4.1 주행 제어 시스템 설계

본 논문에서 이동 로봇의 주행 제어를 위해 사용될 주행 제어기의 구조는 다음과 같다. 그림 14는 로봇의 주행 제어를 위한 PID 제어 시스템의 블록도이다.

조작량 $u(t)$는 연속신호로서 아래 식 (7)과 같다. $u(t)$는 목표값과 측정값 사이의 에러 $e(t)$에 대한 비례(Proportional)항. 적분(Integral)항, 미분(Differential)항의 합으로 이루어진다. 각 항에는 비례상수($K_{p}$), 적분상수($K_{i}$), 미분상수($K_{d}$)를 사용한다.

식 (7)을 불연속 신호로 변경하면 식 (8)와 같다. 식 (8)의 조작량 $u[n]$은 n번째 측정값으로, 계산된 목표값과 측정값 사이의 에러 $e[n]$을 사용하여 만든 제어 신호다. $\triangle t$는 에러값을 측정하고 조작량을 인가하는 주기를 나타낸다. 본 논문에서 각항의 계수 $K_{p}$, $K_{i}$, $K_{d}$는 경험치로 구하였다.

4.2 주행 제어

그림 15는 주행 로봇의 주행 방향 제어를 위한 방법을 설명하기 위한 그래프이다. 로봇의 주행 시작점에서 획득한 수평 가이드라인과 수직 가이드라인을 초기 가이드라인(Initial Guideline)이라 하고, 로봇이 주행을 시작한 후에 획득한 수평 가이드라인과 수직 가이드라인을 주행시간 가이드라인(Runtime Guideline)이라 정한다. 그래프에서 $O$는 로봇의 주행 시작점에서 획득한 타일 영상의 수평 가이드라인과 수직 가이드라인의 교차점이다. 이 교차점을 원점이라 한다. 주행 시작 후 획득한 이미지로부터 추출된 수평 가이드라인과 수직 가이드라인이 원점을 지나는 수평선과 만나는 점을 $X_{h}$와 $X_{v}$라고 한다.

임의의 시간에 수평 가이드라인과 원점을 지나는 수평선이 이루는 각을 $\theta(t)$, 수직 가이드라인과 원점을 지나는 수평선의 교점 $X_{v}$와 원점까지의 거리를 $d(t)$라 하면, 로봇의 초기 위치와 현 위치 사이의 차이 $e(t)$를 식 (9)과 같이 정의할 수 있다. 식 (9)에서 가중값은 경험치로 구할 수 있다.

이를 이미지의 특정 프레임에 대해 계산하기 위해 이산 식으로 바꾸면 식 (10)이 되며, 주행 로봇이 바닥 타일을 따라 직선 주행을 하기 위한 조건식은 식 (11)와 같다.

주행 로봇의 초기 구동 시 좌우 모터를 구동하기 위한 PWM(Pulse Width Modulation) 듀티비(Duty ratio)는 동일하다. 주행 로봇이 직선 주행을 하기 위해서는 $e[n]$이 0보다 크면 좌측 모터의 RPM을 고정하고 PID 제어 알고리즘에 따라 우측 모터를 제어한다. $e[n]$이 0보다 작으면 그 반대 방법으로 제어를 수행한다.