1. 서 론

전방향 모바일 매니퓰레이터는 전방향 이동로봇과 매니퓰레이터가 결합된 형태로 전방향으로 이동이 가능하며 작업 반경이 넓다는 장점을 갖기 때문에 많은 연구가 진행되고 있다^(1)-(3). 전방향 모바일 매니퓰레이터를 목표 지점으로 이동시키고, 원하는 동작을 수행하기 위해서는 도킹 알고리즘이 필요하다. 이를 위해 카메라, 적외선 센서, 레이더, 라이다와 같은 다양한 센서들이 사용되고 있다^(4)-(5). 그중에서 카메라 센서는 영상 정보만을 이용하여 목표물의 위치와 로봇의 위치를 동시에 계산할 수 있기 때문에 센서의 비용이 감소한다는 장점이 있다⁽⁶⁾. 따라서 카메라를 이용한 비주얼 서보잉을 이용한 연구가 진행되어 왔다.

비주얼 서보잉은 카메라로부터 획득한 영상 정보를 활용하여 제어하는 기법으로 영상기반 비주얼 서보잉(Image Based Visual Servoing, IBVS)과 위치기반 비주얼 서보잉(Position Based Visual Servoing, PBVS)으로 구분할 수 있다⁽⁷⁾. 영상기반 비주얼 서보잉은 카메라를 통해 얻은 영상특징점 정보를 이용하는 제어기법으로 2차원 영상 평면상의 오차가 최소화되도록 제어 입력을 생성한다. 따라서 카메라 캘리브레이션 오차에 민감하지 않다는 것이 장점이지만 연산 과정에서 로봇의 비정상적인 동작이 발생할 수 있고, 비정상적인 동작이 발생하여 특이성(singularity) 문제로 시스템이 불안정해지는 문제가 발생할 수 있다⁽⁸⁾. 위치기반 비주얼 서보잉은 카메라를 통해 얻은 목표물의 3차원 좌표를 통해 목표물에 대한 로봇의 위치 오차를 최소화하는 제어 입력을 생성하는 제어기법이다. 이를 위해서 카메라 캘리브레이션 정보가 필요하며 캘리브레이션 오차와 영상 왜곡 등에서 기인하는 불확실성에 강인한 제어기 설계가 필요하다. 위치기반 비주얼 서보잉은 영상기반 비주얼 서보잉에서 갖는 특이성 문제나 비정상적인 동작으로부터 자유롭다는 장점이 있지만, 목표물까지 이동하는 과정에서 목표물이 시야각에서 벗어날 수 있다는 단점이 있다⁽⁹⁾. 모바일 매니퓰레이터의 비주얼 서보잉에 대한 연구는 계속해서 진행되어 왔는데, 특이성 문제를 해결하기 위한 이미지 자코비안을 정의하여 제어하는 기법을 제안되었고⁽¹⁰⁾, 전방향 이동로봇과 매니퓰레이터의 자코비안을 통합시켜 동시에 제어하는 영상기반 비주얼 서보잉 역시 연구되었다⁽¹¹⁾. 위치기반 비주얼 서보잉과 경로 생성 기법을 결합하여 모바일 매니퓰레이터가 목표 경로를 따라 이동한 뒤 물체를 잡는 연구가 최근에 수행되었다⁽¹²⁾.

본 논문에서는 전방향 모바일 매니퓰레이터를 목표 위치에 도달시킬 수 있는 영상기반 비주얼 서보잉 제어기를 제안한다. 영상기반 비주얼 서보잉을 수행하면서 발생할 수 있는 영상 정보의 불확실성에 강인한 적분 슬라이딩 모드 제어를 사용하여 영상기반 비주얼 서보잉 제어기를 설계하고 리아푸노프 안정성 증명을 통해 오차가 항상 슬라이딩 평면에 머물러 있으면서 0으로 수렴함을 보인다. 또한 전방향 이동로봇과 매니퓰레이터를 동시에 제어할 때 발생할 수 있는 특이성 문제를 해결하기 위해 전방향 이동로봇과 매니퓰레이터가 순차적으로 동작하도록 하는 스위칭 기법을 제안한다. 또한 시뮬레이션을 통해 전방향 모바일 매니퓰레이터가 목표 위치로 이동하는 도킹 알고리즘을 수행하며 제안한 제어기의 안정성을 검증하고 스위칭 기법을 사용하여 매니퓰레이터 자코비안의 특이성 문제를 해결함을 보임으로써 제안한 방법의 타당성을 검증한다.

2. 전방향 모바일 매니퓰레이터 시스템

그림 1은 본 논문에서 사용한 전방향 모바일 매니퓰레이터 시스템이다. 하단에는 세 개의 구동기에 전방향 바퀴(swedish wheel)가 부착되어 있고, 상단 매니퓰레이터에는 다섯 개의 구동기가 링크와 프레임을 통해 연속적으로 결합되어 있다.

본 논문에서는 기구학만을 고려하여 제어기를 설계하였고, 전방향 이동로봇의 기구학은 다음과 같다.

여기서 $u, v$는 각각 전방향 이동로봇 좌표계에서의 $x, y$축 선속도, $r$은 $z$방향 회전속도를 나타낸다. $q=[x, y, \phi]^{T}$는 전역 좌표계에서 전방향 이동로봇의 자세를 나타낸다.

전방향 이동로봇의 속도와 구동기의 회전속도 간의 관계는 다음과 같다.

여기서 $w_{1}, w_{2}, w_{3}$는 각 구동기의 회전속도를 의미하고, $R$은 구동기에 부착된 바퀴의 반지름, $N$은 구동기의 기어비이고, 행렬 $B$는

와 같이 정의된다. 여기서 $\Gamma$는 바퀴의 방향각을 의미하고, $L$은 로봇의 반지름을 의미한다. 매니퓰레이터 구동기에 의한 말단부 속도는 다음과 같다.

여기서 ${ }^{c} V_{a}=\left[{ }^{c} v_{a x}, v_{a y},{v}_{a z}\right]^{T},{c}_{\Omega_{a}}=\left[{w}_{w_{\alpha u}},{c}_{w_{a z}}\right]^{T}$는 각각 매니퓰레이터 말단부에 부착된 카메라 좌표계에서의 선속도와 회전속도이고, $\theta_{m}=\left[\theta_{m 1}, \theta_{m 2}, \theta_{m 3}, \theta_{m-4}, \theta_{m 5}\right]^{T}$는 매니퓰레이터 구동기의 회전각을 나타낸다. 매니퓰레이터 자코비안 행렬 $J\left(\theta_{m}\right)$은 다음과 같다.

여기서 ${ }^{0} Z_{j},{ }^{0} P_{c},{ }^{0} P_{j}$는 각각 매니퓰레이터 베이스 좌표계에서 $i$번째 링크 프레임의 축 정보, 카메라의 위치, 번째 링크의 위치를 나타낸다. 위치정보 ${ }^{0} Z_{j},{ }^{0} P_{c},{ }^{0} P_{j}$는 매니퓰레이터의 기구학을 표현하는 표준 데나비트-하텐버그 표시법 (Denavit- Hartenberg convention)⁽¹³⁾을 통해

로부터 얻을 수 있고, ${ }_{1}^{0} \mathrm{~T}$에서 위 첨자 0로 표시한 좌표계는 매니퓰레이터 베이스 좌표계임과 동시에 전방향 이동로봇 좌표계와 동일하다. 식(4)를 이용하여 매니퓰레이터 구동기에 다음과 같이 속도 명령을 입력할 수 있다.

여기서 $J\left(\theta_{m}\right)$의 행렬식(determinant)이 0이 되는 경우$J\left(\theta_{m}\right)$의 역행렬이 존재하지 않기 때문에 매니퓰레이터 자코비안 행렬의 특이성 문제가 발생할 수 있다. 이러한 특이성 문제는 매니퓰레이터 작업 반경을 벗어나려는 움직임에서 주로 발생하는데, 5장에서 이를 해결하기 위한 방법을 제안한다.

3. 매니퓰레이터의 적분 슬라이딩 모드 영상기반 비주얼 서보잉

영상 평면상의 특징점 $s_{0}$ 카메라 좌표계에서 목표물의 위치 ${ }^{c} X,{ }^{c} Y,{ }^{c} Z$에 의해 다음과 같이 표현할 수 있다.

$v_{p}$, $v_{p}$는 각각 영상 평면상의 픽셀 좌표이고, $c_{u}$, $c_{y}$, $f$, $\alpha$는 카메라 고유 변수이다⁽¹⁴⁾. 또한 카메라 속도 와 영상특징점과의 관계는 다음과 같다.

여기서 상호관계행렬(interaction matrix) $L_{o}$는

이다⁽⁷⁾. 본 논문에서 사용하는 전방향 모바일 매니퓰레이터 시스템은 매니퓰레이터 말단부에 카메라가 부착되어 있고, 다섯 개의 자유도를 가지기 때문에 간소화된 상호관계행렬은

와 같다.

식 (10)을 네 개의 특징점 $s=\left[s_{o 1}, s_{o 2} s_{o 3}, s_{o 4}\right]^{T}$에 대하여 다음과 같이 정리할 수 있다.

여기서 $v_{a}$는 매니퓰레이터에 말단부에 부착된 카메라의 속도이고 $L_{m}=\left[L_{m 1}, L_{m 2}, L_{m 3}, L_{m 4}\right]^{T}$이며, $\delta_{a}$는 영상특징점 불확실성으로 $\delta_{a}=\bar{L}_{m} v_{a}+\dot{\zeta}$와 같이 정의되고 상호관계행렬 오차 $\bar{L}_{m}$과 영상특징점 불확실성 $\zeta$는 가정 1과 같이 유계이다.

가정 1: 카메라가 움직이며 발생하는 영상 평면의 진동과 카메라 고유 변수의 불확실성으로 인해 영상특징점 불확실성 $\zeta_{j}=\left[\zeta_{x j}, \zeta_{\nu j}\right]^{T}$가 발생할 수 있다. 이때 $\zeta$와 $bar{L}_{m}$ 유한한 영상 평면상에 존재하므로 유계이고, 의 시간에 대한 미분은 양의 상수$\gamma$에 대해

와 같이 유계이다. 여기서 $\left\|\dot{\zeta}_{j}\right\|_{\infty}:=\max \left(\left|\dot{\zeta}_{x j}\right|,\left|\dot{\zeta}_{z j}\right|\right)$이다.

목표 영상특징점 $s_{d}$는 깊이 정보 ${ }^{c} Z_{d}$를 최종 목표 위치에서의 깊이 정보로 설정하여

와 같이 상수로 정의한다⁽⁷⁾. 목표물로부터 검출한 영상특징점 $s$와 목표 영상특징점 $s_{d}$에 대한 영상특징점 오차 $e$를

와 같이 설정한 후, 적분항 $U_{a}=k_{i 1} \operatorname{sgn}(e)|e|^{a}$에 대하여 적분 슬라이딩 평면 $\sigma$을 다음과 같이 정의한다.

여기서 $e$(0)는 $t$=0일 때 영상특징점 오차이므로 $t$=0일 때 적분 슬라이딩 평면 는 0을 만족함을 확인할 수 있다. 적분항에 포함된 $k_{i 1}$와 $\alpha \in[0,1]$는 각각 유한시간 내 안정성 보장과 수렴 속도를 결정하는 양의 상수이다⁽¹⁵⁾.

적분 슬라이딩 평면을 이용하여 매니퓰레이터 말단부의 속도 명령을 다음과 같이 설계한다.

여기서 $L_{m}^{+}:=\left(L_{m}^{T} L_{m}\right)^{-1} L_{m}^{T}$는 무어-펜로즈 의사(Moore-Penrose pseudo) 역행렬이고, $k_{o 1}$는 양의 상수로 가정 1에 의해 $k_{o 1}>\left\|\delta_{a}\right\|_{\infty}$를 만족할 수 있다. 식(18)에서 설계된 속도 명령은 식(8)를 통해 매니퓰레이터의 각 구동기에 입력된다.

안정성 증명을 위해 리아푸노프 함수를 다음과 같이 양의 정부호 함수로 설정한다.

이때 리아푸노프 함수의 시간에 대한 미분은 다음과 같다.

따라서 $k_{o 1}>\left\|\delta_{a}\right\|_{\infty}$이므로 $\dot{V}$은 음의 정부호(negative defi- nite) 함수이고 도달 조건(reachability condition)을 만족하여 슬라이딩 평면 $\delta$는 유한시간 내에 0으로 수렴한다⁽¹⁶⁾. 결과적으로 영상특징점 오차에 대한 미분 방정식이

와 같이 유도될 수 있으므로⁽¹⁷⁾, 영상특징점 오차 $e$가 다음과 같이 유한시간 내에 0으로 수렴함을 보일 수 있다⁽¹⁵⁾.

4. 전방향 이동로봇의 적분 슬라이딩 모드 영상기반 비주얼 서보잉

전방향 이동로봇에 부착된 카메라로부터 얻은 영상특징점 $S_{b}$와 전방향 이동로봇의 속도 $v_{b}=[u, v, r]^{T}$는 다음과 같은 관계를 갖는다.

여기서 $\delta_{b}=\tilde{L}_{b} v_{b}+\dot{\zeta}$는 가정 1과 같은 유계의 영상특징점 불확실성이고, $L_{b}=\left[L_{b 1}, L_{b 2}, L_{b 3}, L_{z 4},\right]^{T}$는 간소화된 상호관계행렬로서 전방향 이동로봇이 세 개의 자유도를 가지므로

와 같이 나타낼 수 있다. 식(15)와 같이 목표 영상 특징점을 설정하고, 전방향 이동로봇의 목표 영상특징점에 대하여 영상특징점 오차를

와 같이 설정한다. 영상특징점 불확실성에 강인한 적분 슬라이딩모드 제어기를 설계하기 위해 적분 슬라이딩 평면을 다음과 같이 정의한다.

여기서 $k_{i 2}$는 양의 상수이고, 적분항 $U_{b}=k_{i 2} \operatorname{sgn}\left(e_{b}\right)\left|e_{b}\right| ^{a}$는 식(17)과 같이 이동로봇의 위치 오차에 대해 유한시간 내 안정성 보장과 수렴 속도를 결정한다. 전방향 이동로봇의 자세 오차를 0으로 수렴시키기 위한 전방향 이동로봇의 속도 명령을

와 같이 설계한다.

설계한 제어기의 안정성을 증명하기위해 리아푸노프 함수를 다음과 같이 양의 정부호 함수로 설정한다.

리아푸노프 함수의 시간에 대한 미분은 다음과 같다.

이때 $k_{s 2}>\left\|\delta_{b}\right\|_{\infty}$이므로 $\dot{V}$은 음의 정부호 함수이며, 도달 조건을 만족하여 슬라이딩 평면은 유한시간 내에 0에 수렴한다. 식(21)와 같이 슬라이딩 평면이 0에 수렴하면

와 같은 미분 방정식 형태를 얻을 수 있고, 식(22)과 같은 형태로 영상특징점 오차가 유한시간 내에 0으로 수렴한다.

5. 특이성 문제 해결을 위한 스위칭

일반적으로 영상기반 비주얼 서보잉에서는 깊이 정보인 ${ }^{c} Z_{d}$일반적으로 영상기반 비주얼 서보잉에서는 깊이 정보인 를 최종 목표지점에서의 깊이 정보로 설정하여 목표 영상특징점 식(15)와 같이 상수로 설정한다. 이때 ${ }^{c} Z_{d}$의 초기값 ${ }^{c} Z_{\text {initial }}$와 ${ }^{c} Z_{d}$의 차이의 크기인 $\left|{ }^{c} Z_{\text {initial }}-{ }^{c} Z_{d}\right|$이 큰 경우에 다음과 같은 두 가지의 문제점이 발생한다. 첫 번째로 $\left|{ }^{c} Z_{\text {initial }}-{ }^{c} Z_{d}\right|$이 커지면 영상특징점 오차 $e$의 초기값도 커지게 되고, 속도 명령을 생성할 때 $e$를 사용하므로 속도 명령을 따라가는 과정에서 큰 오버슈트가 발생할 수 있다. 두 번째로 초기에 매니퓰레이터가 작업 반경을 넘어서 움직이도록 제어 입력이 생성될 수 있고, 이로 인해 경우에 따라 자코비안 행렬에 특이성이 발생할 수 있다⁽¹⁸⁾. 따라서 본 장에서는 매니퓰레이터의 특이성 문제를 해결하기 위해 동작 구간을 두 가지로 분류하고, 이를 순차적으로 제어하기 위한 스위칭 조건을 다음과 같이 설계한다.

표 1에서 $e_{b, r m s e}, e_{r m s e} e_{o}$는 각각 전방향 이동로봇에 부착된 카메라로 얻은 영상특징점과 매니퓰레이터에 부착된 카메라로 얻은 영상특징점의 평균 제곱근 오차(Root Mean Square Error, RMSE)⁽¹⁹⁾이고, $e_{s}$는 스위칭을 위한 오차의 임계치를 의미한다.

첫 번째 동작 구간에서는 매니퓰레이터는 정지한 상태에서 전방향 이동로봇이 식(27)을 통해 목표 지점으로 이동한다. 전방향 이동로봇의 영상특징점 오차가 설정한 오차의 임계치 $e_{5}$보다 작아졌을 때, 전방향 이동로봇이 목표 지점에 도달했다고 볼 수 있다. 따라서 $e_{b, r m s e}<e_{s}$를 만족하면 전방향 이동로봇은 정지하고 두 번째 동작 구간에 해당하는 매니퓰레이터의 제어가 식(18)과 같이 시작된다. 매니퓰레이터의 영상특징점 오차가 $e_{s}$보다 작아졌을 때, 세 번째 동작 구간이 시작되며 매니퓰레이터가 목표 지점에 도착하였다고 판단하여 정지하게 된다. 이러한 순차적인 제어를 통해 $\left|{ }^{c} Z_{\text {initial }}-{ }^{c} Z_{d}\right|$가 클 때 발생할 수 있는 문제를 해결할 수 있다.

6. 모의실험

본 장에서는 모의실험을 통해 설계한 제어기의 성능을 검증하며 스위칭 기법의 타당성을 확인한다. 모의실험은 표 2와 같이 매니퓰레이터의 말단부와 이동로봇이 목표 위치에 영상기반 비주얼 서보잉을 통해 이동한다. 이때 표 1과 같이 전방향 이동로봇이 비주얼 서보잉을 통해 목표 위치에 도달하였을 때, 매니퓰레이터의 비주얼 서보잉이 시작되어 매니퓰레이터의 말단부가 목표 위치까지 이동하는 도킹 알고리즘을 수행한다. 매니퓰레이터의 말단부와 전방향 이동로봇은 각각 한 변의 길이가 인 정사각형 마커로부터 얻은 네 개의 영상특징점을 이용한다. 전역 좌표계에서 마커의 위치는 표 3과 같다. 표 4에는 모의실험에 사용된 매니퓰레이터의 초기 자세와 D-H 파라미터를, 표 5는 모의실험에 사용된 카메라 행렬 $A_{c}$와 제어 파라미터들을 나타냈다. 가정 1에 의해 영상특징점 불확실성을 $\delta_{a}=\delta_{b}=0.001 \sin (t) m / s$로 설정한다.

그림 2-3은 전방향 이동로봇과 매니퓰레이터의 영상특징점 오차를, 그림 4-5에는 속도 명령을 나타내었다. 그림 6은 표 1의 스위칭 조건에 따른 동작 구간의 변화다. 그림 2에서 전방향 이동로봇의 영상특징점 오차가 0에 수렴하는 것을 확인할 수 있고, 그림 4와 같이 전방향 이동로봇의 영상특징점 오차가 $e_{s}$보다 작아졌을 때 동작 구간 2로 전환 되며 전방향 이동로봇의 속도 명령이 더이상 생성되지 않는 것을 볼 수 있다. 그림 4에 나타난 것과 같이 매니퓰레이터는 9.7초에 동작 구간 2로 스위칭 되며 영상기반 비주얼 서보잉이 시작되어 속도 명령이 생성되고, 그림 3과 같이 영상특징점 오차는 0에 수렴하는 것을 볼 수 있다. 그림 7-8에서는 각각 전방향 이동로봇과 매니퓰레이터 말단부에 부착된 카메라의 영상 평면 상에서 영상특징점의 궤적을 나타내었다. 또한 전역 좌표계에서 전방향 이동로봇과 매니퓰레이터 말단부의 이동 궤적은 그림 9와 같다.

다음으로 그림 10에서는 특이성 문제를 해결하기 위한 스위칭 기법에 대한 타당성을 알아보기 위해 매니퓰레이터의 자코비안의 행렬식을 나타냈다. 그림 10에서 스위칭 기법을 사용하지 않고 전방향 이동로봇과 매니퓰레이터를 동시에 영상기반 비주얼 서보잉을 했을 때 매니퓰레이터의 행렬식이 0에 도달하여 매니퓰레이터의 자코비안이 발산하는 문제점이 발생하였으나, 본 논문에서 제안한 스위칭 기법을 사용했을 때는 행렬식이 0이 되어 발산하는 문제 없이 정상적으로 제어가 되는 것을 확인할 수 있다.

7. 결 론

본 논문에서는 영상기반 비주얼 서보잉을 이용한 전방향 모바일 매니퓰레이터가 목표 위치에 안정적으로 도달할 수 있는 제어 방법을 제안하였다. 실제 환경에서 카메라로부터 얻은 영상 정보에 존재하는 불확실성에 강인하도록 적분 슬라이딩모드 제어기를 설계하였고, 매니퓰레이터의 초기 위치와 마커 사이 거리가 멀 때 발생하는 특이성 문제를 해결하기 위해 스위칭 기법을 제안하였다. 제안된 스위칭 기법을 이용하면 이동로봇과 매니퓰레이터가 순차적으로 제어되며 목표 위치에도 순차적으로 도달하게 되므로 매니퓰레이터가 작업 반경 이상으로 동작하려는 불안정한 움직임이 발생하지 않으므로 스위칭 기법을 사용하지 않았을 때 매니퓰레이터의 자코비안이 발산하는 문제점을 해결할 수 있었다. 본 논문에서는 전방향 모바일 매니퓰레이터를 목표 지점에 안정적으로 도달하는데 제안한 강인 영상기반 비주얼 서보잉 기법을 활용할 수 있음을 모의실험을 통해 검증하였다.