• 대한전기학회
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • 한국과학기술단체총연합회
  • 한국학술지인용색인
  • Scopus
  • crossref
  • orcid

  1. (Dept. of Robotics, Hoseo University, Korea.)
  2. (Dept. of Robotics, Hoseo University, Korea.)
  3. (Dept. of Mechatronics Engineering, Induk University, Korea)



Autonomous Mobile Robot, Deep Learning, Image Processing, Computer Vision, Guidance Lane

1. 서 론

이동로봇은 초기 산업 분야에서 공장 내의 운반 작업이나 창고에서의 물류 작업과 같은 반복적이고 단순한 작업에 사용되었다[1]. 그러나 최근에는 센서, 컴퓨터 비전, 그리고 심화 학습과 같은 기술의 발전으로 이동로봇의 역할과 범위가 농업, 의료, 도시 서비스 등의 분야로 확장되고 있다[2-4]. 현재 이동로봇은 대표적으로 매립형 유도장치 또는 SLAM(Simultaneous Localization And Mapping)을 이용한 주행 제어 방식을 사용하고 있다[5][6]. 매립형 유도장치의 경우 바닥에 매설된 유도차선을 통해 경로를 추적하는 방식으로 유도장치를 설치하거나 경로를 수정할 때 비교적 높은 설치 비용이 필요하다. SLAM 유도방식은 실시간으로 이동로봇의 위치를 인식하여 자율주행하는 방식으로 다양한 센서를 통해 수집된 정보를 바탕으로 지도를 작성, 작성된 지도를 통해 주행 경로를 추적하지만 고성능의 정보 처리 장치와 고가의 센서가 필요한 단점이 있다. 이러한 기존 이동로봇의 단점을 해결하기 위한 다양한 연구들이 진행되었다[7][8][9][10]. 하지만 이동로봇의 속도를 제어하는 부분에 미흡하다. 따라서 본 논문에서는 자율주행 유도차선과 컴퓨터 비전 기반 속도 제어 알고리즘을 적용한 자율주행 이동로봇 시스템을 제안한다. 자율주행 유도차선은 속도 제어 정보가 포함되어 있어 컴퓨터 비전 기반 알고리즘을 통해 이동로봇의 정확한 속도 제어가 가능하다. 또한 본 논문에서 제안한 유도차선은 별도의 유도장치를 매설하지 않아 설치가 간단하고 경제적이다.

2. 본 론

2.1 비전센서 기반 자율주행 이동로봇

본 논문에서는 자율주행 유도차선을 이용하여 인간의 시각 지능을 모방한 실내 자율주행 이동로봇을 구현하였다. 그림 1은 비전센서 기반 자율주행 이동로봇의 시스템 블록 다이어그램이다. 로봇을 구동하기 위한 모터는 2개의 In-wheel BLDC모터를 사용하였다. 장애물 감지를 위하여 전방과 후방에 각 1개의 초음파 센서를 사용하였다. 유도차선이 포함된 영상 획득과 컴퓨터 비전 알고리즘 처리를 위해 웹캠(Webcam)과 미니PC를 사용하였다. 획득한 영상은 이동로봇의 속도 제어 정보를 추출하기 위해 사용된다. 추출된 속도 제어 정보는 UART(Universal Asynchronous Receiver Transmitter) 통신을 통해 MCU(Micro Controller Unit)에 송신되어 이동로봇의 속도 제어를 할 수 있다.

그림 1. 컴퓨터 비전 기반 자율주행 이동로봇 시스템

Fig. 1. Autonomous mobile robot system based on computer vision

../../Resources/kiee/KIEE.2024.73.2.433/fig1.png

2.2 자율주행 유도차선

그림 2는 자율주행 유도차선의 종류를 나타내는 그림이다. 유도차선에서 연속적으로 이어진 선을 경로선이라고 정의한다. 이때 심볼타입(Symbolic type) 유도차선의 경우 두 개 이상의 심볼의 중심점들을 지나는 선을 경로선이라고 정의한다. 경로선은 이동로봇의 경로를 설정해 준다. 이동로봇은 경로선을 추적하여 이동한다. 또한 경로선과 수직인 선은 구분선이라고 정의한다. 이때 심볼타입 유도차선의 경우 심볼의 중심을 지나고 경로선과 수직인 선을 구분선이라고 정의한다. 구분선은 이동로봇의 목표 속도를 설정해 준다. 구분선의 간격은 이동로봇의 목표 속도와 비례한다.

그림 2. 자율주행 유도차선의 종류

Fig. 2. Types of autonomous driving guidance lanes

../../Resources/kiee/KIEE.2024.73.2.433/fig2.png

2.3 자율주행 유도차선 인식 알고리즘

그림 3은 속도 제어를 위한 유도차선 이미지 전처리 절차를 보여주는 그림이다. 카메라를 통해 획득한 유도차선이 포함된 영상에서 추출한 이미지를 HSV(Hue, Saturation, Value) 채널로 변환한 후 S(Saturation) 채널에서 삼각형 알고리즘(Triangle algorithm)을 적용하여 유도차선 이미지를 이진화한다.

그림 3. 속도 제어를 위한 유도차선 이미지 전처리 절차

Fig. 3. Guidance lane image pre-processing procedure for Speed control

../../Resources/kiee/KIEE.2024.73.2.433/fig3.png

그림 4는 삼각형 알고리즘의 적용 예시를 보여주는 S 채널의 히스토그램(Histogram)이다. 채도 채널의 히스토그램에서 최대값 $b_{\max}$와 최소값 $b_{\min}$를 지나는 직선과 수직인 선 $d$중 최대 거리의 선인 $d_{\max}$를 찾아 임계값 $b_{o}$를 구할 수 있다. 임계값 $b_{o}$를 통해 이진화된 이미지에서 블러링(Blurring)과 모폴로지 변환(Morphological transformation)을 이용하여 노이즈를 제거한다. 캐니 엣지 검출(Canny edge detection) 모델을 통해 유도차선의 모서리를 검출 한 후 허프 변환(Hough Transform) 알고리즘을 이용하여 유도차선의 직선 선분을 추출한다.

그림 4. 삼각형 알고리즘을 이용한 유도차선 이미지 적응형 이진화

Fig. 4. Guidance lane image adaptive binarization using triangle algorithm

../../Resources/kiee/KIEE.2024.73.2.433/fig4.png

그림 5는 이미지 전처리를 통해 구한 직선에서 경로선과 구분선을 추출하는 방법을 보여주는 그림이다. 화면과 수직에 가장 가까운 두 개의 직선의 중심선을 경로선으로 정의한다. 경로선과 수직인 두 직선과 경로선을 교차하는 두 점의 중심을 지나는 수평선을 구분선으로 정의한다. 이동로봇이 주행하면서 구분선을 통해 속도 제어 정보를 추출하기 위해 기준선을 설정한다. 이때 기준선의 위치는 경험치를 통해 구할 수 있다.

그림 5. 자율주행을 위한 유도차선 정보 추출

Fig. 5. Guidance lane information extraction for autonomous driving

../../Resources/kiee/KIEE.2024.73.2.433/fig5.png

2.4 유도차선 기반 속도 제어 알고리즘

(1)은 두 개 이상의 구분선이 기준선을 지나간 시간의 차이를 구하는 식이다. 사전 정의된 상수값 $\alpha$는 구분선이 기준선을 지나가는 시간의 목표값이다. 식 (2)가 성립되도록 이동로봇의 속도를 제어한다.

(1)
$\triangle T[i]=t[i]-t[i-1]$
(2)
$\triangle T[i]=\alpha$

그림 6은 유도차선의 구분선에서 속도 제어 정보를 추출하기 위한 파라미터를 추출하는 방법을 보여주는 그림이다. 기준선을 지난 하나 이상의 구분선과의 거리 $L$중 최단 거리 $L_{\min}$을 구한다. 현재 프레임의 최단 거리인 $L_{\min 0}$와 이전 프레임에서 마지막으로 구한 최단 거리인 $L_{\min -1}$의 차이를 통해 새로운 구분선이 기준선을 지났는지를 판단할 수 있다. 그러나 이동로봇의 진동이나 영상의 노이즈로 인해 이미 통과한 구분선의 최소거리가 감소할 수 있다. 따라서 목표 속도 인식 알고리즘에서는 현재 프레임에서 측정된 $L_{\min 0}$이 이전에 저장된 최단 거리 $L_{\min -1}$보다 작고 두 최단 거리의 차이가 사전 설정된 임계값을 초과했을 때 새로운 구분선이 기준선을 지났다고 판단한다. 그림 6에서는 구분선 $D_{1}$에서 마지막으로 측정된 $L_{\min}$값보다 현재 프레임에서 기준선을 지나간 구분선 $D_{2}$에서 측정된 $L_{\min}$값이 더 작다. 따라서 그림 6에서의 $\triangle T$값은 $D_{1}$과 $D_{2}$가 기준선을 지나간 시간의 차이를 통해 구할 수 있다.

그림 6. 유도차선 속도 제어 정보 추출

Fig. 6. Guidance lane speed control information extraction

../../Resources/kiee/KIEE.2024.73.2.433/fig6.png

그림 7. 컴퓨터 비전 기반 목표 속도 인식 알고리즘

Fig. 7. Target speed recognition algorithm based on computer vision

../../Resources/kiee/KIEE.2024.73.2.433/fig7.png

3. 실 험

본 논문에서 제안한 시스템의 속도 제어 정확도를 확인하기 위해 단일 선 타입(Single-line type) 유도차선을 설치한 후 감속 실험과 가속 실험으로 나누어 이동로봇 속도 제어 실험을 진행하였다. 감속 실험과 가속 실험은 각 20회씩 진행하여 이동로봇의 속도 제어 정확도를 측정하였다. 그림 8은 유도차선 기반 속도 제어 실험의 환경을 보여주는 그림이다.

그림 8. 유도차선 기반 속도 제어 실험환경

Fig. 8. Speed control experimental environment based on guidance lane

../../Resources/kiee/KIEE.2024.73.2.433/fig8.png

(3)은 목표 속도값 $v_{target}$를 통해 구분선의 간격 $L_{d}$를 구하는 함수이다. 실험에서 $\alpha$는 1초로 지정하였다. 두 실험에서 유도차선의 구분선 간격은 초기속도를 유지하다 감속 또는 가속 후 최종 목표 속도를 유지하도록 설정하였다. 그림 9는 목표 속도가 설정된 유도차선의 구분선 간격을 보여주는 그림이다.

(3)
$L_{d}(v_{target})=v_{target}\times\alpha$

그림 9. 유도차선 기반 속도 제어 실험을 위한 유도차선 설정

Fig. 9. Guidance lane setting for guidance lane based speed control experiment

../../Resources/kiee/KIEE.2024.73.2.433/fig9.png

로봇의 안전한 작동을 위해 국제 표준인 ISO(International Organization for Standardization)에서 제시한 산업용 로봇의 안전요구사항에 따라 이동로봇의 제한속도를 설정하였다. 설정된 제한속도는 ISO 10218-1:2011을 준수하여 설정하였다. 설정된 제한속도에 따라 유도차선의 구분선 간격을 그림 9와 같이 설정하였다. 두 실험에서 유도차선의 구분선 간격은 초기속도를 유지하다 감속 또는 가속 후 최종 목표 속도를 유지하도록 설정하였다. 표 1은 실험장비의 구성과 사양을 나타낸다. 이동로봇에 가속도센서 기반 속도계를 장착한 후 유도차선에 설정된 목표 속도와 이동로봇의 주행 속도를 비교하였다. 이때 가속도센서 기반 속도계의 속도 측정값은 구분선이 기준선을 넘을 때마다 임베디드 컴퓨터에 기록된다. 그림 10은 실험 결과에서의 목표 속도와 평균 실험값을 비교하는 거리-속도 그래프이다.

표 1 실험장비의 구성 및 사양

Table 1 Configuration and specifications of experimental equipment

Device

Items

Specifications

Embedded Computer

Operating system

Window 11

Programming language

C#

MCU

Part number

ATmega328

Communication protocol

RS422

Motor

Rated torque

8 N·m

Rated speed

560 RPM

Rated current

7.5 A

Rated voltage

24 V

그림 10. 이동로봇 속도 제어 실험에서 목표값과 실험값의 비교

Fig. 10. Comparison of target values and experimental values in mobile robot speed control experiments

../../Resources/kiee/KIEE.2024.73.2.433/fig10.png

(4)그림 10에 표시된 실험값들의 평균을 구하는 식이다. 식 (4)에서 $v_{i}$는 $i$번째 실험에서 측정된 이동로봇의 속도값을 의미한다. 본 논문에서는 감속 실험과 가속 실험 각각 20회씩 진행하여 획득한 속도값에 대해 식 (4)를 적용하였다. 그림 10에서의 목표속도는 그림 9과 같이 설정된 유도차선의 구분선 간격에 대한 식 (3)의 결과를 통해 구하였다.

(4)
$v_{\exp}=\dfrac{\sum_{i=1}^{n}v_{i}}{n}$

표 2는 실험 데이터를 분석한 결과다. 실험 결과에서 정확도는 이동로봇이 정지상태에서 주행하기 시작하여 목표 속도에 도달한 이후의 실험값들과 유도차선에 설정된 목표 속도를 비교하여 구하였다. 식 (5)는 유도차선에 설정된 목표 속도 $V$와 이동로봇의 속도 $v$를 통해 속도 제어의 정확도 $A$를 구하는 식이다. 식 (5)에서 $l$은 이동로봇이 정지상태에서 목표 속도에 도달했을 때 측정된 속도 데이터의 순번을 의미한다.

표 2 유도차선 기반 속도 제어 실험 결과

Table 2 Results of guidance lane based speed control experiments

Type of experiment

Speed control accuracy

Deceleration experiments

97.23 %

Acceleration experiments

97.37 %

Overall accuracy

97.30 %

(5)
$A=\dfrac{\sum_{i=l}^{n}(1-\dfrac{\left | V_{i}-v_{i}\right |}{V_{i}})}{n}\times 100$

기존의 이동로봇은 주로 엔코더(Encoder), 적외선 센서, 초음파 센서 등을 장착하여 획득한 오도메타(Odometer) 정보에 의존해 로봇의 자기 위치 지표를 인식한다. 또한 주행에 필요한 로봇의 이동 환경에 대한 정보는 주로 로봇에 부착된 거리센서(LiDAR, Laser, 초음파 센서, 적외선 센서 등)를 이용해 획득한다. 반면, 본 논문에서 제안한 시스템은 비전센서를 통해 인식한 유도차선의 구분선을 오도메타 정보로 활용하여 위치를 인식한다. 또한 속도 제어 정보가 포함된 구분선들의 위치에 따라 목표 속도를 인식한다. 표 2의 실험 결과는 유도차선과 단일 카메라의 정보만으로 자율주행 이동로봇의 위치 인식과 주행 속도 제어가 가능함을 보여준다.

4. 결 론

본 논문에서는 자율주행 유도차선과 컴퓨터 비전 기반 주행 알고리즘을 이용한 자율주행 이동로봇 시스템을 제안하였다. 이동로봇에 장착된 비전 센서로부터 획득한 유도차선 이미지에서 전처리를 통해 유도차선의 정보를 추출하였다. 효과적인 전처리를 위해 삼각형 알고리즘을 적용한 적응형 이진화를 거친 후 노이즈 제거 단계에서 블러링과 모폴로지 변환을 적용하였다. 노이즈가 제거된 이미지에서 캐니 엣지 검출과 허프 변환을 통해 유도차선의 직선 성분을 검출하여 이동로봇의 속도 제어 정보를 추출하는 과정을 수행하였다. 본 논문에서 제안한 자율주행 유도차선은 경로선과 구분선을 통해 자율주행 이동로봇의 방향과 속도 제어 정보를 포함하였다. 본 논문에서 제안한 이동로봇 시스템에 내장된 카메라를 통해 획득한 이미지에서 구분선들이 기준선을 지나간 시간의 차이를 통해 유도차선의 속도 제어 정보를 추출하였다. 자율주행 유도차선과 컴퓨터 비전 기반 주행 알고리즘을 이용한 자율주행 이동로봇의 속도 제어 정확도를 평가하기 위해 유도차선을 설치하여 감속 실험과 가속 실험을 진행하였다. 두 실험을 통해 얻은 속도 제어의 정확도는 약 97.30 %로 본 논문에서 제안한 시스템이 안정적으로 주행이 가능함을 입증하였다.

본 논문에서 제안된 시스템은 사용되는 센서를 줄이고 간단한 유도차선 설치를 통해 경제적이고 안정적인 자율주행 이동로봇의 사용을 촉진하여 자율주행 이동로봇의 활용 범위를 다양한 응용 분야로 확장시키는데 중요한 기여를 할 것으로 기대된다.

Acknowledgements

이 논문은 2021년도 호서대학교의 재원으로 학술연구비 지원을 받아 수행된 연구임(20210411)

This research was supported by the Academic Research Fund of Hoseo University in 2021(20210411)

References

1 
Se-Jun Park and Tae-Kyu Yang, “A Study on Design of Intelligent Mobile Robot based on Localization Sensor for Unmanned Transport Logistics,” The Journal of Korean Institute of Information Technology, vol. 11, no. 9, pp. 7-13, 2013.URL
2 
Chang-Joon Lee, Jae-Hoon Cho, and Yong-Tae Kim, “A Design of Agricultural Omnidirectional Mobile Robot Using Hybrid Wheels,” Journal of Korean Institute of Intelligent Systems, vol. 31, no. 1, pp. 53-59, 2021.DOI
3 
Yoo-Mee Song, “A Study on the Experience Elements of Robot Design in Medical Industry,” Bulletin of Korean Society of Basic Design & Art, vol. 22, no. 6, pp. 239- 256, 2021.DOI
4 
Sang-deok Park, Ho-Gil Lee, Young-Sun Ryuh, Woong-Hee Son, and Hee-Don Jeong, “Design of a Mobile Robot System for Integrity Evaluation of Large Sized Industrial Facilities,” Journal of Institute of Control, Robotics and Systems, vol. 11, no. 7, pp. 595-601, 2005.DOI
5 
Woo-Yong Kang, Eun-Sung Lee, Jeong-Won Kim, Moon-Beom Heo, and Gi-Wook Nam, “Steering Performance Test of Autonomous Guided Vehicle(AGV) Based on Global Navigation Satellite System(GNSS),” Journal of the Korean Society for Aeronautical & Space Sciences, vol. 38, no. 2. The Korean Society for Aeronautical & Space Sciences, pp. 180–187, 2010.DOI
6 
Dong-Gyu Park, Kyu-Ree Kim, Jin-Woo Jang, and Dong-Hwan Kim, “ROS-based Control System for Localization and Object Identification of Indoor Self-driving Mobile Robot,” Transactions of the Korean Society of Mechanical Engineers - A, vol. 45, no. 12, pp. 1149-1160, 2021.URL
7 
Kwang-Bok Hwang and Jin-Hyun Park, “Steering Control of an Autonomous Vehicle Using CNN,” Journal of the Korea Institute of Information and Communication Engineering, vol. 24, no. 7, pp. 834-841, 2020.DOI
8 
Chang-Hee Chun and Jong-Jin Park, “Location Estimation and Navigation of Mobile Robots using Wireless Sensor Network and Ultrasonic Sensors,” The transactions of The Korean Institute of Electrical Engineers, vol. 59, no. 9, pp. 1692-1698, 2010.DOI
9 
Hyung-Woo Yoon, Gun-Woong Bae, Sung-Kwun Kim, and Jin-Ho Bae, “A Study on the Fuzzy Navigation Control of a Mobile Robot Using a Vision Camera,” The transactions of The Korean Institute of Electrical Engineers, vol. 42, no. 4, pp. 111-120, 1993.URL
10 
Sung-Goo Lee, Ji-Wook Kwon, Suk-Kyo Hong, and Dongkyoung Chwa, “Posture Stabilization Control for Mobile Robot using Marker Recognition and Hybrid Visual Servoing,” The transactions of The Korean Institute of Electrical Engineers, vol. 60, no. 8, pp. 1577-1585, 2011.URL
11 
Jung-Ju Kim, Dong-Jin Kim, and Kyung-Wan Koo, “Position recognition and driving control for an autonomous mobile robot that tracks tile grid pattern,” The transactions of The Korean Institute of Electrical Engineers, vol. 70, no. 6, pp. 945-952, 2021.URL
12 
Kang-Hyeon Rhee, “Forensic Classification of Median Filtering by Hough Transform of Digital Image,” Journal of the Institute of Electronics and Information Engineers, vol. 54, no. 5, pp. 42-47, 2017.DOI
13 
Seok-hee Hong, Ju-seong Lee, Ho-Myoung An, Ji-Hun Koo, and Byun-Cheul Kim, “Improvement of Power Consumption of Canny Edge Detection Using Reduction in Number of Calculations at Square Root,” Journal of Korea Institute of Information, Electronics, and Communication Technology, vol. 13, no. 6, pp. 568-574, 2020.DOI

저자소개

김정주 (Jung-Ju Kim)
../../Resources/kiee/KIEE.2024.73.2.433/au1.png

He received his B.S., M.S. degree and Ph.D. degree in Dept. of Electronics Engineering from Hoseo University Korea. He is currently professor in Dept. of Robotics at Hoseo University. His research interests are pattern recognition, image processing, deep learning, embedded system application, and automotive mobile robot.

E-mail: jjkim@hoseo.edu

최재훈 (Jae-Hoon Choi)
../../Resources/kiee/KIEE.2024.73.2.433/au2.png

He is currently bachelor's degree in Dept. of Robotics at Hoseo University, Dangjin, Korea since 2021. His research interests pattern recognition, computer vision, image processing, deep learning, embedded system application, and automotive mobile robot.

김동진 (Dong-Jin Kim)
../../Resources/kiee/KIEE.2024.73.2.433/au3.png

He received his B.S. in Control and Instrumentation Engineering, and M.S. and PH.D. degree in Electronics Engineering from Hoseo University, Asan, Korea, in 1998, 2000 and 2007, respectively. He is currently Professor in Robotics and Automation Engineering at Hoseo University, Asan, Korea since 2007. His research interests sensors, embedded system application, and smart factories.

최상열 (Sang-Yule Choi)
../../Resources/kiee/KIEE.2024.73.2.433/au4.png

He received his B.S, M.S, and Ph.D degrees in electrical engineering from Sung Kyun Kwan University, Suwon, South Korea, in 1996, 1998 and 2002, respectively. Since 2004, he has been a Professor in the Department of Mechatronics Engineering, lnduk University, Seoul, Korea. His research interests include demand control, load forecasting and power distribution automation