1. 서 론

세계보건기구(WHO: World Health Organization, 이하 WHO)는 2020년 3월 12일 코로나19를 팬데믹(Pandemic)으로 선언했다^[1]. 2020년 정부는 코로나19 확산을 억제하기 위해 사회적 거리 두기를 시행했고, 실내 체육시설의 운영 중단을 권고했다. 이에 따라 대한민국 국민들의 2020년 생활체육 참여율은 60.1%로 2019년 생활체육 참여율 66.6% 대비 6.5% 감소했다^[2]. 이후 사회적 거리 두기 해지에 따라 2022년 생활체육 참여율은 61.2%로 2020년 대비 1.1% 증가했다. 문화체육관광부 통계에 따르면 2021년과 2022년 체육 동호회 가입 순위 상위 5개 종목은 골프, 축구 및 풋살, 배드민턴, 볼링, 테니스로 조사되었다. 2022년 골프는 전년 대비 5.1% 감소했지만, 그 외 종목들은 모두 증가하였다. 테니스는 증가한 종목 중 가장 큰 상승률인 3.3%를 기록하였다^[3]. 또한 국내 실내 및 실외 테니스장의 수도 2016년 740곳에서 2021년 856곳으로 5년 새 116곳이 증설되면서^[4~5], 테니스는 최근 대한민국 국민들 사이에서 높은 인기를 끌고 있는 운동 종목으로 자리 잡고 있다.

테니스는 두 명 이상의 인원을 필요로 하는 스포츠지만 개인 훈련을 목적으로 혼자 연습하거나 강습을 받는 경우가 있다. 테니스를 혼자 연습하는 방법은 벽치기나 스매시 및 서브와 같은 스윙 훈련 등이 있지만 스윙 훈련을 마치고 나면 많은 공을 혼자서 주워야 한다. 훈련과 공을 줍는 행위가 반복되면 불필요한 체력을 소모하고 훈련의 흐름을 방해하여 집중도가 저해된다. 또한 강습은 일반적으로 공을 치는 시간뿐만 아니라 공을 줍는 시간도 포함한다. 강습 시간 안에 사용한 공을 모두 줍는 것이 늦어지면, 다음 강습생은 그만큼 시간이 미뤄지게 되어 불편한 상황을 초래하게 된다. 이처럼 혼자서 연습하기 위해서 많은 공을 주워야 한다는 번거로운 문제가 발생하기 때문에 테니스공을 수거하는 장치의 필요성을 느낀다.

현재 테니스공을 수거하는 장치는 3가지다. 첫 번째로, 스카로(SKARO)사의 ‘볼 스위퍼(ball sweeper)’이다. 볼 스위퍼는 사람이 볼 스위퍼를 움직여 공을 한 곳으로 모아주는 테니스공 수거 장치이다. 많은 양의 공을 모아주는 대신 모인 공을 사람이 직접 담아야 한다는 단점을 가지고 있다. 두 번째로, 루스피드(Luspeed)사의 ‘볼 피커 롤러(ball Picker Roller)’이다. 볼 피커 롤러는 사람이 볼 피커 롤러를 굴려서 공을 수거할 수 있는 테니스공 수거 장치이다. 허리를 굽히지 않고 손쉽게 공을 수거할 수 있지만 수거 가능한 공의 개수가 적고 수거된 공을 다시 볼 바구니에 넣어야 한다는 단점이 있다. 세 번째는, 시보아시(Siboasi)사의 ‘볼 피킹 카트(ball Picking Cart)’이다. 볼 피킹 카트는 사람이 카트를 움직여 공을 반자동으로 수거할 수 있는 테니스공 수거 장치이다. 이 기구는 반자동으로 공을 수거할 수 있지만 사람이 직접 크고 무거운 카트를 밀어 수거해야 한다. 위와 같이 테니스를 즐기는 사람들을 위한 다양한 테니스공 수거 장치가 존재하지만, 장치를 이용하기 위해서는 여전히 사람이 관여해야 한다.

본 논문에서는 사람이 직접 테니스공을 수거해야 한다는 단점을 보완하여 사람을 대신하여 테니스공을 자동으로 수거할 수 있는 로봇을 개발하고자 한다. 제작하는 로봇은 딥러닝 기반의 YOLO 커스텀 이미지 트레이닝 알고리즘을 이용하여 주변의 테니스공을 검출하여 스스로 공의 위치로 이동하고 테니스공을 자동으로 수거한다. 또한 충돌 방지를 위해 센서를 사용하여 테니스공 이외의 장애물과 충돌하지 않고 수거할 수 있도록 제작할 것이다.

2. 현재 테니스공 수거장치

2.1 볼 스위퍼

그림 1은 스카로사의 볼 스위퍼를 보여주고 있다. 볼 스위퍼는 테니스 코트에서 사용되는 바닥에 흩어진 공들을 빠르게 모아주는 장치 손잡이와 아래쪽에 공을 수거할 수 있는 형태로 되어있다. 손잡이를 잡아 이 장치를 움직이면 하단부의 바퀴가 굴러가 움직인다. 또한 하단부에 의해 테니스공을 바닥에서 주워들이고, 그 공들을 수납하여 효과적으로 수거할 수 있다.

그림 1. 볼 스위퍼

Fig. 1. Ball Sweeper

2.2 볼키퍼 롤러

그림 2는 루스피드사의 볼 피커 롤러를 보여주고 있다. 볼 피커 롤러는 테니스 코트에서 스프링 로드 메커니즘을 이용하여 테니스공을 수거하는 장치다. 스프링 로드 메커니즘은 장치의 하단에 위치한 롤러를 공 위로 굴릴 때 작동한다. 볼 피커 롤러를 공 위로 굴리면 공이 롤러의 입구를 통과하게 되는데, 이때 스프링 로드가 압축되고 압축된 힘은 공이 스위퍼 내부로 들어가는 힘을 제공하고 공이 스위퍼의 입구를 통과하면 압축된 스프링이 원래의 상태로 돌아가면서 에너지를 방출하게 되고, 방출된 에너지로 공을 롤러 내부로 수거한다.

그림 2. 볼 피커 롤러

Fig. 2. Ball Picker Rollor

2.3 볼 피킹 카트

그림 3은 시보아시사의 볼 피킹 카트를 보여주고 있다. 볼 피킹 카트는 테니스 코트에서 사용되는 테니스공 수거 장치 중 하나이며, 여러 개의 테니스공을 수거하고 운반할 수 있는 장치이다. 이 장치는 손잡이와 테니스공을 보관할 수 있는 두 개의 바구니를 가지고 있고 하단부에 공을 효과적으로 수거할 수 있게 설계되어 있다. 또한 손잡이 부분 아래쪽에 두 개의 바퀴가 있으며 두 바퀴 사이에 공을 수거할 수 있도록 설계되어 있다. 사용자가 손잡이를 잡아서 카트를 끌면 손잡이 부분 아래쪽의 두 바퀴를 통해 카트가 움직인다. 카트가 움직일 때 두 바퀴 사이에 있는 프레임을 통해 테니스공이 아래쪽 바구니에 수거된다. 이렇게 설계된 볼 피킹 카트는 적은 힘으로 많은 공을 효과적으로 수거할 수 있다.

그림 3. 볼 피킹 카트

Fig. 3. Ball Picking Cart

3. 시스템 설계 및 제작

3.1 하드웨어 시스템 구성

그림 4는 제작하는 로봇의 하드웨어 블록도이다. MCU는 저가형 8비트 마이크로컨트롤러인 PIC18F25K22을 사용하였다. 메인부와 센서부에 각각 2개의 MCU를 사용하여 데이터의 분산처리를 하였다.

그림 4. 로봇 하드웨어 블록도

Fig. 4. Robot H/W Block diagram

메인부 MCU와 센서부 MCU는 RS-485를 사용하여 Seiral 유선 통신을 하여 통신망을 구축했다. 메인부 MCU는 Webcam의 데이터 처리를 위해 Webcam과 연결된 PC와 블루투스 통신을 했고, 주행을 위해 BLDC모터를 사용했다. 또한 주변 장애물 감지를 위한 초음파센서 3개와 테니스공 수거를 위해 DC모터를 사용했고, 테니스공의 수거 유무를 위한 적외선 센서를 사용했다. 센서부 MCU는 APP을 통해 로봇의 수집 명령 데이터를 처리하기 위해 블루투스 통신을 하였고, 주변 장애물 감지를 위한 초음파 센서 2개와 볼 박스의 무게를 감지하기 위한 압력 센서를 사용했다. 또한 수집 종료 여부를 알리기 위한 피에조 센서를 사용했다.

3.2 기구설계 및 구성

기구부의 구성은 그림 5와 같이 수거부, 본체부 그리고 보관부로 나누어서 구성하였다.

그림 5. 기구부 구성

Fig. 5. Mechanism composition

3.2.1 수거부

그림 6은 수거부로 로봇의 전방 하단에 위치하여 공을 수거하기 위해 2개의 유도 롤러와 모터 고정 유닛으로 구성된다.

그림 6. 수거부

Fig. 6. Collection part

3.2.2 본체부

그림 7은 본체부를 보여주고 있다. 로봇의 본체에는 회로와 주행 모터, 카메라 등의 로봇 제어에 관련된 모든 부품들을 포함하고 있다.

그림 7. 로봇 본체부

Fig. 7. Robot Main body part

3.2.3 보관부

그림 8은 테니스공이 수거되어 모여지는 보관부를 보여주고 있다. 보관부는 본체부의 뒤쪽에 위치하여 슬라이드 루트부를 통해 유도된 테니스공을 보관하는 공간으로 분리가 가능하게 구성된다. 수거된 테니스공의 중량을 실시간으로 측정하도록 구성되는 무게 센서와 영상처리를 담당하는 MCU를 포함하는 제어부를 포함한다.

그림 8. 보관부

Fig. 8. Storage Part

3.3 객체인식 알고리즘

본 논문에서는 테니스공을 인식하기 위해서 객체 인식 알고리즘을 사용하였다. 사용한 알고리즘은 YOLO v5를 사용하였다. YOLO 모델은 단일 신경망을 사용하여 객체를 인식하기 때문에 구조가 간단하며 빠른 응답특성을 가지고 있다. 로봇에 객체 인식을 활용하는데 있어서는 실시간 객체를 검출하고 인식해야 하기에 빠르고, 높은 정확도가 필요하다. 따라서 YOLO 모델은 빠르고 효율적이어서 실시간으로 검출 및 인식에 사용하기에 적합하다^[6~8]. 본 논문에서는 YOLO 모델 중 낮은 용량과 빠른 처리속도를 가지고 있는 YOLO v5 모델을 사용하였다.

테니스공을 인식하고 검출하기 위해서 모델 파일을 제작하는데 라벨링과 학습과정을 통해 테니스공의 유무를 판단하게 된다. 라벨링은 그림 9와 같이 여러개의 공에 테니스공이 포함된 이미지에서 테니스공이 포함된 영역을 표시하여 학습의 재료로 사용될 수 있도록 한다. 본 논문에서는 그림 10과 같이 모델 파일 4000장을 라벨링 작업을 하여 이미지와 데이터 셋 이미지를 통해 모델 학습을 하였다.

그림 9. 이미지 라벨링

Fig. 9. Image Labelling

그림 10. 라벨링 된 데이터

Fig. 10. Image Labeling Data

라벨링이 완료된 이미지를 파이토치(Pytorch) 라이브러리를 이용하여 딥러닝을 진행하였다.

학습된 YOLO 모델을 사용한 실시간 객체 탐지로 공과 카메라의 거리를 고려하여 신뢰도가 60% 이상인 객체만을 선택하여 객체 정보를 시각화하고 출력한다. 프레임 내 선택된 객체가 한 개 이상일 경우 우선 수거할 테니스공만을 선택하여 공의 중심 좌표를 찾는다. 우선순위의 기준은 로봇으로부터 가장 가까운 공이나 모여있는 공을 기준으로 선택한다. 프레임 내 테니스공을 검출할 때 공에 외접하는 사각형을 그려 사각형의 넓이를 이용해 로봇과 가장 가까운 거리에 있거나 모여있는 공을 목표로 설정한다.

또한 다수의 공이 존재할 경우를 생각하여 영역 분할 및 객체의 영역에 따른 처리를 하였다. 프레임을 균등한 거리로 이루어진 5개의 영역으로 나누어 수거 할 테니스공의 중심 좌표를 비교하여 중심 영역인 3영역에서 0.5초 이상 감지될 경우 조향이 완료되었음을 메인 MCU에 전달한다. 또한 다른 영역에서 0.5초 이상 감지될 경우 해당 영역의 정보를 출력하고 메인 MCU에 정보를 전달하여 로봇이 조향할 수 있도록 한다. 그림 11는 영역 분할 및 객체 영역을 처리하여 획득한 결과이다.

그림 11. 영상처리 결과 화면

Fig. 11. Image Processing output Screen

3.4 앱(APP) 프로그램

테니스 공을 수거하기 위해 로봇을 제어하고, 로봇의 상태를 파악하기 위한 앱을 구현하였다. 앱과 로봇은 블루투스 통신을 이용하여 연결하여, 로봇의 동작 모드 및 상태를 표시할 수 있게 프로그램하였다. 볼을 수거하기 위한 수동 모드와 자동 모드로 구현하였다. 수동 모드는 로봇을 무선으로 조정할 수 있는 조정기와 같이 프로그램하였고, 자동 모드는 로봇의 테니스공을 검출하고 조향을 통해 볼을 수거할 수 있도록 하였다.

로봇을 제어하는 모드 중 본 논문에서는 자동 모드만을 기술하였다. 그림 12는 자동 모드의 화면을 보여주고 있다. 화면의 수집 시작을 터치하면 로봇은 자동 모드를 실행한다. 자동 모드가 정상적으로 실행이 되면 (a)와 같이 수집 중이라는 메시지가 출력된다. 로봇이 테니스공을 수거하면 상단의 수집된 공의 개수가 카운터되며 수집된 공의 갯수가 증가한다. 수집 종료 버튼을 터치하면 로봇은 자동 수거 모드를 종료하며 (b)와 같은 화면을 출력한다.

그림 12. 공 수집 화면(앱)

Fig. 12. Ball Collection Screen(App)

3.5 로봇 주행 프로그램

그림 13은 로봇의 자율주행을 위한 주행 프로그램 순서도를 나타낸다.

그림 13. 주행 순서도

Fig. 13. Driving Flow Chart

APP에서 수집 모드 실행 데이터를 로봇에 전송하면 로봇은 왼쪽으로 360도 회전하여 테니스공을 탐색한다. 탐색 중 로봇이 주변 장애물을 감지하면 회피하여 다시 탐색을 시작한다. 공이 검출되지 않으면 앞으로 3초간 주행하여 다시 탐색을 시작하고 주행 중 장애물을 감지하면 회피 후 다시 탐색을 진행한다. 탐색 중 공이 검출되었을 때 회전을 정지하여 Webcam 출력 화면에 공이 중앙에 있지 않으면 PC는 공이 중앙으로 올 수 있도록 로봇에게 데이터를 보내어 로봇이 조향한다. 조향 후 테니스공이 Webcam 출력 화면 중앙에 있을 시 PC는 로봇에게 데이터를 전송하여 로봇은 5초 동안 공을 수거하러 전진하게 된다. 5초 동안 전진하였을 때 공이 수거되지 않았거나 주변 장애물이 감지되었을　때 다시 탐색을 시작한다. 공이 수거되어 볼 박스에 들어왔을 때 압력센서 데이터 값이 지정된 데이터 값을 초과하지 않았다면 다시 탐색을 시작한다. 반대로 압력센서 데이터 값이 지정된 데이터 값을 초과하였을 경우 수집 종료 사운드를 출력하여 사용자에게 알리고 수집을 종료한다.

4. 테니스 볼 수거 로봇

그림 14는 제작된 볼 수거 로봇이고. 표 1은 로봇의 사양을 보여준다.

그림 14. 볼 수거 로봇

Fig. 14. Ball collection Robot

본 논문에서 제작된 로봇은 공을 수거하기 위해서는 공을 인식하고 공에 다가가야 한다. 따라서 공을 수거하기 위해서는 공을 인식하고, 인식된 공의 근처로 주행을 한 후에 공을 수거한다. 공이 정상적으로 수거되었는지를 판단하기 위해서 최종적으로 공이 정상적으로 수거되었는지를 확인하는 것으로 로봇의 성능을 평가할 수 있다.

제작된 테니스 볼 수거 로봇은 주행 모터와 공을 수집하기 위한 모터를 가지고 있다. 공을 수집하기 위한 모터는 공을 로봇 뒤쪽 수집 박스에 넣기 위해 사용되는 모터로 속도에 따라 공의 수집이 달라질 수 있다. 또한 로봇이 이동을 하면서 공을 수집하기 때문에 로봇의 이동 속도에도 영향을 받을 수 있다. 따라서 주행 모터와 수집 모터의 최적의 속도를 선정하기 위한 실험을 하였다. 각각의 속도별로 50회씩 총 1,500회 실험을 하였고, 실험 결과를 표 2에 나타내었다.

실험 결과 주행 모터는 1.1km/h, 수거 모터는 328rpm일 때 수거율은 98%로 가장 높은 수거율을 보였고 이 데이터 값을 로봇에게 적용하면 로봇은 테니스공을 수거할 때 최적의 수거율을 보여줄 수 있다.

실험에서 얻어진 모터의 속도를 설정하고 실제 테니스공을 수거하였다. 그림 15는 로봇이 테니스공을 수거하는 모습을 보여주고 있다. (a) ~ (h)까지 한 개의 공을 수거하기 위해 앱에서 수거 지령을 주면 수거할 테니스공을 찾고 공까지 이동하며, 이동해서 수거 완료까지의 모습을 보여주고 있다.

그림 15. 테니스공 수거 과정

Fig. 15. Tennis ball collection process

제작된 로봇을 통해 테니스공을 수거하는데 문제는 없었다. 그러나 기구적으로 볼을 수거하는 모터를 사용함으로써 하나의 문제가 발생하였다. 수거 모터를 통해 공을 수거할 때 공을 로봇의 수거 박스에 넣기 위해 뒤로 보내지는 과정에서 수거 박스에 있는 공에 맞아 튕겨나가는 현상이 발생하였다. 기구적으로 설계 시 오류라고 판단하고 있으며, 이는 볼 수거 박스가 오픈된 형태이기 때문이라고 판단된다. 향후 수거 박스 및 수거 모터부의 기구적인 수정을 통해 해결하면 수거율은 더욱 높아질 것으로 판단된다.

5. 결 론

본 논문은 코로나19로 인한 실내 체육시설의 운영 중단 권고 해지에 따라 테니스의 인기가 코로나19 이전보다 높아졌고, 이에 힘입어 혼자서 테니스를 즐기는 사람도 함께 증가하여 혼자서의 훈련에서 발생하는 공 수거에 대한 불편함을 덜어 훈련을 효율적으로 진행하기 위한 테니스공 수거 로봇을 제작했다. 해당 로봇은 테니스공을 검출하기 위해 YOLO 커스텀 이미지 트레이닝 알고리즘을 이용하여 공을 식별했고, 로봇이 직접 공을 추적하여 공을 수거할 수 있도록 조향 및 이동한다. 또한 이동 중 주변 장애물이 감지되면 장애물을 회피한다. 공의 수거가 완료되면 수거 종료를 알리는 소리를 출력하여 사용자에게 수거가 완료됨을 알린다. 로봇의 제작을 위해 M사의 저가형 8bit MCU인 PIC18F25K22를 2개 사용했고 무게, 초음파, 피에조, 적외선 센서와 DC모터, BLDC모터를 사용했다. 또한 외부는 수거부, 본체부, 보관부로 나누어 제작했고 카메라 프레임의 영역을 나누어 공의 위치를 파악할 수 있도록 하였다. 이후 작동 테스트를 통해 실제 적용 가능 여부를 판단하고 수정 및 보완하여 완성도를 높였다. 개발 시간이 부족하여 테니스공 인식률, 로봇과 테니스공의 이상적인 거리, 테니스공을 수집하기 위한 최적의 조향 각도에 대한 실험을 진행하지 못하였다. 또한 로봇이 자동 수거 도중 공이 제대로 통과되지 못할 경우, 손으로 직접 꺼내야 한다는 아쉬움이 있었다. 또한 수거 박스가 오픈되어 있어 공에 맞아 튕겨나가는 현상도 발생하였다. 이러한 문제를 보완하면 테니스를 즐기는 사람의 훈련 효율성과 편의성의 상승을 기대한다. 또한 볼을 사용하는 다양한 스포츠에도 활용이 가능하다. 특히 탁구, 스쿼시, 라켓볼 등의 실내 스포츠에서도 좋은 보조 로봇으로 활용할 수 있을 것이다.