2.1.1 V2V 송신 프레임 구조

본 논문에서는 RC Car를 이용한 리더 추종을 위해 전진, 후진, 정지 명령을 사용한다. 전방 RC Car와 후방 RC Car의 정보를 송·수신하기 위해서 OOK 변조를 사용하였다. 그림 2는 OOK 변조를 적용한 가시광 통신을 나타낸 것으로 LED가 On이면 Data ‘1’을 나타내고, Off이면 Data ‘0’을 나타낸다. 그림 3은 송신 프레임 구조를 나타낸다. 송신 프레임 구조는 Sync Packet 4 bits와 Information Packet 4 bits로 구성되며 Sync Packet은 수신부에서 송신 데이터의 시작지점을 구분한다. Information Packet은 전진, 후진, 정지 정보를 포함하는 부분으로 총 2⁴-1개의 정보 명령을 담을 수 있다. 표 1은 전진, 후진, 정지 정보를 정의한 것으로 키보드 입력에 따라 각 정보가 사용된다.

그림. 2. LED를 이용한 OOK 변조

Fig. 2. OOK modulation using LED

그림. 3. OOK 기반 송신 프레임 구조

Fig. 3. OOK-based transmission frame structure

그림. 4. MC로 맵핑된 송신 프레임 구조

Fig. 4. Transmission frame structure mapped to MC

본 논문에서는 후미등의 광원으로써의 역할을 유지하기 위해서 송신 프레임 구조를 MC로 맵핑한다. MC는 Data ‘0’을 [1, 0]으로 Data ‘1’을 [0, 1]로 인코딩하는 것으로 후미등의 On, Off의 주기를 균등하게 하여 조명으로써의 역할을 유지하게 한다. 따라서 그림 4와 같이 데이터 길이가 2배로 커져 실제 전송되는 송신 프레임 구조는 Sync Packet 8 bits와 Information Packet 8 bits로 총 16 bits가 전송된다.

2.1.2 Motor 및 LED 후미등 제어

본 논문에서 전방 RC Car는 그림 5와 같이 키보드로부터 입력받은 정보에 따라 LED 후미등과 Motor를 제어한다. 후미등 제어는 송신 rate와 수신 rate의 동기화가 필요하다. 그림 6은 LED 후미등 점멸 rate와 Camera의 frame rate를 나타낸 것으로 Camera의 frame rate (30fps)에 맞추어 LED 후미등을 30Hz로 설정한 것을 나타낸다. 추가적으로 정보 수신율을 높이기 위해 송신 프레임 구조를 총 4번 반복하여 전송한다. 그림 7은 명령에 따른 Motor 제어를 나타내며 입력받은 명령에 따라 Raspberry Pi의 PWM 제어를 통해 Motor를 제어한다. 그림 7의 Motor 1은 RC Car가 전진하는 방향으로 작동하며, Motor 2는 후진하는 방향으로 작동한다.

그림. 5. 전방 RC Car 제어 알고리즘

Fig. 5. Algorithm of control preceding RC car

그림. 6. LED 점멸 rate & Camera frame rate

Fig. 6. Algorithm of control preceding RC car

그림. 7. 명령에 따른 Motor 제어

Fig. 7. Motor control according to command

그림. 8. 수신부 Block Diagram

Fig. 8. Block Diagram of receiver

2.2.1 실시간 영상촬영

본 논문에서 실시간 영상 촬영을 위해 Raspberry Pi Camera를 이용하였다. Raspberry Pi Camera의 frame rate와 LED의 점멸 rate를 맞추고 OCC를 이용하면 Camera의 매 frame에서 LED의 On-Off 정보를 수신할 수 있다. 수신부는 실시간 영상 처리를 위해서 빠른 연산 속도를 요구한다. 일반적으로 Camera에서 얻어지는 영상은 RGB 세 개의 색상을 사용하게 되어 이를 모두 사용하게 되면 연산속도가 느려진다. 이를 보완하기 위해서 Gray Image를 사용하였다. 그림 9는 실시간 영상을 Gray Image로 받아 온 모습이다. 그림 9의 (a)는 LED가 On 되어 있을 때의 Image를 나타내고, (b)는 LED가 Off 되었을 때의 Image를 나타낸다.

그림. 9. Gray Image로 변환한 On, Off Image

Fig. 9. On, Off Image converted to Gray Image

2.2.2 영역 검출

제안된 방식은 송신 프레임 구조를 MC로 인코딩하기 때문에 3개의 연속 Image 이내에 On 또는 Off Image가 최소한 한 번은 교차하도록 되어있다. 이러한 특성을 이용해 연속되는 3개 Image를 사용하여 후미등 영역을 검출한다. 이때 Image Differential 기법이 사용된다. Image Differential 기법은 연속되는 On, Off 이미지를 차분하여 유사한 밝기 값을 가진 배경 부분은 제거하고 값의 차이가 큰 후미등 영역만을 두드러지게 한다. 그러나 Image Differential 기법은 3개의 Image가 사용되기 때문에 처리 과정이 길다는 단점이 있다. 이를 보완하기 위해서 64 frame 주기로 영역을 검출하는데 사용되고 그 외 Image에서는 Block Matching 기법을 이용해 영역을 추적한다. 그림 10은 그림 9의 (a), (b)와 같이 연속되는 On 또는 Off Image를 Gray Image로 가져와 Image Differential 한 결과 Image이다.

그림. 10. Differential 결과 Image

Fig. 10. Image of result with differential

그림. 11. Block Matching을 이용한 ROI 추적 과정

Fig. 11. ROI tracking process using Block Matching

2.2.3 ROI 추적

본 논문에서는 후미등 영역을 ROI로 설정하고 자동차가 이동하는 상황에서 Block Matching 기법을 이용하여 ROI를 추적한다. 먼저 그림 11(a)의 파란색으로 표시된 부분은 Image Differential을 통해 얻은 후미등 영역을 나타낸다. Block Matching은 후미등 영역을 기반으로 자동차의 이동을 고려하여 ROI 주변에 margin을 주어 최소한의 영역에서 다시 후미등을 검출하는 기법이다. 그림 11(b)의 빨간색으로 표시된 부분이 Block Matching 기법을 이용해서 후미등 영역에 margin을 준 모습이다. 이 기법은 후미등이 있을 영역의 범위를 좁혀줌으로써 광범위한 데이터 분석을 피할 수 있도록 해준다.

2.2.4 데이터 분석 기법

본 논문에서는 window 영역(T_(n)) 내 평균 밝기 최댓값에 특정 비율(α)을 곱한 값을 Threshold로 설정하고, 이를 이용한 Binarization 기반 데이터 분석 기법을 제안한다. 먼저 window 영역(T_(n))은 주변 상황에 따라 변화하는 밝기에 적응하기 위해서 식(1)과 같이 이전 데이터( $M_{n-7},\cdots ,M_{n-1}$) 7개와 현재 데이터(M_n) 1개로 정의된다. 이 때 T_(n)의 크기는 명령 정보인 Information packet의 크기와 같고, M_n은 현재 프레임에서 검출된 후미등 영역의 평균 밝기 값을 의미한다. 식(2)는 Binarization 기반 데이터 분석 기법을 수식화한 것으로, M_n이 특정 Threshold(max(T(_n))•α) 값 이상이면 Data ‘1’, 이하이면 Data ‘0’으로 정의한다. 추가적으로 α는 LED의 잔상으로 인한 데이터 분석 오류를 보완하기 위해서 이전 Image에서 후미등이 On이면 Off일 때보다 크게 적용된다.

2.2.5 정보 수신 및 Motor 제어

본 논문에서 송신 프레임 구조가 Sync Packet 8bits와 Information Packet 8bits로 총 16 bits를 가지므로 16개 이상의 Data가 수신되었을 때 Matched Filter를 이용해서 정보를 수신한다. Matched Filter는 먼저 Sync Packet 8 bits를 확인하고, Sync Packet이 일치할 때 Information Packet을 비교하는 방법이다. 이때 Sync Packet과 Information Packet이 일치하면 그림 7과 같이 Data의 정보에 따라 후방 RC Car의 Motor를 제어한다.

2.3.1 실험환경

그림 12는 실험 환경을 나타낸다. 전·후방 RC Car의 본체는 RC Car 키트, Raspberry Pi 3, Motor Driver, 보조 배터리를 이용하여 만들었다. 후미등과 Camera는 LED와 Raspberry Pi Camera를 사용하였다. 정보 수신율을 확인하기 위해서 거리(cm)별로 실험하였다. 전방 RC Car의 전진, 정지, 후진에 대한 정보는 OCC를 사용하여 전송한다. 측정을 위한 실험 거리는 10~100cm로 설정하였다. 또한, 가장 일반적인 Camera 상황에서 거리 추정이 가능함을 보이기 위해 Camera 보정을 하지 않은 상태로 진행하였다.

그림. 12. 실험 환경

Fig. 12. Experiment environment

2.3.2 실험 결과

본 논문에서는 전방 RC Car의 후미등과 후방 RC Car의 Camera 간 거리에 따른 정보 수신율을 10cm에서 100cm까지 10cm 간격으로 20번씩 확인하였다. 그림 14는 전진, 후진 정보 수신율을 나타낸 그래프이다. 그래프의 가로축은 전방 RC Car의 후미등과 후방 RC Car의 Camera 간 거리를 나타내고, 세로축은 후방 RC Car의 수신율을 나타낸다. 그래프에서 RC Car 간 거리가 70cm 이하에서는 높은 수신율을 확인할 수 있으며, 70cm 이상에서는 급격하게 수신율이 낮아지는 것을 확인할 수 있다. 실험 결과 70cm 이하의 거리에서 RC Car를 이용한 리더 추종이 가능하였으며 70cm 이상의 구간에서는 후방 RC Car의 Camera에 나타나는 전방 RC Car의 후미등이 검출되지 않아 정보 수신이 어려움을 알 수 있었다.

그림. 13. 차량 간 거리에 따른 명령 정보 수신율

Fig. 13. Information reception ratio according to distance of vehicle to vehicle