1. 서론

4차 산업혁명 기술 중에서 미래 자동차에 대한 관심이 증가하고 있다. 미래 자동차의 핵심 기술 중 하나는 자동차가 스스로 운행을 제어하는 자율주행 기술이며 이에 대한 중요한 핵심 기술은 충돌감지 기술이다⁽¹⁾. 충돌감지 기술은 장애물이나 보행자, 자동차가 나타나면 자동으로 감지해서 자동차가 브레이크를 밟거나 피해서 사고를 미연에 방지하는 기술이다. 이러한 충돌 감지 시스템은 무인자동차, 로봇비전, 장애물 인식 등 다양한 응용 분야에서 사용되고 있는데, 하드웨어로 설계하기 위해서는 충돌 감지의 정확도와 실시간 처리 여부가 중요하게 고려되어야 한다.

다양한 알고리즘과 특징을 가진 충돌감지 시스템에 대한 많은 연구가 진행되어 왔다^(2,3). 제안된 많은 감지 알고리즘들은 기하학적인 기반에서 충돌 가능성을 계산하였다[2-4]. 많은 충돌감지 알고리즘은 물체의 이동하는 속도와 방향이 감지 시점 근처에서 크게 변하지 않는다는 가정을 적용하였다. Fuerstenberg는 레이저를 이용하여 속도와 가속도를 한정하는 특정한 영역(RONE 영역)을 정의하고 그 안에서 충돌을 감지하는 방법을 제안하였다⁽²⁾. Kumar 등이 제안한 교통감시 시스템은 자동차와 보행자의 충돌뿐 아니라 다양한 상황을 예측한다⁽³⁾. 충돌예측은 상호작용이 일어나는 영역 내에서 감지되며 물체가 가까워지고 상대적으로 빠르게 접근할 경우 충돌경고가 발생한다.

위에서 언급한 방법들, 즉 속도와 방향이 고정된 경우를 가정한 방법들은 대개 물체가 빠른 속도로 움직이며 충돌시간이 짧은 경우에는 잘 동작하나 속도가 느린 보행자의 경우에는 충돌예측이 어렵다⁽⁴⁾. 이 문제를 보완하기 위하여 보행자 동선(trajectory)에 대한 확률에 근거한 접근방법들이 제안되었다. 동적 모델을 기반으로 한 몬테 카를로(Monte Carlo) 알고리즘을 이용하여 물체의 다양한 동선을 계산하고 이를 근거로 충돌은 물체의 동선 조각들을 분석하여함으로써 진행된다⁽⁴⁾.

최근 연구들에서 LSTM(long short-term memory)을 이용한 딥러닝(Deep learning) 기법을 물체의 동선예측에 적용하였다^(5,6). Strickland 등은 자율주행 물체의 충돌위험 감지에 대하여 C-LSTM(convolutional LSTM) 기법을 적용한 예측모델을 제안하였다⁽⁵⁾. 이 연구에서 multi-modal 정보에 대한 처리와 환경내의 불확실성을 최대한 고려할 수 있는 기법을 적용하였다. Park 등은 실시간으로 움직이는 물체 주변상황을 고려하여 물체 움직임을 예측할 수 있는 딥러닝 기법을 제안하였다⁽⁶⁾. LSTM 인코더를 이용하여 과거 동선을 분석하였고 LSTM 디코더를 이용하여 미래 동선을 예측하였으며, 이 때 디코더의 출력 중에 가장 적합한 경우를 결정하기 위하여 “beam search” 기술을 적용하였다.

메뚜기 등의 곤충들은 그들의 시각신경망을 통하여 훌륭하게 물체와의 충돌을 감지하여 비행하며, 이는 LGMD(lobula giant movement detector)를 포함하는 신경세포의 기전임이 알려졌다⁽⁷⁾. LGMD 뉴런은 물체가 급격하게 가까워지면 스파이크(spike) 신호를 발생함으로써 충돌을 예측한다. 하지만 LGMD 뉴런을 기반으로 하는 충돌감지 시스템은 충돌이 예상되는 다가오는 물체에서 뿐 아니라 충돌이 발생하지 않는 옆으로 이동하는 물체에 경우에서도 충돌을 알리는 스파이크를 발생할 수 있다. 따라서 LGMD를 기반으로 하는 시스템에 물체의 이동 방향성에 대한 정보를 제공하는 DSMD(directionally sensitive movement detector) 뉴런을 추가하여 좀 더 신뢰성 있는 예측이 가능하다⁽⁸⁾.

최근 충돌감지에 대한 다양한 하드웨어 설계 연구들이 있었다^(9-11). Cuadri 등은 곤충의 시각신경망을 이용한 알고리즘을 VLSI 구조로 매핑하여 설계할 때의 구조적인 이슈들을 분석하였다⁽⁹⁾. 다만 구체적인 구조에 대한 제안 없이 추상적인 수준에서의 분석으로 제한되었다. 또한 퍼지 이론을 바탕으로 한 하이브리드 기법을 적용하여 자동차나 로봇의 충돌감지 시스템이 FPGA로 구현되었다⁽¹⁰⁾. Linan-Cembrano 등은 영상 센서, 곤충 신경망을 기반으로 하는 full-custom 연산 유닛과 이를 제어하는 디지털 프로세서 등을 SoC(System-on-chip) 기술로 집적한 시스템을 개발하여 자동차에 적용한 사례를 발표하였다⁽¹¹⁾.

본 논문에서는 방향성에 강한 곤충의 시각 신경망을 기반으로 한 LGMD와 DSMD 알고리즘을 효율적인 VLSI 하드웨어 구조로 설계하였다. 제안된 시스템은 입력 신호와 내부 모듈들을 제어하는 제어 모듈과 충돌을 감지하는 충돌 판단 모듈, 전체 움직임의 총량을 연산하는 LGMD 모듈, 각 4개의 방향(상,하,좌,우)의 방향적 특징을 파악하여 충돌감지의 신뢰도를 높이는 DSMD 모듈로 구성되어있다. 해당 모듈에서는 처리과정에서의 휴식구간을 최소화 하고 중간 데이터가 저장되는 임시 저장 공간을 최소화 하도록 설계하였다. 경계에서의 연산처리를 고려하여 설계하였으며 저역필터링 계산의 효율성을 위해서 계산 단위 화소는 3×3 행렬로 설정하였다. 또한 회로의 복잡도를 낮추기 위해 곱셈 및 나눗셈은 가능한 쉬프트 연산을 이용해서 구현하여 하드웨어 요구량을 개선하였다. 이 때 발생하는 연산의 근사화로 인한 오류는 성능분석을 통하여 검증하였다.

본 논문의 구성은 다음과 같다. 2장에서는 LGMD 알고리즘과 DSMD 알고리즘을 설명하고, 3장에서는 제안하는 하드웨어 구조와 계산 방법에 대하여 설명한다. 4장에서는 알고리즘 검증 및 제안한 하드웨어 구조의 합성결과를 분석하고 5장에서는 결론을 맺는다.

2. 곤충의 시각신경망을 이용한 충돌감지 알고리즘⁽⁸⁾

곤충의 눈은 빛을 받는 감각세포가 외부 신호에 자극하여 충돌과 방향을 파악하는 뉴런을 이용해서 충돌을 감지한다. 충돌과 방향을 감지하는 뉴런은 각각 LGMD과 DSMD이다. 또한 곤충의 망막은 이미지의 화소처럼 2차원 배열로 구성되어 있다. 따라서 본 논문에서는 LGMD와 DSMD 뉴런의 동작을 기반으로 하는 알고리즘을 이용하여 영상의 화소 값을 처리해서 차량의 충돌 감지 시스템을 설계하였다.

LGMD는 화면에서 움직임의 총량을 판단하며 물체가 빠르게 움직이면 그 움직임의 총량 값이 커져 유효한 움직임으로 판단한다. 하지만 충돌하지 않고 지나가는 물체도 큰 값으로 판단하는 단점이 있다. 이를 보완하기 위해 DSMD뉴런을 이용한다. DSMD는 충돌하는 움직임인지 지나가는 움직임인지 판단해서 LGMD의 충돌감지가 유효한지 유효하지 않은지 판단하는 역할을 한다.

3. 제안한 구조

그림. 3은 제안한 충돌 감지 시스템의 전체 구조로 물체의 움직임 총량을 판단하는 LGMD, 물체의 방향성을 판단하는 DSMD, LGMD 모듈의 출력인 SUM 값을 DSMD 모듈에서 사용하기 위해 저장하는 메모리 S-mem, 그리고 충돌 여부를 판단하는 Decision Block으로 구성되어 있다.

연속된 3장의 영상으로부터 3개의 1×3 화소 단위로 LGMD에 입력되고 앞장에서 설명한 P-, I-, S-layer 연산을 진행하며 최종 S-layer 값을 누적한 LGMD 값은 LGMD_reg에 저장된다. 이 때 만들어진 S-layer 값들 중 일부는 DSMD 연산에서도 필요하여 S-mem에 임시 저장된다. DSMD 연산과정은 영상의 중앙에 해당하는 영역에서만 진행된다. 150×100 영상을 기준으로 할 때, 상하의 움직임을 판단하는 V_MD(vertical movement detector)의 경우는 영상의 중앙에 대응되는 71열에서 80열까지, 좌우의 움직임을 판단하는 H_MD(horizontal movement detector)의 경우에는 마찬가지로 중앙에 대응되는 35행에서 44행까지에서 진행된다. 결과적으로 LGMD 모듈에서 얻어진 움직임의 총량 값과 DSMD 모듈에서 계산된 네 방향에 해당하는 값을 종합하여 Decision Block에서 충돌을 예측한다.

4. 성능분석

본 연구에서는 다양한 도로영상을 분석하여 충돌감지를 위한 LGMD와 DSMD의 임계값을 10000으로 설정하였다. 그리고 DSMD의 두 방향성 중 한 방향 값이 반대 방향 값보다 8배 이상일 경우, 충돌이 아닌 지나가는 움직임으로 감지함과 동시에 LGMD에서 감지된 충돌이 아니라고 판단하게 된다. 그리고 차이가 실험적인 파라미터인 8배 이하면서 임계값 이상일 경우 충돌이라 판단한다.

충돌을 감지하게 하는 Decision 값은 LGMD에서 임계점 이상인 경우 5점을 부여한다. DSMD의 경우 임계점 이상이고, 상응하는 방향의 값이 8배 이상 차이나지 않는 경우 수직은 3점, 수평은 5점을 부여한다. 그 이유는 영상 크기가 150×100이므로 상하보다 좌우에 정보가 더 많으며, 충돌에 영향을 미치는 물체의 움직임은 일반적으로 상하 보다는 좌우로 움직이는 경우가 많기 때문이다. 연속된 세 개 영상의 점수의 합이 15점 이상일 경우 충돌이라고 판단한다. 그러나 LGMD가 임계점 이상일지라도 DSMD가 상응하는 방향의 값이 8배 이상 차이 날 경우 LGMD 또한 0점으로 처리된다. 그 이유는 움직임은 크지만 DSMD에서 지나가는 영상으로 판단하기 때문이다.

그림. 6은 충돌하는 영상 샘플을 보여준다. 그리고 그림. 7과 그림. 8은 각각 해당영상에 대한 LGMD와 DSMD의 변화도를 나타낸다. 충돌 영상 분석 결과 그림. 7의 모든 프레임에서 LGMD는 임계점을 넘었기 때문에 유효한 것으로 판단한다. DSMD의 경우 9번째 프레임 이전까지는 임계점을 넘지 못하고 있기 때문에 0점을 갖는다. 그러나 9번째 프레임에서는 Up 값은 140,000이고 Down 값은 40,000이므로 임계점을 넘고 8배가 넘지 않고 있기 때문에 충돌로 올바르게 판단한 것을 알 수 있다.

그림. 9는 옆으로 지나가는 영상 샘플을 보여준다. 영상 분석 결과 그림. 10에서 12, 13프레임을 제외한 모든 프레임에서 LGMD의 경우 실제로 충돌하지 않지만 임계점을 넘어가고 있으므로 유효한 것으로 판단한다. 하지만 그림. 11의 DSMD의 경우 4번째 프레임을 제외하고 Left 값보다 Right 값이 8배 이상 차이 나므로 LGMD 값은 0점으로 처리되고, 충돌이 아닌 오른쪽 방향 움직임이라고 판단한다.

그림. 12는 사선으로 다가와 충돌하는 영상 샘플을 보여준다. 영상 분석 결과 그림. 13에서 9번 프레임 이후에서 LGMD 값이 임계점을 넘어가고 있으므로 유효한 것으로 판단한다. 그림. 14의 DSMD의 경우에도 전 프레임에서 임계점을 넘지 못하고 있지만 Up과 Down 값, Left와 Right 값이 8배가 넘지 않고 있기 때문에 그 때의 LGMD 값에 따라 충돌로 올바르게 판단한 것을 알 수 있다. 이 때 LGMD와 DSMD 값들이 작은 이유는 샘플 영상의 자동차 속도가 상대적으로 낮기 때문으로 생각된다.

본 논문에서 제안한 충돌 감지 시스템은 verilogHDL로 설계하여 검증하였고, Synopsys를 사용하여 합성하였다. 제안한 구조는 동부하이텍 110nm 표준셀 라이브러리로 합성한 결과로 8400개의 게이트를 필요로 하며 내부 데이터를 저장할 I-mem은 약 14KB, S-mem은 약 2.5KB 정도 필요하다. 최대 동작주파수는 333MHz로 VGA(640×480) 기준 약 1085fps을 보여준다. 따라서 향후 더 큰 영상을 다루거나 자율주행을 위하여 다른 시스템을 집적하여도 충분한 성능을 보여준다. 충돌감지 알고리즘에 대한 VLSI 설계 사례 중에 본 연구와 비교할 수 있는 사례가 없어 객관적인 성능비교가 어렵지만 향후 자율주행 자동차의 실시간 시스템 구현에 기여할 수 있을 것으로 기대한다.

5. 결 론

본 논문에서는 곤충의 시각 신경망을 이용한 차량 충돌 감지 시스템을 하드웨어로 설계하였다. 물체의 움직임 총량을 판단하는 LGMD와 방향성을 판단하는 DSMD를 결합하여 충돌하는 경우와 지나가는 경우를 구분하여 신뢰도를 높였으며 이를 효율적인 하드웨어 구조로 매핑하여 설계하였다. 입력 영상에서 한 번에 세로 3픽셀씩 처리하여 3×3 저역필터의 구현을 용이하게 하였고 곱셈과 나눗셈을 간단한 쉬프트 연산으로 치환하였고 이에 발생하는 에러를 포함하여 파라미터를 모의실험을 통하여 결정하였다. 네 방향에 대한 DSMD 계산에서 각각의 데이터 의존도에 의하여 중간 결과를 저장하기 위해 필요한 저장 공간은 스케줄링을 분석하여 용량을 최소화하였다. 제안한 구조는 동부하이텍 110nm 표준셀 라이브러리를 사용하여 합성한 결과로 8400개의 게이트가 필요하며 최대 동작주파수는 333MHz로 VGA(640×480) 기준 약 1085fps을 보여준다.