3.1 LSTM

LSTM은 순환 신경망(recurrent neural network, RNN)의 한 종류이다. 기존 RNN의 기울기 소실(vanishing gradient) 문제를 해결하기 위해 설계되었으며, 시퀀스 내의 장기의존성을 효과적으로 학습할 수 있다⁽¹²⁾. LSTM 유닛은 셀 $C_{t}$, 입력 게이트 $i_{t}$, 망각 게이트 $f_{t}$, 출력 게이트 $o_{t}$로 구성되어 있다. LSTM 모델은 다음과 같은 관계식들로 정의된다.

$f_{t}$ : forget gate

$o_{t}$ : output gate

$i_{t}$ : input gate

$\sigma(x)=\dfrac{1}{1+e^{-x}}$ : sigmoid function

$W_{f},\: W_{o},\: W_{i},\: W_{C}$ : linear transformation matrices

$b_{f},\: b_{o},\: b_{i},\: b_{C}:$ : bias vectors

$x_{t}$ : input vector

$x\odot y$ : element wise product

$C_{t}$ : cell state

$\widetilde C_{t}$ : new cell state

LSTM의 각 게이트는 식 (5)~(7)에 따라 셀 메모리의 중요하지 않은 정보를 필터링하고, 저장할 정보를 선별하며, 출력의 정도를 결정한다. 셀 상태는 학습 가능한 모수 $W,\: b$에 의해 식 (9)~(10)을 따라 업데이트된다. 각 입력 정보에 대한 출력인 은닉 상태(hidden state) $h_{t}$는 식(8)에 따라 현재 셀 상태와 출력 게이트 $o_{t}$에 의해 업데이트된다.

3.2 LSTM Encoder-Decoder 기반 차량 경로 예측

LSTM 인코더-디코더 구조는 가변 길이의 입력 및 출력 시퀀스(sequence-to-sequence) 문제를 처리하기 위해 주로 사용되는 인공신경망 구조이다. 이 구조는 그림 2에서 묘사한 바와 같이 인코더와 디코더로 구성되어 있다. 인코더는 입력 시퀀스를 처리하여 고정된 길이의 컨텍스트 벡터(context vector)로 변환하는 역할을 한다. 이 때, LSTM의 장기의존성을 포착하는 특성을 활용해 입력 시퀀스의 주요 특성과 정보를 효과적으로 컨텍스트 벡터로 압축할 수 있다. 디코더는 인코더가 생성한 컨텍스트 벡터를 초기상태로 사용하여 타겟 시퀀스를 생성한다. 이 과정에서 디코더는 출력 시퀀스를 재귀적으로 생성한다.

차량 경로 예측에서 LSTM 인코더-디코더는 차량 경로(trajectory)를 입력 길이 $m$과 출력 길이 $n$의 합인 $m+n$ 길이의 스닙펫(snippet)으로 분할하여 학습한다. 길이 $m$ 인코더 입력 시퀀스에 대한 길이 $n$ 디코더 출력 시퀀스는 스닙펫 후반부의 길이 $n$ 경로 시퀀스와 오차를 계산하고, 이를 지도학습하여 경로 예측 성능을 향상한다.

3.3 LSTM 기반의 스위칭 방식 경로 예측

본 논문에서 제안된 프레임워크는 SVM-RBF(support vector machine with radial basis function kernel)를 활용하여 차량의 거동을 분류하고, 다중 LSTM 인코더-디코더 모델에서 해당 거동에 맞춰 최적화된 LSTM 인코더-디코더(encoder-decoder) 모델을 선택해 경로를 예측하는 방식으로 설계되었다. 그림 3은 제안된 프레임워크의 간략한 묘사이다. 가상 시작선(imaginary start-line, ISL)을 도입하여, 차량의 정형 및 비정형 거동 패턴이 나타나는 초기 지점으로 정의한다. 차량이 ISL을 통과한 직후부터 특정 시간 $t_{l}$ 동안 차량의 위치, 요우(yaw) 변화율, 속도 등의 현재 상태를 SVM-RBF의 입력으로 거동을 분류하고, 가장 빈번한 거동을 교차로를 빠져나갈 때까지 고정한다. 이 정보는 다중 LSTM 인코더-디코더 모델에 입력으로 제공된다. 입력된 거동 분류를 기반으로 특정 모델의 예측 결과만 도출되는 스위칭 메커니즘(switching mechanism)을 도입함으로써 예측 구간 동안 거동 분류의 불안정성을 줄이고 목표 지점을 일관적으로 유지할 수 있다. 이는 C-ITS와 자율주행 차량에게 경로 계획에 유용한 정보를 제공할 수 있다.

제안된 프레임워크의 모수 설정과 학습은 캐스케이드(cascade) 방식으로 진행된다. SVM-RBF 커널의 경우, 상기한 바와 같이 학습과정에서 경로 데이터와 그에 대응하는 레이블을 활용하여 지도 학습한다. 모수 최적화는 그리드 서치(grid search) 알고리즘을 사용하였다. 이를 통해 $C$ 값과 $\gamma$ 값 등의 가능한 모든 모수 조합을 교차 검증하여 최적의 모수 조합을 선정한다. 비정형 데이터에 대한 가중치는 ISL 및 데이터 분포를 고려하여 실험적인 방법으로 최적값을 결정한다.

본 연구에서는 각 거동에 대한 LSTM 인코더-디코더 최적화를 위해 ⁽¹¹⁾에서 제안한 선택적 데이터 학습 방식(Selective Data Training Approach)을 적용하였다. 이 방식에 기반하여, 정형 거동 경로 예측 모델의 경우, 학습 과정에서 비정형 경로 데이터를 배제하였다. 역으로, 비정형 거동의 경로 예측 모델의 학습 과정에서 정형 거동 경로 데이터를 배제하였다. 이런 학습 방식을 통해 모델은 범용성을 확보하면서도, 특정 거동에 대응하는 도착 지점 예측 성능을 높일 수 있다. 또한, 이는 ⁽⁴⁾에서 지적한 LSTM 기반 모델의 경로 예측에서 발생하는 여러 거동의 평균 경로 값으로 예측하는 예측 편향을 해소할 수 있다.

4.1 데이터 구성

본 연구에서 제안된 프레임워크의 검증을 위해 ⁽¹⁾의 경로 데이터셋을 활용했다. 해당 경로 데이터셋은 4-방향 교차로에서 2개의 좌회전 전용 차선에서 수집된 데이터로 구성되어 있다. 각 차선에 대해 정형 거동은 기존 차선을 유지하면서 수행되는 좌회전을, 비정형 거동은 좌회전 도중 차선 변경이 발생하는 경우로 정의한다. 각 거동에 해당하는 차량의 경로(path)는 그림 4에서 확인할 수 있다. 본 연구의 주목적이 편중된 소규모 데이터셋에서의 경로 예측 성능 향상에 있으므로, 수집된 데이터 중에서 정형 거동 50개와 비정형 거동 30개, 총 80개의 케이스를 검증에 활용하였다. 이 중 80%의 데이터셋을 프레임워크의 학습에 사용하였고, 20%의 데이터셋을 검증에 사용하였다.

좌표계 설정에 있어서, x-축은 차량의 진입 방향에 일치하도록 정렬하였으며, x-축 좌표가 0m인 지점은 모든 실험 차량이 연구의 목적에 부합한 운행을 시작하는 지점으로 설정하였다. SVM과 LSTM 인코더-디코더는 x-축 좌표의 값이 0m인 지점부터 y-축 좌표의 값이 80m인 지점까지의 경로를 학습하였다. 데이터셋 세부 구성은 표 1과 같으며, 그림 4는 80개 케이스에 대한 경로 데이터들을 나타낸다.

4.2 거동 분류 및 경로 예측 검증

본 논문의 실험은 PyTorch 플랫폼을 기반으로 진행되었다. 실험에 사용된 하드웨어 환경은 NVIDIA GeForce 3060 Ti GPU, 16GB RAM, 및 Intel Core i7 CPU로 구성되어 있다. 모델의 모수 설정은 표 2와 같다. 손실 함수로는 Mean Squared Error(MSE)를 사용하였다. 성능 평가 지표로는 유클리디언 거리를 기반으로 한 Mean Absolute Error(MAE)와 Root Mean Squared Error(RMSE)를 적용하였다. 최적화 알고리즘으로는 Adam 옵티마이저를 사용하였으며, 학습률(learning late)은 0.001로 초기 설정한 후, 검증 데이터에 대한 오차 개선이 정체될 때마다 학습률을 절반으로 조정하는 방식으로 모수를 최적화하였다.

제안된 프레임워크에서 각 거동에 최적화된 LSTM 인코더-디코더는 총 네가지의 거동 유형을 고려하여, 각 차선별로 정형/비정형 데이터에 해당하지 않는 데이터를 배제하는 방식으로 학습하였다. 모든 경로 예측 LSTM 인코더-디코더는 2초의 입력 경로 시퀀스에 대하여 4초의 경로 시퀀스를 출력한다. 각 거동에 해당하는 예측 모델의 학습 데이터는 표 3에서 확인할 수 있다.

성능 비교를 위해 동일한 모수 설정을 갖는 LSTM 인코더-디코더 모델을 기준 모델(Baseline)로 선택하였다. 이 기준 모델은 전체 학습 데이터를 사용하여 학습이 이루어졌다. 본 연구에서 제안한 프레임워크의 거동 분류에 필요한 시간 $t_{l}$은 0.1초로 설정하였다. '4.1 데이터 구성' 섹션에서 설명한 것과 같이 x-축 좌표를 설정했을 때, 차량은 x-축 좌표 90m 지점에서 교차로에 진입한다. 이 지점부터 거동 패턴이 나타나므로, ISL의 위치를 x-축 좌표 기준 88m, 90m, 92m, 94m, 96m로 변경하면서 분류 정확도와 예측 정확도를 평가하였다. 예측 정확도의 지표로는 RMSE와 MAE를 사용하며, 이는 식 (12), (13)에 따라 계산되었다. 예측 구간은 1차선의 경우 y-축 기준 14m를 지난 시점까지, 2차선의 경우 y-축 기준 12m를 지난 시점까지로 한정하였다. 이 구간은 교차로에 진입한 이후 약 2초가 소요되는 시점으로, 차량의 좌회전 시 동적 변화가 가장 크게 나타나는 구간이다. ISL 위치에 따른 스니펫 수는 표 4에서 확인할 수 있다.

$i = 1,\: 2,\: ...,\:n$

표 5는 실험 결과 얻어진 기준 모델의 ISL의 위치와 거동에 따른 예측 RMSE와 MAE를 보여준다. 표 6은 본 논문에서 제안한 프레임워크의 ISL의 위치와 거동에 따른 SVM의 분류정확도, RMSE, MAE를 보여준다. 실험 결과에 따르면 표 6에서 모든 거동에 대해서 ISL의 x-축 위치 좌표값이 증가할수록 SVM의 정확도가 100%에 수렴하는 것을 확인할 수 있다. 이는 거동 분류가 되는 시점을 늦출수록 거동 분류의 정확도가 향상되는 것을 의미한다. 이는 교차로 진입 후 거동의 특성이 점점 뚜렷해지는 그림 4의 경향과 일치한다.

또한, 프레임워크의 거동 분류의 정확도가 100%에 가까워질수록 모든 거동에 대해서 표 5의 기준 모델과 비교하여 RMSE와 MAE가 크게 감소하는 것을 확인할 수 있다. 특히, ISL 위치를 x-축 기준 96m로 설정하였을 경우 비정형 거동인 M2와 M3에서는 기준 모델과 비교해 RMSE가 각각 35.17%와 26.69%로 크게 감소하였다. 이는 기준 모델의 경우 비정형 거동을 상대적으로 데이터가 많은 정형 거동으로 예측하는 경향이 있음을 의미한다. 이는 M2, M3 샘플 예측 결과인 그림 6에서도 확인할 수 있다.

정형 거동에 대한 예측 오차도 기준 모델과 비교해 유의미하게 감소하였는데, 이는 비정형 거동을 배제한 예측을 수행함으로써 얻어진 결과이다. 이를 통해 선택적 학습 전략이 소규모 데이터 경로 예측에서 효과적임을 알 수 있다. 또한 제안된 프레임워크는 이러한 성능 향상 외에도 거동을 특정 값으로 분류할 수 있는 구조적인 장점을 가지고 있다. 이를 통해 제안된 프레임워크는 자율주행 차량의 주행 경로 계획에 더욱 신뢰성 있고 효과적인 정보를 제공할 수 있다.

그러나, ISL의 위치가 교차로 진입 지점 이전 혹은 직후에 위치하는 경우, 거동 분류의 정확도가 낮아지고 오차가 기존 모델보다 증가하는 것을 확인할 수 있다. 이는 잘못된 도착지점에 대해 높은 확신을 갖고 예측하기 때문이다. 이로 인해 거동을 빠르게 파악하는 것과 정확하게 파악하는 것 사이의 적절한 균형이 필요하다는 것을 알 수 있다.