2.1 영상 기반 표적 추적 알고리즘

영상 객체 추적은 사용자가 동영상의 특정 프레임에서 지정한 객체가 포함된 영역을 입력받아, 이후의 동영상에서 해당 객체를 자동으로 추적하는 기술이다^[5]. 영상 객체 추적을 하기 위해선 우선적으로 객체 인식 과정이 필요하며 객체의 위치와 모양을 정확하게 파악하는 Image tracer 기법을 사용하였다. 기존의 객체 인식 기법들은 복잡한 장면에서 목표 객체를 정확하게 식별하는 데 어려움을 겪지만 Image tracer는 이러한 문제들을 해결하기 위해 Extreme attention 메커니즘을 도입하였다. 또한 경량화된 구조로 설계되어 높은 효율성을 보인다^[6]. 객체를 인식한 후 Siamese 네트워크를 기반으로 하는 알고리즘을 사용하여 단일 객체를 추적하였으며 이 중 정확도가 높은 DaSiameseRPN을 선정하였다.

그림 1. Siamese-RPN 프레임워크

Fig. 1. Siamese-RPN framework

그림 1은 Siamese-RPN의 프레임워크를 보여준다. 이 프레임워크는 Siamese sub network와 Region proposal sub network로 구성된다. Siamese sub network는 과거와 현재의 프레임을 입력으로 받아, 두 개의 입력을 공통된 fully convolutional network를 통해 처리하여 특징 맵을 추출한다.

Region proposal sub network는 크게 두 개의 브랜치로 나뉜다:

1. 분류 브랜치(Classification Branch): 배경 여부를 구분한다.

2. 회귀 브랜치(Regression Branch): 이미지 또는 영상에서 추적 중인 표적을 감싸는 바운딩 박스(Bounding box)의 위치와 크기를 조정한다^[7].

이 과정에서 Pair-wise Correlation Section과 Supervision Section이 상호작용하여 실시간으로 표적을 추적한다. DaSiameseRPN은 기존 Siamese-RPN의 성능을 개선하기 위해, 불균형한 샘플 분포를 제어하는 효과적인 샘플링 전략을 도입하고, 증분 학습을 수행하기 위한 새로운 산만 인식 모듈을 설계했다. 이로 인해 표적의 크기 변화에 대한 오류가 적어, 조준장치에 적용하기에 적합한 알고리즘으로 선정했다.

또한, 본 논문에서는 하드웨어 가속기에서 AI를 동작시키는 것을 목표로 하여, 그림 1에서 CPU 부분을 제외한 모든 동작을 가속기에서 처리하도록 했다. CPU에서는 오직 Correlation이 동작하도록 설계되었다.

DaSiameseRPN은 무의미한 배경, 드리프트 현상, 그리고 추적을 방해할 수 있는 다른 객체들을 학습 데이터의 Negative 데이터 쌍에 포함하여 추적의 정확도를 향상한 알고리즘이다^[8].

그림 2. 실시간 이동 표적 추적을 위한 알고리즘 흐름도

Fig. 2. Algorithm Flowchart for Real-Time Moving Target Tracking

그림 2는 AI 조준장치에 적용된 영상 기반 실시간 이동 표적 추적을 위한 알고리즘의 전반적인 흐름을 나타낸다. EO/IR (전자광학/적외선:Electro-Optics/InfraRed) 체계로 구성된 하드웨어로 영상을 입력 영상을 획득한다. 이 영상은 실시간으로 이동하는 표적을 탐지하기 위한 기초 자료로 사용되며 입력된 비디오 영상에서 Image tracer를 통해 표적을 인식한다. 이 과정에서 표적의 위치 정보를 획득한다. 이를 DaSiameseRPN을 적용하여 표적의 움직임을 지속적으로 추적하며 4프레임마다 Δt를 추출한다. 이 알고리즘은 표적의 이동 경로를 예측하는 데 중요한 역할을 한다. Δt를 기반으로 표적의 이전 위치와 현재 위치를 비교하여 이동 벡터를 계산하며 이를 통해 표적의 미래 위치를 예측한다. 예측된 표적의 위치를 기반으로 영상 속 사각 프레임이 표적을 추적하며 따라간다.

또한 그림 2의 IR/EO VIDEO는 IR/EO 카메라를 통해 얻은 영상이다. IR/EO 카메라는 가시광선과 적외선 같은 다양한 파장의 광파 신호를 검출하고 처리하여, 여러 파장대에서 물체를 감지하고 분석할 수 있다. 이로 인해 일반적인 카메라로는 포착하기 어려운 정보도 얻을 수 있어, 군사 및 상업적 분야에서 널리 활용된다^[9].

2.2 영상 기반 움직임 벡터(Motion Vector) 추출 알고리즘

조준점을 결정하는 중요한 변수 중 하나인 움직임 벡터는 Lucas-Kanade 알고리즘을 활용해 추출하였다. 이 알고리즘은 영상 처리 및 컴퓨터 비전 분야에서 Optical Flow를 추정하는 데 널리 사용되는 기법으로, 연속된 이미지 프레임에서 물체의 움직임을 추적하거나 그 움직임의 벡터를 계산하는 데 주로 사용된다^[10]. 움직임 벡터는 대상이 이동한 거리를 벡터 형태로 표현하며, 이는 현재 위치와 과거 위치 간의 좌표 차이로 나타낼 수 있다. Lucas-Kanade 알고리즘을 적용하여, 이전 프레임과 현재 프레임에서 표적의 중심점 간의 좌표 차이를 평균 내어 움직임 벡터를 계산하였다. Lucas-Kanade 알고리즘은 적은 연산량으로 실시간 환경에서 유리한 장점을 가지지만, 윈도우 크기가 커지면 연산량이 증가하여 정확도가 저하될 수 있다. 이를 보완하기 위해 DaSiameseRPN 추적 알고리즘을 추가로 사용하여 차량의 중심점을 높은 정확도로 추적하였다.

또한, 이 알고리즘은 빛의 흐름을 이용해 영상 데이터를 추출하지만, 역광 등의 이유로 잡음이 발생할 수 있어 움직임 추정에 오차가 생길 수 있다. 이러한 오차를 줄이기 위해, 밝기 클리핑과 실시간 선형회귀 분석을 추가로 적용하여 조준 정확도를 향상한다. 밝기 클리핑은 수집된 영상 데이터에서 기준값을 초과하는 밝기 값을 평균화하여 잡음으로 인한 계산 오류를 줄이는 방법으로, 특히 하늘에서 발생하는 오차 감소에 효과적이다. 역광 상황에서 수집된 영상 데이터의 하늘 부분의 포화(Saturation) 값을 평균화하여, 잡음에 의한 오류를 최소화한다. 이후, 선형회귀를 통해 밝기 클리핑 후에도 남아 있는 오류 데이터를 분석하고, 이를 Negative data로 분류하여 계산 결과에서 제외한다. 이러한 과정은 그림 3에 시각적으로 표현되어 있다.

그림 3은 영상에서 움직임 벡터를 추출하는 단계를 시각적으로 나타낸 것이다. 세 가지 이미지로 구성되어 있으며, 각각 (a), (b), (c)로 구분된다.

(a) The Original Video:

첫 번째 이미지 (a)는 원본 영상이다. 이 이미지는 어떠한 전처리도 거치지 않은 상태로, 자연 환경에서 촬영된 영상을 그대로 보여준다.

(b) Extract Motion Vectors after Monochrome Conversion:

두 번째 이미지 (b)는 원본 영상을 흑백으로 변환한 후, 움직임 벡터를 추출한 결과를 보여준다. 흑백 변환은 영상의 명암 정보를 기반으로 움직임을 감지하고, 움직임 벡터를 계산하는 데 도움을 준다. 이미지에 표시된 선들은 각 특징점 간의 움직임 벡터를 시각적으로 나타낸 것이다.

(c) Extract Motion Vectors after Pre-processing:

세 번째 이미지 (c)는 추가적인 전처리 과정을 거친 후의 결과를 보여준다. 여기서 적용된 전처리는 밝기 클리핑과 실시간 선형회귀 분석이다. 이 과정을 통해 더 정교하고 신뢰할 수 있는 움직임 벡터를 추출할 수 있다.

그림 3. 영상 전처리 과정에 따른 움직임 벡터 출력 결과

Fig. 3. Motion vector output results according to the image preprocessing process

그림 4는 움직임 벡터를 추출하고, 이를 기반으로 조준점을 결정하는 과정을 나타낸다. 그림 3의 Preprocessing(전처리) 단계에서는 입력된 영상 데이터에 전처리 과정을 적용한다. 이 과정은 영상의 밝기 조절과 실시간 선형회귀 분석을 통해 잡음을 줄이고 데이터의 품질을 향상하는 단계이다. 전처리 된 영상은 이후 단계에서 더 정확한 움직임 벡터를 계산할 수 있도록 준비된다. 움직임 벡터를 추출하기 위해 8개의 프레임이 단위로 사용되며 각 프레임에서 특징점을 추출하고, 이를 기반으로 움직임 벡터를 계산한다. 이러한 과정은 Lucas-Kanade 알고리즘을 통해 이루어지며, 각 프레임에서 계산된 움직임 벡터를 활용하여 물체의 이동 궤적을 추정하고 조준점을 업데이트한다.

그림 4. 움직임 벡터 기반 실시간 이동 표적 예측 및 조준 알고리즘

Fig. 4. Real-time Movement Target Prediction and Aiming Algorithm Based on Motion Vector

2.3 표적의 이동을 고려한 조준 지점 예측

표적을 향하여 날아가고 있는 포탄은 포물체이다. 포물체란 중력이 작용하는 환경에서 어떤 속도로 던져진 물체를 뜻하며 포물선 운동 방정식을 기반으로 탄착점을 알 수 있다. 식 (1)은 포물선 운동 방정식으로 $T_{f}$(Time Flight: 탄 비행시간)와 $\theta_{total}$(최종 조준각). $\theta_{aiming}$(초고각)을 도출할 수 있다.

고각이란 포목선에서 포의 구축에 이르는 각을 말하며 포의 중심점에서 표적의 현재 위치와 표적의 미래 위치까지의 표적 비행거리에 대한 대각이다. 표적의 위치를 획득하면 고각 신호 및 방위각 신호를 이용하여 표적 거리 및 선도각을 계산하여 조준 지점을 예측한다.

그림 5. 탄의 발사 경로와 탄착 지점

Fig. 5. The firing path of a bullet at the point of impact

AI 알고리즘을 통해 추출한 움직임 벡터 $V_{"\pi xels x"}/\sec$, $V_{"\pi xels "y""}/\sec$와 위 수식에서 계산된 $T_{f}$를 통해 추정 이동 거리(Pixels)를 계산하고,

계산된 $\theta_{aiming}$과 카메라 FOV, Resolution을 통해 발사 지점과 탄착점 사이 거리로부터 상향 조준 Pixels 값을 계산하면 조준점을 도출할 수 있다.

실제 탄의 조준 예측점은 선도각과 고각을 계산하기 위해 양력, 항력 등의 탄의 정보가 포함되지만, 정확도 측정을 용이하게 하기 위해 $\theta_{aiming}$을 0으로 가정하여 직선타로 시험을 진행한다. 직선타로 가정하게 되면 표적의 $T_{f}$ 후 위치로 조준점의 정확도를 쉽게 분석할 수 있으므로 직선타로 가정하였다. AI 알고리즘으로 획득한 표적의 위치로 거리와 속도를 계산한다. 최종식은

이다. 본 연구에서는 위의 식으로 가정하여 조준 예측점을 계산한다.

조준장치는 정지한 표적이 아닌 움직이는 표적에 대한 것을 목표로 위의 식을 사용하여 이동 표적의 위치를 예측할 수 있도록 한다. 정확도 시험을 진행할 때 영상을 수집하여 프레임 당 픽셀 단위로 이동량을 도출하고 이를 벡터값으로 조준 예측점을 도출한다.

2.4 실험 방법

본 연구에서는 제안된 조준 시스템의 성능을 평가하기 위해 두 가지 실험을 수행하였다. 움직임 벡터의 정확도 실험과 표적 조준 오차율 실험이다. 각 실험은 제안된 알고리즘의 정확도를 검증하고 성능의 우수성을 입증하기 위해 설계되었다.

그림 6. 표적의 중심점

Fig. 6. The central point of a target

표적은 그림 6과 같은 차량으로 선정하였으며, 차량의 중심점은 움직임 벡터를 계산하고, 차량의 이동 경로를 정확하게 추적하기 위해 중요한 역할을 한다. 그림 6에 표시된 A는 차량의 중심점을 나타내며, 이는 차량의 길이와 높이의 중간 지점으로 설정된다. 중심점(A)은 차량의 움직임을 가장 정확하게 반영하는 지점으로, 움직임 벡터 계산의 기준이 된다. 차량의 다른 부분들이 복잡하게 움직일 수 있지만, 이 중심점을 기준으로 하면 전체적인 이동 방향과 속도를 일관되게 측정할 수 있다. 차량의 중심점을 정확하게 파악함으로써, 조준 시스템은 이동하는 차량을 안정적으로 추적할 수 있다. 특히, Lucas-Kanade 알고리즘을 적용할 때, 중심점을 기준으로 한 움직임 벡터는 조준점의 정확성을 크게 향상한다.

2.4.2 표적 조준 오차율 실험

이 실험은 EO(가시) 카메라와 IR(열화상) 카메라를 사용하여 표적의 이동을 추적하고, 사격 시점에서의 조준 정확도를 평가하는 것을 목적으로 한다. 실험 조건은 다음과 같다.

- 탄속 200 m/s로 가정

- 사수에서 표적까지의 거리 300 m 도달할 때 발사.

표적 이동 시간 1.5초

첫 번째 실험은 EO 카메라로 진행되며 실험 환경은 사진10과 같다.

그림 7. 가시 카메라 수집 영상

Fig. 7. EO Camera Collection Video

그림 7은 사수가 보는 화면이며, a. b. 십자 조준점에 대한 설명은 다음과 같다.

- 사진의 a. 십자 조준점 : 표적이 이동하고 있을 때, 탄착점을 예측하는 역할을 한다. 즉, 표적이 움직이는 방향과 속도를 고려하여 예측된 지점에 표시된다.

- 사진의 b. 십자 조준점 : 화면의 중심점을 나타내며 사수가 실제로 조준하는 위치이다. 표적을 맞히기 위해 사수가 이 지점에 조준하게 된다.

그림 7의 좌상단 그림(Bullet firing point screen)은 현재 이동 중인 표적과 1.5초 후 표적의 예측 지점을 계산하여 a. 십자 조준점을 시각화 한다. 그림 7의 좌하단(Screen after 1.5 seconds)는 1.5초가 경과 후의 실제 표적의 위치를 확인할 수 있고, 좌상단의 a. 십자 조준점에 표적이 위치함을 확인할 수 있다. 두 사진을 병합하면 그림 7의 우측 그림(Image Merge Results)이 나온다. 두 사진을 병합하여 표적의 1.5초 후의 a. 십자 조준점과 표적의 위치가 일치함으로써 AI가 정상 동작함을 알 수 있다. 이때 사수는 b. 십자 조준점을 a. 십자 조준점에 맞춰 발사한다.

두 번째 실험은 IR 카메라로 진행되며 실험 환경은 그림 8과 같다. 사진에 관한 설명은 위와 같다.

그림 8. 열화상 카메라 수집 영상

Fig. 8. IR Camera Collection Video

오차분석을 위해 표적의 이동을 고려한 조준 지점 예측 결과인 a.십자 조준점이 실제 차량이 도달한 곳과 일치하는지 확인한다. a.십자 조준점의 좌표값과 표적(차량)의 중심점의 좌표값을 비교하며 오차값을 구한다. 오차값 b.십자 조준점과 a.십자 조준점의 X축, Y축 차이를 나타낸다. 오차율은 차량 크기 대비 몇 픽셀만큼 차이가 나는지 나타낸다. 식으로 표현하면 다음과 같다.

(6)

\begin{align*}오차율 X=\dfrac{X 축 오차 값}{표적의 실제 X 축 픽셀 값}\\\\오차율 Y =\dfrac{Y 축 오차 값}{표적의 실제 Y축 픽셀 값}\end{align*}

평가 기준은 벡터 오차와 오차율로 정의되며, 실시간으로 실험을 반복하여 얻은 오차율을 종합적으로 분석한다. 이를 통해 알고리즘의 표적 추적 및 조준 정확도를 평가하고, 향후 개선점을 도출한다.

2.5 실험 결과

2.5.1 움직임 벡터 정확도 실험

그림 9의 실험 시작 지점(Start point)에서 모든 데이터는 유사한 값을 나타내며, 차량이 왼쪽으로 이동할 때, 조준장치로부터 가까워지며 벡터값이 점진적으로 감소하는 경향을 보인다. 527 프레임 이후, 차량이 멀어지기 시작하며 벡터값이 다시 증가한다. 데이터 세트를 비교하였을 때, Preprocessing < Clipping brightness data < Raw data 순으로 변동성이 큼을 알 수 있으며 Preprocessing data와 Reference data는 매우 유사한 패턴을 보인다. 표적의 움직임을 더 정확하게 분석하고, 모델의 성능을 향상하기 위해선 데이터 전처리가 중요하며, 효과적이라는 것을 알 수 있다. 이 실험 결과를 통해 표적의 움직임을 더 정확하게 추적하고 예측하기 위해서는 노이즈를 제거한 안정된 영상을 필요로 한다는 것을 알 수 있다.

그림 10와 표 2는 Processing Data와 Reference Data 간의 선형회귀 분석 결과를 보여준다. 모델의 종속 변수는 Processing Data이고, 독립변수는 Reference Data이다.

그림 9. 기준 데이터 값과 출력 데이터 값의 비교

Fig. 9. Comparison of reference and output data values

그림 10. 선형회귀 분석을 이용한 기준값과 출력값의 비교

Fig. 10. Comparison of reference and output data values using linear regression techniques

표 2 OLS 회귀 분석 결과

Table 2 OLS Regression Results

회귀 분석 결과, R-squared 값은 0.998로, 이는 전체 데이터의 99.8%가 이 모델로 설명될 수 있음을 의미하며 Adjusted R-squared 값 또한 0.998로, 모델의 설명력이 매우 높다는 것을 나타낸다. F-통계량은 325,000 (p < 0.001)으로, 모델이 유의미하다는 것을 강력히 지지한다. Intercept(상수항)은 0.0431 (p < 0.001)로 유의미하며, 이는 Reference Data가 0일 때 Processing Data의 예상값이 약간의 양수임을 의미한다. Reference Data의 회귀 계수는 1.011 (p < 0.001)로, Reference Data가 1 단위 증가할 때 Processing Data가 약 1.011 단위 증가하는 것으로 나타났으며 이 결과는 두 변수 간에 강한 양의 상관관계가 있음을 시사한다. 이 결과는 Processing Data와 Reference Data 간의 강한 선형 관계를 나타내며, 연구 가설을 지지한다. 모델의 높은 설명력(R-squared)과 유의미한 회귀 계수는 이 관계의 타당성을 뒷받침한다.

2.5.2 표적 조준 실험

본 실험은 AI 조준장치의 EO 카메라와 IR 카메라를 사용하여 표적의 조준점 정확도를 비교 분석하였으며 다양한 속도(50km/h, 30km/h, 10km/h)에서 5회씩 시험을 진행하였다. X축과 Y축의 오차를 미터(m) 단위로 표시하고, 이에 대한 백분율(%)로 오차율을 나타냈다. 표 3은 EO 카메라로 실시간으로 수집한 오차와 오차율을 나타낸다.

표 3 가시 영상 조준 오차와 오차율

Table 3 Aiming error and error rate for EO Video

표 4는 IR 카메라로 실시간으로 수집한 오차와 오차율을 나타낸다. IR 카메라는 빛의 영향을 적게 받아 본 논문의 알고리즘을 적용하면 더 유리하다는 것을 알 수 있다. EO 픽셀 1920×1080, IR 픽셀 640×480인 것을 고려하면 EO 카메라보다 높은 정확도를 가진다.

표 4 열화상 영상 조준 오차와 조준 오차율

Table 4 Aiming error and error rate for IR Video

다음은 AI 조준기를 사용하여 이동 표적을 추적할 때 300m 거리에서 측정한 조준 오차와 오차율에 대한 실험 결과이며 최대와 평균 오차율로 정리하였다.

표 5 가시, 열화상 영상 최대, 평균 조준 오차와 조준 오차율

Table 5 Maximum and average aiming error, and aiming error rate for EO and IR Video

Test order	Maximum error rate				Average error rate
	X (m)	(%)	Y (m)	(%)	X (m)	(%)	Y (m)	(%)
EO VIDEO	1.644	31.46	0.369	18.45	0.58	11.25	0.18	9.06
IR VIDEO	1.671	31.99	0.428	21.42	0.56	10.67	0.14	7.13

EO 카메라를 사용하여 측정한 결과, X축 기준 평균 오차는 0.059m로 나타났다. 이는 표적 위치에 대해 약 11.25%의 오차율을 보였다. Y축 기준으로는 평균 오차가 0.18m로, 오차율은 9.06%로 측정되었다.

IR 카메라를 사용하여 측정한 결과, X축 기준 평균 오차는 0.56m로 나타났으며, 이는 약 10.67%의 오차율을 기록했다. Y축 기준으로는 평균 오차가 0.14m로, 오차율은 7.13%로 측정되었다.

이러한 결과는 AI 조준기에 사용된 카메라(EO 또는 IR)에 따라 오차율이 다르게 나타날 수 있음을 시사한다. 두 종류의 센서를 활용한 복합 AI 조준 시스템이 이동 표적 추적의 정확도를 향상할 수 있음을 시사하며, 앞으로의 연구에서는 이러한 복합 시스템을 통해 다양한 환경에서의 조준 정확도를 최적화하는 방안을 탐구할 수 있을 것이다.