2.1 데이터 분석

그림 1은 다중 센서 복합체로부터 수집되는 해양 데이터를 사용하기 위해 진행한 실험 중 선박으로부터 받은 데이터를 시각화한 모습이다. Trajectory는 선박의 움직임을 위도-경도 좌표계 상에서 나타낸 모습이다. 이때, 빨간 점은 다중 센서 복합체의 위치를 나타낸다. 또한, 초록색 점은 선박이 출발한 위치를 나타내며, 파란색 점은 선박이 이동한 항로를 위도 경도 좌표계로 나타낸다. 다중 센서 복합체는 수면 25m에서 35m 정도 수심에 설치되었으며, 이는 데이터셋에 따라 수치가 다르다. 선박은 복합체 위를 지나간다. T_speed는 시간의 흐름에 따라 선박의 속도 변화를 나타낸다. 그림 2는 자기 센서로부터 송신 받는 데이터를 시각화한 모습이다. TMT는 시간에 따른 자기장 센서의 데이터를 나타내며, TMX, TMY, TMZ도 동일하다. 다만, 이 4개의 데이터에서 TMX, TMY, TMZ는 각각 자기 센서의 X축, Y축, Z축 측정값을 나타내고, TMT는 3가지 축 값을 융합해서 나타낸 값이다. 그림 3는 압력 센서와 음향 센서로부터 송신 받는 데이터를 시각화한 모습이다. DEPTH는 시간에 따른 압력 센서 데이터의 변화를 보여주고 있다. ACS1과 ACS2는 시간에 따른 음향 센서의 데이터 변화를 보여준다.

그림 1. 선박의 움직임 예시 데이터

Fig. 1. Example of vessel’s trajectory and speed data

그림 2. 다중 센서 복합체 수집 데이터 (자기 센서)

Fig. 2. Data from multi-sensor complex (magnetic sensor)

그림 3. 다중 센서 복합체 수집 데이터 (압력, 음향 센서)

Fig. 3. Data from multi-sensor complex (depth, sound sensor)

자기 센서 데이터는 어느 구역에 설치되는지, 설치되는 수심에 따라 영향을 받는 것을 확인하였다. 자기 센서가 지구 자기장의 영향을 받기 때문인데, 이러한 이유로 해당 데이터를 사용할 때는 적절한 전처리 과정을 거쳐야만 한다.

음향 센서 데이터는 해양 환경 특성상 이상치가 눈에 띄게 포함돼있는 모습을 확인할 수 있다. 또한, 선박의 크기와 다중 센서 복합체와 거리에 따라서 측정값이 눈에 띄게 변화됨을 확인했다. 거리의 경우 100m 이내 구간에 선박이 존재할 때 눈에 띄는 변화가 있음을 확인할 수 있었으며, 선박의 크기가 작아질수록 변화를 감지하기 어려웠다.

압력 센서 데이터는 앞선 센서들에 비해 증감 폭의 수치가 매우 적으며, 눈에 띄게 변화하는 구간은 다중 센서 복합체의 위로 지나간 경우였다. 또한, 가장 이상치가 심하게 측정된 데이터이다.

2.2 Gaussian Process Regression (GPR)

가우시안 프로세스를 사용해 다중 센서 복합체가 수집하는 희소한 데이터를 효과적으로 모델링하여 Regression 함을 통해 연속적인 영역에서 데이터를 확인할 수 있으며, 데이터의 상호 보간을 통해 센서의 값이 가장 강한 영역을 파악할 수 있다.

GPR은 평균 함수 $m(x)$와 공분산 함수 $k(x,\: x')$로 정의된다. 평균 함수는 일반적으로 전체 입력 공간에 대해 0으로 가정되며 ^[20], 공분산 함수는 입력 사이의 관계를 특성화하는 데 사용된다.

본 연구에서는 공분산 함수로써 Radial Basis Function(RBF)^[21] kernel을 사용했다. 이는 공간상의 신호들을 모델링하는 hyperparameter $\sigma^{2},\: l$을 포함한다(각각 1, 20의 값으로 설정됨).

가우시안 프로세스에 다중 센서 복합체에서 수집한 자기, 압력, 음향 신호를 반영하기 위해, 각 값과 표적의 위치로 구성된 학습 데이터셋 $\left. D=\left\{( p_{i},\: x_{i}\right.)\right\}_{i=1}^{N}$을 구성한다. 이때의 $x$는 각 센서 값으로 이루어져 $x\in${$ x^{TMT},\: x^{DEPTH},\: x^{ACS}$}이고, $ p$는 표적의 위치이다. 이 데이터셋을 기반으로, GPR은 모든 위치 $ p *$를 위한 사후 추정에 적용된다.

음향 신호는 표적의 무게, 속도 등의 변화에서도 가장 그 값의 변화가 큰 신호이다. 반면 자기 신호는 가벼운 무게의 선박에 대해서는 값의 변화가 거의 존재하지 않으며, 압력 신호는 센서와 최근접일 시 다른 신호와 달리 그 값이 낮아지는 특징을 가지고 있다. 이는 선박이 무거울수록 베르누이 원리^[22]로 인한 ship squat 현상^[23]이 일어나기 때문이다. 이러한 특징을 고려하여 우리는 각 신호를 식 (3)과 같이 표현하여, 표적이 최근접일 시 가장 신호의 세기가 최대가 될 수 있도록 하는 방법을 제안한다.

이때 각 신호에 대한 가중치 $w_{1},\: w_{2},\: w_{3}$는 각각 0.3, -0.2, 0.5이다. 식 (3)을 통해 구한 $ x^{*}$와 표적의 위치로 구성된 데이터셋 $D=\left\{( p_{i},\: x_{i}^{*})\right\}_{i=1}^{N}$을 통해, 최근접 위치에서의 신호의 세기를 가장 높게 표현할 수 있다. 음향 신호에 대해 가장 큰 가중치를 부여하는 이유는, 음향 신호가 표적의 무게나 속도 등의 변화를 가장 잘 감지할 수 있기 때문이다. 하지만 음향 신호는 소음이나 간섭에 민감할 수 있어, 이 신호만으로는 모든 상황에서 신뢰할 수 없는 경우가 발생할 수 있다. 이를 보완하기 위해, 압력 신호에는 마이너스 가중치를 부여하고, 자기 신호에는 압력 신호보다 조금 더 큰 가중치를 적용하여 신호 간의 균형을 맞춘다. 이러한 보상 구조를 통해, 음향 신호의 민감성으로 인해 발생할 수 있는 불확실성을 다른 신호들로 보완하여, 최근접 위치에서 가장 신뢰할 수 있는 신호 값이 나타나도록 한다.

결과적으로, 이러한 신호 보상 방식을 사용하는 것은 환경적 변수나 신호 간섭이 존재하는 상황에서도 시스템의 신뢰성을 높이고, 다양한 신호의 조합을 통해 더 안정적이고 강력한 데이터를 얻는 것에 의미가 있다.

2.3 딥러닝을 활용한 위치 추정 방법

딥러닝을 활용한 위치 추정을 위해 두 가지의 기준을 두고 학습을 진행하였다. 다중 센서 복합체로부터 100m 밖의 범위에 선박이 움직이는 경우 모든 센서 데이터에서 큰 변화가 보이지 않기 때문에, 첫 번째 방법의 경우 100m 이내로 선박이 진입했는지 판별하는 모델이 되겠다. 두 번째 방법의 경우 100m 이내에 선박이 진입하였다는 가정하에 선박이 다중 센서 복합체로부터 얼마나 거리가 이격되었는지 추측하는 모델이다.

그림 4. Transformer 기반 모델 학습 과정

Fig. 4. Transformer based model learning process

한 모델의 학습 과정을 보여준다. 하나의 센서 데이터들은 단순 수치로써 수집되기 때문에, 단순 측정 데이터만 사용해 예측하는 것은 좋지 않다고 판단하였다. 때문에, 이 전에 수집된 데이터 중 일부를 사용할 수 있도록 sliding window 방식을 채택한 시계열 데이터 기반 예측 모델링을 진행하였다.

3.1 Gaussian Process Regression(GPR) 결과

가우시안 프로세스가 적용되는 실험에서는 실제 선박이 움직임에 따라 다중 센서 복합체가 수집한 데이터(자기, 압력, 음향)에 대해 진행되었다. 이때 선박의 무게를 각각 30t, 100t, 2000t으로 다르게 하며 측정했다. 신호는 선박의 무게가 낮을수록 변화량이 뚜렷하지 않고 노이즈에 영향을 많이 받으므로, 도전적인 상황에서의 결과를 파악하기 위해 가장 가벼운 선박인 30t급으로 GPR을 진행했다.

그림 5는 GPR 결과를 나타낸다. 자기값의 경우(a) 최근접일 시 가장 높은 수치를 나타냈으며(빨간색), 압력 값의 경우(b) 최근접일 시에도 큰 변화가 없는 것을 확인할 수 있다. 음향 값의 경우(c) 최근접 위치가 아닌 다른 위치에서 가장 큰 값을 나타내는 것을 볼 수 있다. 이는 30t급 선박의 경우 값의 변화량이 뚜렷하지 않아, 취득 당시의 소음과 간섭으로 인한 영향을 받았기 때문이다.

이때 제안된 방법인 식 (3)을 적용함으로써, 각 센서 신호가상호 보완되어, 최근접 위치에서 신호가 가장 높게 나타날 수 있음을 그림 5(d)에서 확인할 수 있다.

그림 5. 30t 선박에 대해 수집된 데이터셋(5)의 Gaussian Process Result, (a), (b), (c)는 각각 자기, 압력, 음향에 대한 GPR 결과이다. (d)는 제안된 방법의 GPR 결과이다.

Fig. 5. Gaussian Process Result of Dataset (5), (a), (b), and (c) represent the GPR results for magnetic, depth, and sound signals, respectively. (d) represents the GPR result of the proposed method.

그림 6. 테스트 데이터셋에 대한 실제 값과 제안한 방법을 적용한 가우시안 프로세스의 추정 값(데이터셋 (5))

Fig. 6. Estimated values of Gaussian process using the proposed method and the actual values for the test dataset(Dataset (5))

또한 제안된 방법은 최근접에서의 신호를 더욱 일관되게 반영하고 신뢰성 있게 나타낼 수 있는데, 이는 표 1을 통해서 증명되었다. 선박 무게에 따른 복합신호 수집 데이터셋 총 12개 중, 모든 경우에서 신호의 최대값이 20m 이내로 나타났다. 이는 즉, 최근접에서의 신호를 더욱 일관되게 반영하고 신뢰성 있게 나타낼 수 있음을 의미한다.

추정 정확도를 평가하기 위해, 각 데이터셋을 9:1 비율로 훈련 데이터와 테스트 데이터로 분할했다. 학습 이후, 테스트 데이터셋에서 제안된 방법으로 추정된 값과 실제 Ground Truth 값 간의 차이를 바탕으로 MAE를 계산했다. 그림 6은 추정 값과 실제 값의 비교를 시각적으로 보여주며, 각 데이터셋에 대한 정확도는 표 1에 제시되어 있다. 모든 데이터셋의 MAE Loss는 0.3 이하로 낮은 Loss값을 보인다.

3.2 딥러닝을 활용한 위치 추정 방법

3.2.1 100m 이내 진입 판별 모델

학습은 모델의 크기를 수정하며 3가지의 학습을 진행하였다. 데이터는 총 246,259개의 데이터가 사용되었다. 이 중, 172,381개의 데이터가 학습에 사용되었고, 49,252개가 검증에 사용되었으며, 24,626개가 모델 테스트 데이터에 사용되었다. 300번의 학습을 진행하였으며, 결과와 설정한 모델의 크기는 표 2에 나와 있다. Model 1의 경우 가장 가벼운 크기를 모델임에도 가장 좋은 결과를 보여주고 있다. 그림 7은 model 1이 학습되는 도중 나타난 학습 오류와 평가 오류를 시각화한 그래프이다.

표 3은 Model 1의 테스트 결과를 세부적으로 보여주고 있다. Classification result는 분류의 결과를 나타내고, target value는 정답 값을 보여준다. 이때, 정확도는 97.6%로 높은 정확도 주고 있다.

표 2 100m 이내 진입 판별 모델 테스트 결과

Table 2 Test result of classification model

	Model 1	Model 2	Model 3
Number of layers	2	6	6
Size of embedding vector	64	64	128
Test loss (BCELoss)	0.034	0.42	0.42

표 3 Model 1의 세부 테스트 결과

Table 3 Detailed result of Model 1

		Classification result
		True	False
Target value	True	3290	404
	False	164	20768

그림 7. 100m 이내 진입 판별 모델 학습 결과

Fig. 7. Train and validation result of classification model

3.2.2 100m 이내 거리 추정 모델

3.2.1과 같은 모델로 손실함수를 수정하여 학습을 진행하였다. 데이터는 총 36,666개의 데이터가 사용되었다. 이 중, 25,666개의 데이터가 학습에 사용되었고, 7,333개가 검증에 사용되었으며, 3,667개가 모델 테스트 데이터에 사용되었다. 표 4는 모델들의 학습 결과를 보여주고 있다. 이 또한 마찬가지로 Model 1의 경우가 가장 좋은 결과를 보여주고 있는 모습을 확인할 수 있으며, 학습되는 도중 나오는 학습 오류와 평가 오류가 그림 8에 시각화되어있다. 표 5은 100m 이내의 데이터들을 범위를 나누어 실험한 결과이다. 학습에 사용한 데이터도 포함하여 실험한 결과로, 이는 100m 이내에 들어 온 경우 어느 위치에서나 약 11m의 오차로 거리를 추정함을 보여준다.

표 4 100m 이내 거리 추정 모델 테스트 결과

Table 4 Test result of distance estimation model

	Model 1	Model 2	Model 3
Number of layers	2	6	6
Size of embedding vector	64	64	128
Test loss (MAE Loss)	11	24	24

표 5 100m 이내 거리 추정 모델 거리별 오차

Table 5 Distance estimation model error by distance

Distance(m)	Number of data	Loss(m)
100 ~ 50	19278	11.339
50 ~ 30	7578	10.683
30 ~ 10	9810	11.513

그림 8. 100m 이내 거리 추정 모델 학습 결과

Fig. 8. Train and validation result of distance estimation model

그림 9. 손실함수 변경 후 모델 학습 결과

Fig. 9. Train and validation result of different loss function

그림 9는 model 1의 손실함수를 평균 제곱 오차로 수정하였을 때 학습의 결과를 보여준다. 최종 오차는 292.9로 이전 평균 절대 오차로 학습하였을 때보다 좋지 않은 결과를 보여줌을 알 수 있다. 이는 데이터 특성상 이상치를 가지는 데이터의 수가 많으므로 이상치를 강건하게 처리할 수 있는 오차인 평균 절대 오차가 해양 데이터에 더욱 적합하다는 결론을 내릴 수 있다.