2.1 딥러닝 기반 전차선 분할 네트워크

종래의 전차선을 분할하는 방법론 중 윤곽선 추출은 그 명암비가 뚜렷한 영상에서는 잘 작동할 수 있다⁽¹²⁾-⁽¹³⁾. 그러나 관련 연구에서도 활용된, 일부 노이즈가 있어도 얇은 윤곽선을 잘 추출하는 Canny 윤곽선 검출도 명암비가 낮은 야간이나 고속선 영상에서와 같이 영상 블러가 발생하는 경우에는 그림 2처럼 전차선의 윤곽선 추출이 실패할 수 있다⁽¹²⁾. 임계값 설정을 통해 일부 윤곽선 추출이 가능할 수는 있으나 외부 조명구간, 아크 발생 등의 상황에서는 그때마다 다른 임계값 설정이 필요하다. 또, 터널 구간에서는 전차선의 그림자가 보이는데 이 경우 전차선만을 추출하기 위해서는 예외처리 알고리즘이 추가적으로 필요하다.

그림 2 Canny 윤곽선 검출 결과(임계값: 100)

Fig. 2 Results of the Canny edge detection (threshold value : 100)

한편 지도 학습 방식의 딥러닝 분할 방법은 학습 데이터와 정답 라벨링을 주워주고 이를 네트워크가 학습하여 분할 영역을 추론하는 방식이다. 일반적으로 이미지 분할에 대한 네트워크 설계 시에는 U-net과 같은 네트워크 구조를 활용한다⁽¹⁴⁾. 이는 이미지를 저차원 형태로 압축하는 Encoder와 이미지를 복원하는 Decoder 형태에 Encoder의 축약 정보를 Decoder로 연결하여 복원상 손실될 수 있는 공간 정보를 보완하는 구조이다. 언급한 문제들을 해결하고, 이미지 내 전차선의 정확한 공간적 분할을 위하여 본 연구에서는 전차선 영역을 분할하기 위해 U-net 구조의 딥 뉴럴 네트워크를 활용하였다.

2.1.1 데이터셋 구축

본 연구에서는 데이터셋 구축을 위해 720×480의 해상도에 25 FPS로 야간에 촬영된 팬터그래프 습동 영상 4개에 대하여 전차선 분할 라벨링을 수행하였다. 그림 3과 같이 한 전차선 상에 두 좌표 정보를 저장하여 이미지 내 직선을 생성할 수 있도록 하였고, 건넘선, 오버랩 구간 등의 개소에서 전차선이 들어오고 나가는 부분에 대해서는 한 장의 이미지 내에 다중의 직선 정보가 저장되도록 하였다.

한편, 학습 과정에서는 라벨링 된 좌표를 후처리하여 활용한다. 하나의 전차선 위의 두 점 $A(x_{1},\: y_{1})$, $B(x_{2},\: y_{2})$가 주어졌을 때 두 좌표를 이은 직선에서 이미지 좌표계의 높이가 0인 지점의 한 점 $(x_{0},\: y_{0})$와, 팬터그래프의 중심 높이 $h$에서의 점 $(x_{h},\: y_{h})$의 좌표는 식 (1), 식 (2)와 같다.

(1)

$x_{0}= - y_{2}(x_{1}- x_{2})/(y_{1}- y_{2})+ x_{2}{if}y_{0}=0$

(1)

$x_{h}=(h- y_{2})(x_{1}- x_{2})/(y_{1}- y_{2})+ x_{2}{if}y_{h}= h$

높이 $h$는 2.2의 ‘팬터그래프 및 집전판 추적’ 방법을 활용해 집전판을 추적한 이미지 좌표 $y$에 템플릿 높이의 절반을 더하여 구한다. 끝으로, 생성된 두 좌표를 이어 선분 이미지를 생성해 이를 학습 정답 데이터로 활용한다.

그림 3 전차선 상 두 이미지 좌표 정보를 이용한 라벨링

Fig. 3 Labeling of contact wires by using two image coordinates on the wires

영상 및 라벨링에 대한 정보는 표 1과 같다. 평균 23분 28초 (35,197장)의 영상에 대해 총 20,712장의 야간 팬터그래프 습동 영상에 대하여 라벨링이 진행되었고 한 영상당 최소 10장 이상의 연속한 프레임을 임의 구간에 대해 라벨링하였다.

표 1 전차선 분할을 위한 팬터그래프 습동 영상 및 라벨링 정보

Table 1 Information on pantograph sliding video clip and labeling for segmentation of the overhead lines

Index	Frame length	Number of labels
Video 1	35,627 (23’ 45”)	5,199
Video 2	35,208 (23’ 28”)	4,184
Video 3	34,631 (23’ 5”)	4,999
Video 4	35,320 (23’ 32”)	6,330

2.1.2 전차선 분할 학습 환경

전차선 분할을 위해 그림 4와 같은 U-net 구조를 구성하여 학습하였다. 입력 이미지의 크기는 288×192 사이즈로 리스케일링하였고, 색상 이미지를 흑백 이미지로 변환하였다.

하이퍼파라미터로서 learning rate = 0.0005, batch size = 2, Epoch = 100으로 설정하였고, early stopping을 적용하였다. 각 epoch 당 translation (x, y ±방향 10% 내외), rotation (±3도 내외), zoom (-10% 내외), vertical flip (30% 확률)을 적용하여 data augmentation으로 학습 데이터의 양을 증가시켰다. 학습에 활용된 하드웨어 및 소프트웨어 환경 사양은 표 2와 같다.

그림 4 전차선 분할을 위하나 U-net 구조

Fig. 4 U-net architecture for segmentation of the contact wires

표 2 학습 환경

Table 2 Learning Environments

Configuration		Specification
Hardware	CPU	13$^\text{th}$ Gen Intel(R) Core(TM) i9-13900K
	GPU	Geforce RTX 4090
	RAM	64 GB
Software	OS	Windows 10 (64 bit)
	Python	3.9.7
	Tensorflow	2.10.1

2.1.3 학습 결과

학습에는 Video 1~3을, Video 4를 검증에 사용하여 식 (3)의 Dice coefficient를 활용하여 전차선 분할에 대한 네트워크의 성능을 평가하였다. Dice coefficient는 서로 trade-off 관계에 있는 precision과 recall의 조화평균으로 편향되지 않은 성능을 볼 수 있는 장점이 있다. 본 연구에서는 이 성능 지표를 반영하여 식 (4)의 Dice loss를 네트워크의 손실함수로 활용하였다. 학습에 의한 성능 지표는 그림 5와 같으며 검증 데이터에 대한 Dice coefficient는 0.72 경계에서 수렴하였다.

(3)

$Dice \enspace coefficient =\dfrac{2\times TP}{(TP + FP)+(TP + FN)}$

(4)

$Dice \enspace loss = 1 - Dice \enspace coefficient$

그림 5 네트워크 훈련에 따른 모델 성능 지표(dice coefficient)

Fig. 5 Model performance metrics (dice coefficient) according to training of the network

학습된 모델을 이용하여 추론을 수행한 결과는 그림 6과 같다. 일부의 결과에서는 분할이 제대로 이루어지지 않았는데, 이는 아크에 의한 섬광 발생, 고속 주행에 따른 모션 블러 발생에 기인하고 있다.

그림 6 네트워크 추론을 통한 전차선 분할 결과(위에서부터 개활지, 터널, 건넘선, 모션블러, 아크의 경우)

Fig. 6 Segmentation results of the contact wires from network inference (From top to bottom, field, tunnel, crossover, motion blur and, arc cases are sampled.)

2.2 팬터그래프 및 집전판 추적

팬터그래프 습동 영상에서 팬터그래프의 움직임은 상하 모션, 전차선 접촉에 따른 스프링에 의한 집전판의 미소한 기울임 등이 관측된다. 미소한 기울임에 의한 영향을 제외한다면 팬터그래프는 상하 강체 운동을 하는 것으로 근사화할 수 있다. 이러한 가정을 바탕 하에, 팬터그래프와 집전판 영역은 템플릿 매칭을 활용해 추적될 수 있다.

촬영된 팬터그래프 습동 영상의 초기에는 열차가 주행하지 않으므로 정지 영상으로 보인다. 본 연구에서는 팬터그래프를 추적하기 위하여 정지 영상의 한 프레임에서 팬터그래프 영역을 수작업으로 마스킹하여 팬터그래프와 집전판 영역에 대한 템플릿 윈도우를 생성하였다. 이후 프레임에서는 팬터그래프 영역에 대하여 식 (5)를 통하여 템플릿 매칭 계수 $R$을 구하고 해당 값이 최대가 되는 이미지 좌표 $(x,\: y)$를 구한다. 그리고 추적된 팬터그래프 템플릿 윈도우 내에서 집전판 영역에 대해 동일한 알고리즘을 수행하여 집전판을 추적한다. 그림 7과 같이 열차가 정지된 화면 상에서 청록색의 팬터그래프 템플릿 윈도우를 생성하였고, 그 안에 붉은색의 집전판 템플릿 윈도우를 생성하였다. 추적 결과는 그림 7의 오른쪽 화면과 같이 $R$ 값과 함께 추적된 윈도우가 표기된다.

한편, 식 (5)는 템플릿과 원본에 픽셀 평균 값을 제외한 곱의 전체 합으로 매칭 정도를 나타내는데 이 방법은 차이값의 제곱합 방법이나 상관관계만으로 구하는 방식에 비하여 템플릿과 원본의 밝기 차이에 강건하게 작동하며 정규화로 –1 ~ 1 사이 값으로 계산되어 매칭의 일치성을 나타내어 준다. 야간 팬터그래프 습동 영상에서는 외부 조명, 아크 등에 따라 밝기 변화가 발생하기에 위의 방법을 선정하여 활용하였다.

그림 7 팬터그래프와 집전판의 템플릿 윈도우(좌)와 이의 추적 결과(우)

Fig. 7 Template windows for pantograph and contact strip (left) and their tracking results (right)

2.3 접촉점 및 이상 편위 판단

본 연구에서는 전차선과 집전판의 접촉점을 구하기 위해서 네트워크에서 분할된 전차선 영역을 세선화한 전차선의 중심선과 추적된 집전판의 높이 정보를 활용한다. 추적된 집전판 윈도우의 좌상단의 모서리 픽셀 높이를 $h_{0}$라 한다면, 그림 8과 같이 해당 높이에서 수평 방향으로 스캔 라인 픽셀 탐색을 수행한다. 세선화된 전차선은 1픽셀 두께를 가지기 때문에 하나의 전차선에 대하여 하나의 점만이 검출된다. 스캔된 이미지 상의 $x$좌표를 접촉한 전차선의 개수에 따라 이미지상 좌측부터 $i = 0,\: 1,\: 2,\: ... ,\: n-1$로 인덱싱하여 $x_{h_{0,\: i}}$로 표기하면 접촉점의 좌표는 $(x_{h_{0,\: i}},\: y_{h_{0}})$로 나타낼 수 있다.

그림 8 스캔 라인 탐색을 통한 접촉점 판단

Fig. 8 Contact points detection through scan line search

일반적으로 전차선의 편위는 레일면 기준 $+-$200mm 이내로 들어오도록 설계가 되고 있고, 허용가능한 편위는 $+-$250mm로 설정된다. 본 연구에서는 집전판의 중심 지점과, 허용가능 편위 범위, 집전판의 면적 범위인 $+-$300mm를 하얀 마커로 표기한 팬터그래프 습동 영상을 활용하였다. $+-$250mm인 지점의 $x$좌표 $x_{-250}$, $x_{+250}$와 중심점인 $x_{c}$사이의 픽셀 거리를 계산하여 실제 거리를 식 (6), 식 (7)과 같이 1픽셀 거리를 실제 거리로 환산하였고, 마커의 표시 정확도를 고려해 집전판 중심점 기준 좌, 우 환산값을 각각 계산하였다. 팬터그래프의 기울어짐은 미소하다고 가정하여 전체 프레임에 대하여 동일한 허용 편위 범위를 사용하였고, 이에 따른 접촉점의 환산 거리는 식 (8)과 같이 계산된다. 이를 이용해 측정한 동편위 결과는 그림 9와 같다.

그림 9 전차선 동편위 계산 결과

Fig. 9 Results of calculation of the dynamic stagger

한편, 단순 환산 거리만을 이용하면 제대로 된 이상 편위 검출이 불가능할 수 있다. 예를 들어 건넘선이나 오버랩 구간 등의 특이개소에서는 전차선이 팬터그래프에 빠져나가거나 들어오기도 하며 여러 개의 전차선이 동시에 존재할 수 있다. 따라서, 이러한 경우를 고려하기 위하여 이상 편위 검출은 전차선이 하나인 프레임, 즉 접촉점이 하나인 프레임에 대하여 수행한다. 그러나 일부 구간에서는 모션 블러나 아크 등에 의해 복수의 전차선이 검출되어야 하나 제대로 검출되지 않는 구간이 나타날 수 있다. 이러한 예외 경우를 처리하기 위하여, 전후 프레임에서 나타난 접촉점 수의 개수를 판단하여 프레임이 넘어감에 따라 접촉점이 단순 증가하는지 혹은 단순 감소하는지를 판단하여 접촉점이 복수인지 아닌지를 판단하였다.

본 연구의 알고리즘을 검증하기 위하여 Video 4에서 이상 편위가 발생하는 프레임을 수작업으로 라벨링하였고, 알고리즘 상에서 이상 편위가 발생하는 프레임을 체크하였다. 이상 편위가 발생하는 프레임의 수는 615개였으며, 알고리즘은 551개를 맞추어 89.6%의 정확도를 보였다. 예측하지 못한 64 프레임 또한 예측 프레임의 전후 프레임 상에서 아크나 모션 블러 등으로 제대로 검측되지 못한 프레임이었고, 오검측을 한 프레임은 4 프레임에 불과하였다.