3.1 배경 제거를 통한 움직임 영역 추출

입력되는 영상에서 움직임이 존재하는 영역을 추출하기 위해 배경을 모델링하여 전경만을 추출하는 GMM 기법을 이용한다. 모델링을 적용하여 추출한 움직임 영역에는 이동 객체와 영상의 미세한 움직임 또는 조도 변화에서 발생하는 잡음을 포함 한다. 잡음은 이동 객체를 인식할 때 불필요한 정보이며 인식률을 떨어뜨릴 수 있으므로 모폴로지 연산을 통하여 잡음을 최소화하고 이동 객체만을 추출한다. 그림 2는 이동 객체 추출을 위한 배경 제거 과정을 나타낸다.

그림 2 이동 객체 추출 과정

Fig. 2 Procedure for extraction moving objects

그림 2-(a)는 이동 객체가 존재하는 입력 영상이고, 그림 2-(b)는 GMM을 이용하여 모델링 된 배경을 제거하고 움직임 영역만을 추출한 것이며, 그림 2-(c)는 모폴로지 연산을 통해 잡음을 제거한 영상을 나타낸다.

3.2 라벨 병합을 이용한 이동 객체 추출

잡음을 제거한 움직임 영역에서 이동 객체를 추출하기 위해서 인접하는 픽셀을 하나의 군집으로 정의하는 라벨링을 이용한다. 하지만, 배경과 이동 객체의 정보가 유사한 경우 추출된 이동 객체의 정보는 일부분 손실된 상태로 추출되며, 하나의 이동 객체로 판단하기 어려운 상황이 발생한다. 따라서, 본 논문에서는 일부 손실된 상태로 추출된 객체를 하나의 객체로 인식하기 위해 인체 비율을 활용하여 라벨을 병합하는 방법을 제안한다. 그림 3은 인체에 대한 이상적인 비율을 나타낸다 ⁽¹⁹⁾.

동양인의 이상적인 신장 비율은 7등신이며, 다음 수식 (1)은 인체의 비율을 나타낸다.

그림 3 동양인의 평균 인체 비율

Fig. 3 Average human body proportions of Asians

수식 (1)에서 인간의 어깨 비율은 통계 자료 ⁽¹⁹⁾에 따라 20대부터 30대까지 성인 남성의 몸 전체 길이의 평균 $L_{body}$와 어깨 너비 평균 $L_{sholder}$를 비교한 결과 약 $4.32$로 나눈 것과 유사하다는 것을 나타낸다. 다음 수식 (2)와 수식 (3)은 인체의 비율을 이용하여 라벨을 병합하는 과정을 나타낸다.

수식 (2)는 병합하고자 하는 라벨의 크기를 구하는 과정을 나타내며 $Label_{x}$, $Label_{y}$는 병합하고자 하는 n개의 라벨의 $x$, $y$축 최소값을 의미하고, $Label_{w}$, $Label_{h}$는 병합하고자 하는 n개의 라벨의 $x$, $y$축 최대값을 의미한다. 수식 (3)은 수식 (2)의 라벨이 인체 비율을 만족하는 경우 하나의 라벨로 병합하고 $OB$로 정의함을 나타낸다. 그림 4는 인체 비율을 활용하여 이동 객체의 일부 영역이 손실되었을 때 하나의 라벨로 병합하는 과정을 나타낸다.

그림 4 라벨 병합 과정

Fig. 4 Procedure of label merge

그림 4-(a)는 추출한 움직임 영역을 나타내고, 그림 4-(b)는 객체의 일부가 손실되어 하나의 객체가 2개의 라벨로 분할된 상태를 볼 수 있다. 그림 4-(c)는 수식 (2)와 (3)을 이용하여 2개의 라벨을 병합함으로서 하나의 객체로 추출한 영상이다. 하지만, 병합된 객체를 보면 약간의 손실된 영역이 발생하는 것을 볼 수 있다.

본 논문에서는 라벨 병합 과정을 통해 추출한 객체들을 영상 내 존재하는 이동 객체로 정의한다.

3.3 이동 객체의 특징 추출

이동 객체들의 위치를 지속적으로 추적하고 식별하기 위해서는 이동 객체만의 고유한 특징들을 추출할 필요가 있다.

본 논문에서는 이동 객체의 추적 및 식별을 위해 이동 객체의 머리를 기준으로 특징점을 추출하고 이동 객체가 가지는 고유의 히스토그램을 추출한다. 먼저, 이동 객체의 특징점 추출을 위해서 추출한 객체에 인체 비율을 적용하여 머리 부분만을 추출한다. 추출한 머리 부분에 Contour 알고리즘을 적용하여 무게중심을 찾는다. 수식 (4)는 Contour 알고리즘을 적용한 모멘트 계산 과정을 나타낸다.

여기서, $OB_{Head,\: N}$은 N번 객체의 머리 부분을 의미하며, $M_{i,\:j}$는 픽셀 $a$, $b$에서의 모멘트 값이며 $I$ 는 픽셀의 강도를 의미한다. $Wc$는 모멘트를 통해 구한 무게 중심 값이다. 모멘트를 통해 계산한 무게 중심은 이동 객체의 특징으로서 추적을 위한 기준점이다. 다음 그림 5는 이동 객체의 특징점을 추출하는 과정을 나타낸다.

그림 5 이동 객체 특징 추출 과정

Fig. 5 Procedure for extracting features of moving object

그림 5-(a)는 인식된 이동 객체를 나타내고, 그림 5-(b)는 인체 비율을 적용하여 라벨을 분할한 영상을 나타낸다. 그림 5-(c)는 추출한 머리 부분의 무게 중심을 보이고 있다.

그 다음, 히스토그램 추출을 위해서 이동 객체들의 RGB 히스토그램 정보를 HSV(Hue-Saturation-Value)로 변환하여 저장한다. 다음 수식 (5)는 HSV로 변환된 히스토그램 정보를 채널별로 저장하는 과정을 나타낸다.

여기서, $Ch$는 색상 채널을 의미하고, $val$은 각 색상영역의 값을 나타내며, $OB(x,\:y)$는 이동 객체의 픽셀 데이터 값을 나타내고, $Hist_{val}[Ch]$는 색상 채널별 저장된 히스토그램 데이터를 의미한다.

3.4 헬링거 거리를 이용한 이동 객체의 인식

본 연구에서는 헬링거 거리를 이용하여 이동 객체의 히스토그램 유사도를 비교함으로서 이동 객체들을 지속적으로 인식하는 방법을 제안한다. 헬링거 거리는 Bhattacharrya 계수를 이용하여 두 개의 확률분포 간의 유사성을 확인하는 방법으로 매개 변수의 위치에 따라 변화하는 결과 값을 측정하는데 적합하다. 다음 수식 (6)-(8)은 헬링거 거리를 이용하여 히스토그램의 유사성을 비교하는 과정을 나타낸다.

수식 (6)에서 히스토그램 U와 G는 수식 (5)에서 구한 색상 채널별로 저장된 히스토그램 데이터이다. $BC(U,\: G)$는 비교하고자 하는 이동 객체의 히스토그램 $U$와 $G$의 바타차야 계수를 나타낸다. 수식 (7)에서 $H_{ch}(U,\: G)$는 각 채널 $ch$에서의 헬링거 거리를 의미한다.

여기서, 헬링거 거리는 $0$부터 $1$사이의 결과 값을 가지며, $0$에 가까울수록 비교하는 히스토그램 $U$와 $G$가 유사하다는 것을 의미한다. 수식 (8)에서 $H_{mean}$는 히스토그램에서 구한 헬링거 거리의 평균을 의미하고, 해당 편차가 작으면 작을수록 두 히스토그램이 유사함을 뜻한다. 그림 6은 헬링거 거리를 이용한 히스토그램 유사도 비교 와 이동 객체 인식 결과를 나타낸다.

그림 6 히스토그램 유사도 비교를 통한 객체 인식

Fig. 6 Object recognition through histogram similarity comparison

그림 6-(a)는 15프레임전의 이동 객체 추출 영상을 나타내며, 그림 6-(b)는 현 프레임의 이동 객체 추출 영상을 나타낸다. 그림 6-(c)는 헬링거 거리를 이용하여 히스토그램 H 영역의 유사도를 비교한 영상을 나타낸다. 여기서, x축은 헬링거 거리의 편차를 의미하고, y축은 히스토그램을 나타낸다. 파란선은 15프레임전의 객체와 현 프레임의 동일 객체를 순차적으로 누적 비교한 결과이며, 붉은선은 15프레임전의 객체와 현 프레임의 다른 객체를 순차적으로 누적 비교한 결과를 나타낸다. 헬링거 거리는 편차가 적을수록 높은 유사도를 가진다. 그러므로 파란선이 가지는 유사도가 높다는 것을 알 수 있다. 그림 6-(d)는 히스토그램 유사도 비교 과정을 통한 이동 객체 인식 결과를 나타낸다.

4.1 칼만필터를 이용한 경로 보정 및 추출

이동 객체는 매 프레임마다 형태가 변화하여 객체의 특징점을 추적하는 과정에서 불안정한 오차를 포함한다. 따라서, 이동하는 객체의 경로 오차를 개선하기 칼만필터를 통해 이동 경로를 보정한다. 본 논문에서 칼만필터를 적용하는 과정은 다음 수식 (9)-(12)와 같다.

수식 (9)에서 $F_{x}$와 $F_{y}$는 추적하고자 하는 기준점의 $x$축과 $y$을 의미한다. 수식 (10)은 시간 $t$에 대한 상태방정식과 측정방정식을 나타내며, 상태방정식에서 $A$는 상태 변환행렬을 나타내며, 시스템 노이즈 $W_{t}$는 0.004로 정의한다. 측정방정식에서 $H$는 측정벡터의 변환행렬을 나타내며, 측정 노이즈 $V_{t}$는 0.25로 정의한다. 수식 (11)과 수식 (12)는 칼만필터의 상태방정식과 측정방정식을 나타내며 $\Delta t$는 영상에서의 프레임 차를 의미한다. 다음, 그림 7은 이동 객체 경로에 칼만필터를 적용한 결과를 $x$축과 $y$축으로 나누어 나타낸다.

그림 7 이동 경로 보정

Fig. 7 Correction of the moving path

그림 7 (a)와 (b)의 그래프에서 $x$축은 데이터의 길이를 나타내고, $y$축은 이동 객체 특징점의 $x$좌표와 $y$좌표를 나타낸다. 빨간색 실선은 칼만필터를 적용하기 전의 특징점 좌표를 나타내고, 파란색 실선은 칼만필터를 적용한 후의 특징점 좌표를 나타낸다. (a)에서 이동 객체의 특징점 위치가 불안정하였지만, 칼만필터를 적용한 결과 불안정한 오차가 많이 감소한 것을 볼 수 있다. (b)는 일정 구간 불안정한 오차가 있는 것을 볼 수 있으며, 칼판필터를 적용한 결과 (a)와 같이 오차가 많이 감소한 것을 볼 수 있다.

4.2 객체의 겹침 판단

다수의 이동 객체를 추적할 때 객체들끼리 겹치는 상황이 일어날 수 있다. 이때 겹쳐진 객체를 하나의 객체로 오인식 하는 상황이 발생하게 되어 객체를 지속적으로 추적하는데 어려움이 발생한다. 따라서, 다수의 이동 객체를 추적할 때에는 객체끼리의 겹침을 판단하고, 겹침 이후 객체들이 분리되었을 때 기존에 존재하던 동일 객체로서 인식되어 지속적으로 추적하는 방법이 필요하다. 그림 8은 이동 객체들이 움직이면서 발생하는 겹침 상황과 객체들을 분리하는 과정의 예를 나타낸다.

그림 8 이동 객체의 겹침 및 분리 과정의 예

Fig. 8 Examples for overlapping and separation of moving objects

그림 8-(a)는 영상에 존재하는 이동 객체 A, B, C를 인식 한 것을 나타내고, 그림 8-(b)는 B와 C 객체가 이동 중에 겹침 현상이 발생한 것을 나타내며, 그림 8-(c)는 겹침이 발생한 두 객체가 분리 후에 동일 객체로써 인식될 수 있도록 판단하는 과정이며, 그림 8-(d)는 겹침이 발생한 두 객체가 분리 후에 지속적으로 추적이 가능함을 나타낸다.

본 논문에서는 이동 객체 사이의 겹침 현상을 판단하기 위해서 이동 객체의 이동 경로를 비교한다. 수식 (13)은 이동 객체의 겹침 현상을 판단하는 기준을 나타낸다.

여기서, $F_{x}^{'}$와 $F_{y}^{'}$는 칼만필터로 보정된 이동 객체 추적 경로의 $x$축과 $y$축을 나타내며, 이 차이가 임계값 $\alpha$와 $\beta$보다 작을 때 겹침이 발생했다고 판단한다. 본 논문에서는 $\alpha$를 $40$, $\beta$를 $20$의 값으로 정의한다.

4.3 객체의 이동 방향 판단

이동 경로는 객체가 이동한 흔적과 이동한 방향에 대한 정보를 가지고 있기 때문에 본 논문에서는 겹침 현상이 발생한 후 객체를 분리하기 위해서 이동 경로의 방향을 활용하는 방법을 제안한다. 다음 그림 9는 본 논문에서 제안하는 이동 객체의 이동 방향을 계산하는 과정을 도시한다.

그림 9에서 이동 객체의 특징점은 시간에 따라 $m-4,\:\cdots ,\: m$순으로 이동하며, 마지막으로 추출된 특징점과 이전의 추출된 특징점간의 역삼각함수 정의를 활용하여 이동 방향을 구하는 것을 나타낸다. 수식 (14)은 객체의 이동 경로를 나타내며, 수식 (15)은 이동 방향을 계산하는 과정을 나타낸다.

그림 9 이동 객체의 이동 방향 계산을 위한 기하학

Fig. 9 geometry for calculating the moving direction of the moving objects

수식 (14)에서 $\Delta F_{x}^{'}$와 $\Delta F_{y}^{'}$은 칼만필터로 보정된 이동 경로에서 $m$번째와 $m$-2 번째 위치의 차이를 의미한다. 수식 (15)에서 $\theta_{OB}$는 위치 차이를 통해 계산한 이동 방향각을 나타낸다. 겹침 상황이 발생할 때 객체의 이동 방향과 객체가 분리된 후 생성되는 방향을 비교하였을 때 오차 범위 내에 존재하게 되면 같은 방향을 가지는 이동 객체라고 판단 할 수 있다.

여기서, $\theta_{OB}$는 겹침 상황 전의 이동 방향이고, $\theta_{N ew}$는 새롭게 생성된 이동 방향을 나타낸다. $\theta_{OB}$가 $\theta_{N ew}$의 오차 범위 $\pm 5^{\circ}$내에 존재하게 되면 같은 이동 방향을 가지는 이동 객체라 판단 한다. 이동 객체의 방향을 판단함으로서 겹침 상황 전후에 같은 방향으로 진행하는 이동 객체는 지속적으로 추적이 가능하다. 하지만 이동 방향 판단만으로는 겹침 후 이동 방향이 바뀌는 객체를 추적하기 어렵다는 단점이 있다.

4.4 헬링거 거리를 이용한 히스토그램 유사도 판단

본 절에서는 4.3절의 이동 방향 판단으로 객체를 추적하기 어려운 상황을 3.4절에서 제안한 헬링거 거리를 이용한 히스토그램 유사도 판단을 통해 해결하는 방법을 제안한다. 그림 10은 겹침 상황 전후 객체의 HSV 히스토그램 정보를 나타낸다.

그림 10-(a)는 동일 객체의 유사도 비교를 위해 추출한 히스토그램 정보이고, 그림 10-(b)은 다른 객체와 유사도 비교를 위해 추출한 히스토그램 정보이다. 표 1은 그림 10의 히스토그램 정보를 입력으로 유사도를 판단 한 결과를 나타낸다.

그림 10 히스토그램 유사도 비교

Fig. 10 omparison results of histogram similarity

유사도 비교 결과의 평균 값 차이가 $0.023$으로 근소한 차이를 보이고 있으나 각 채널 값의 차이는 평균 값 차이보다 많은 차이를 보이고 있음을 알 수 있다.