Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 67, No. 2, p.293-300

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 10 December 2017Revised : Accepted : 30 January 2018

DOI :

http://doi.org/10.5370/KIEE.2018.67.2.293

퍼지 클러스터링 알고리즘 기반의 라벨 병합을 이용한 이동물체 인식 및 추적

Recognition and Tracking of Moving Objects Using Label-merge Method Based on Fuzzy Clustering Algorithm

이성민 (Seong-Min Lee) ¹ 성일 (Il Seong) ¹ 주영훈 (Young-Hoon Joo) ²^†

(Dept. of Control and Robotics Engineering, Kunsan National University, Korea)
(Dept. of Control and Robotics Engineering, Kunsan National University, Korea)

^†Corresponding author, E-mail: yhjoo@kunsan.ac.kr

License :

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.(www.kiee.or.kr).

Abstract

We propose a moving object extraction and tracking method for improvement of animal identification and tracking technology. First, we propose a method of merging separated moving objects into a moving object by using FCM (Fuzzy C-Means) clustering algorithm to solve the problem of moving object loss caused by moving object extraction process. In addition, we propose a method of extracting data from a moving object and a method of counting moving objects to determine the number of clusters in order to satisfy the conditions for performing FCM clustering algorithm. Then, we propose a method to continuously track merged moving objects. In the proposed method, color histograms are extracted from feature information of each moving object, and the histograms are continuously accumulated so as not to react sensitively to noise or changes, and the average is obtained and stored. Thereafter, when a plurality of moving objects are overlapped and separated, the stored color histogram is compared with each other to correctly recognize each moving object. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.

Key words

Fuzzy C-menas, FCM, Clustering, Cluster, Object recognition, Histogram, Label merge

1. 서론

최근, 공공장소나 제한 구역에서의 범죄가 빈번히 발생함에 따라 잠금장치 또는 CCTV(Closed Circuit Television)등을 설치하여 정해진 영역을 감시하고 있다. 그러나, CCTV를 사용하여 운영자가 실시간 감시하는 경우에는 감시하다가 범죄 행위를 감지하지 못했을 경우가 종종 발생한다. 이런 경우, 사후에 VCR (Video Cassette Recorder)이나 DVR(Digital Video Recorder)에 녹화된 영상을 분석하여 사후에 사건을 감지하는 방법을 사용한다⁽¹⁾. 이를 보완하기 위해 최근에는 지능형 영상 감시 시스템이 주목받고 있다. 즉, IP(Internet Protocoal) 카메라를 이용한 영상분석 방법을 이용하여 실시간으로 사건을 감지하는 방법이 많이 연구되고 있다⁽²⁾.

지능형 영상감시 시스템이란 감시 영역에 여러 대의 IP 카메라를 설치하고 실시간으로 들어오는 영상정보로부터 영상을 분석하여 해당 특이 상황을 파악하여 특정 상황 발생시 경보를 발생시키거나 관제 기관에 신고를 하는 시스템을 말한다. 이런 감시 시스템은 입력된 영상 분석, 컴퓨터 비전, 패턴 인식 등의 기술을 적용하여 여러 범죄행위의 예방이나, 테러, 방화, 거리 보안, 교통량 측정, DMZ 경계, 불법 주정차 단속 등 많은 감시 분야에 활용되고 있다. 영상 감시 기술은 보통 이동물체의 탐지를 위한 움직임 영역 추출 즉, 이동물체 추출 기술과 감지된 이동물체의 특징 정보를 이용한 추적방법, 즉. 실시간 추적 기술이 핵심 기술로 많은 연구가 되고 있다⁽³⁾.

먼저 이동물체 추출 방법중 차영상 기법은 배경 영상과 입력된 영상의 차이를 추출하는 방법으로 빠르게 이동물체와 배경을 분리할 수 있지만 조명의 변화 잡음에 민감하다. GMM (Gaussian Mixture Models)을 이용한 이동물체 추출 방법은 배경의 변화를 학습하여 적응시키는 방법으로 잡음이 많은 환경에서 강인하지만 이동물체의의 이동량이 적을 경우 원활하게 추출하지 못하는 단점을 가지고 있다^(11,^12,^(16-¹⁸⁾. 또한 Optical Flow를 이용하여 입력된 두 영상에 대해 각 영상이 갖고 있는 코너점의 픽셀에 윈도우를 설정하고 다음 프레임에서 가장 매칭률이 높은 곳을 찾아 벡터를 추출하여 이동물체를 검출하는 방법이 있다. 이 방법은 설정되는 윈도우가 많을 경우 연산량이 많아 느려지는 단점이 있다⁽¹³⁾. 이러한 이동물체 추출 방법들은 비교의 기준이 되는 영상(전경)와 입력 영상에서의 이동물체 부분이 변화가 크지 않을 때 이동물체가 일부 손실돼 추출되는 경우가 발생한다. 이동물체가 손실될 경우 하나의 이동물체가 나뉘어 여러 부분으로 추출될 수 있는데 이러한 문제를 해결하기 위해 나눠진 부분을 병합하고 하나의 이동물체로 인식하는 기술이 필요하다. 그 방법으로 최단거리 정합법이 있는데 이 방법은 나눠진 각 객체간의 거리를 계산하여 정해진 거리 안에 다른 객체가 있으면 같은 이동물체라고 판단하여 병합하는 방법이다⁽⁴⁾. 이 방법은 구현이 간단하고 속도가 빠르지만 단순히 거리의 조건에 따른 병합방법이기 때문에 복수의 이동물체가 있을 때 또는 손실이 크게 일어났을 땐 오류가 나는 한계를 가지고 있다.

그리고, 이동물체의 특징정보를 이용한 추적방법으로는 여러 방법이 있지만 SIFT (Scale Invariant Feature Transform) 알고리즘과 MeanShift 알고리즘 등이 많이 이용되고 있다⁽¹⁴⁾. 먼저 SIFT 알고리즘은 크기와 회전에 불변하는 특징을 추출하는 알고리즘으로 크기, 조명 및 기하학적 변화에 강인하지만 연산량이 많다는 단점이 있다⁽¹⁴⁾. MeanShift 알고리즘은 이동물체의 히스토그램을 데이터 베이스에 저장하고 입력된 영상에서 추출한 이동물체의 히스토그램과 가장 유사한 히스토그램을 찾아 매칭하는 방법이다⁽¹⁵⁾. 그러나, 이 방법 역시 조도 변화나 잡음의 영향, 연산량이 많아 실시간 처리에는 문제점을 갖는다.

따라서, 본 연구에서는 상기 문제점을 보완하고 이동물체의 식별 및 추적 기술의 향상을 위한 이동물체 추출 및 추적 방법을 제안한다. 먼저, 이동물체 추출과정에서 발생하는 이동물체 손실 문제점을 해결하기 위해 FCM(Fuzzy C-Means) 클러스터링 알고리즘^(8,⁹⁾을 사용하여 분리된 이동물체를 한 이동물체로 병합하는 방법을 제안한다. 또한, FCM 클러스터링 알고리즘을 수행하기 위한 조건을 만족시키기 위해 이동물체에서 데이터를 추출하는 방법과 이동물체를 카운트하여 클러스터의 개수를 정해주는 방법을 제안한다. 그 다음, 병합된 이동물체를 지속적으로 추적하는 방법을 제안한다. 제안된 방법은 먼저, 각 이동물체의 특징정보로 컬러 히스토그램을 추출하여 잡음이나 변화에 민감하게 반응하지 않도록 지속적으로 히스토그램을 누적시켜 평균을 구해 저장한다. 이후 복수의 이동물체가 겹쳐졌다 분리됐을 때마다 저장된 컬러 히스토그램을 비교하여 각 이동물체를 올바르게 인식하도록 하는 방법이다. 마지막으로, 본 논문에서 제안한 방법은 여러 실험을 통해 그 응용 가능성을 제시한다.

2. 전체 시스템 블록도

그림. 1은 본 논문에서 제안하는 FCM 클러스터링 알고리즘 기반의 라벨 병합 방법을 이용한 이동물체 추출 방법과 인식된 이동물체를 컬러 히스토그램을 이용하여 추적 방법을 제안하는 전체 시스템 블록도를 보여준다.

그림. 1. 전체 시스템 블록도

Fig. 1. System block diagram

먼저, 입력된 RGB (Red-Green-Blue) 영상에서 배경과 이동물체를 분리하기 위해 차영상 기법을 수행하여 입력된 영상 내에서의 움직임 영역을 추출해낸다. 또한 이진화를 통해 그 움직임 영역을 직관적으로 바꾼 다음 모폴로지 기법의 침식, 팽창연산으로 잡음을 제거하는 과정을 거치면서 이동물체를 추출한다. 그러나, 실제 이동물체와 배경환경이 비슷할 경우 이동물체가 손실이 발생한 상태로 추출이 되는데 이를 해결하기 위해 먼저 추출된 이동물체에 라벨링(Labeling)을 수행한다. 이후 인식된 라벨들에서 클러스터링을 하기 위한 데이터(좌표값)를 수식을 통해 추출하고 데이터들을 클러스터링한다. 클러스터링 된 각 클러스터의 최외곽 좌표를 이용해 라벨을 병합하는 과정을 거쳐 이동 객채를 인식한다. 그 다음, 라벨내의 컬러 히스토그램을 추출하여 이동물체의 정보를 저장, 지속적으로 비교, 합산 평균을 계산하는 과정을 거쳐 저장한다. 이후, 저장된 정보를 이용하여 복수의 이동물체가 겹쳐졌다 분리 됐을 때 각각의 이동물체를 다시 식별하여 이동물체를 추적하는 부분으로 구성된다.

3. 이동물체 인식 및 추적

3.1 차영상과 이진화, 모폴로지 연산을 통한 이동이동물체 추출

이동물체를 추출하는 방법은 주로 전경(fore-ground)와 후경(back-ground)의 픽셀 값의 차이 또는 이동방향을 이용해 추출하는 방법을 사용한다. 이러한 이동물체 추출 방법은 입력된 영상내에 이동물체가 움직임을 보이더라도 기준 영상과 입력된 영상의 차이가 미미하면 이동물체를 감지 못하는 경우가 생기게 되기 때문이다.

본 논문에서는 입력된 영상에서 이동물체를 분리하는 방법으로 차영상(Difference Image) 기법을 사용한다. 즉, 배경 영상과 입력된 영상에 차영상 기법을 적용하여 움직임 영역을 추출해내는 방법을 사용한다. 이때, 움직임 영역은 실제 이동물체와 광원 및 환경데이터로 인한 잡음이 포함되어 있다⁽⁵⁾. 그림. 2는 차영상, 이진화와 모폴로지(morphology) 연산을 이용하여 이동물체를 추출하는 과정을 보여준다.

그림. 2. 입력된 영상의 차영상, 이진화, 모폴로지 과정

Fig. 2. Difference Image, Binarization, Morphology process Image

그림. 2(a)는 배경 영상이며, 그림. 2(b)는 카메라로부터 입력된 영상이다. 그림. 2(c)에서 그림. 2(e)는 각각 차영상, 이진화, 모폴로지 연산결과를 보여주는 영상이다. 상기 그림과 같이 배경과 입력 영상과의 차영상을 수행하면 그림. 2(c)와 같은 결과가 나온다. 그림. 2(c)는 배경 영상과 입력영상에 같은 좌표 값에 대응되는 픽셀들의 값을 차연산하여 그 차이 값을 해당 픽셀에 저장한 결과이다. 차이값이 클수록 픽셀의 값이 커지기 때문에 보다 더 밝게 보인다. 이진화 과정은 앞서 설명한 픽셀들의 값이 0~255로 표현된 영상에서 픽셀이 일정한 값 이상일 경우 255의 픽셀 값을 갖고 그렇지 않으면 0의 값을 갖게 하여 그림. 2(d)와 같이 표현한 과정을 말한다. 또한, 이진화 과정을 거친 영상은 잡음을 포함하고 있으며 잡음을 제거하기 위해서 모폴로지의 침식과 팽창 연산을 차례대로 수행한다. 모폴로지 기법의 침식연산은 픽셀 값이 0인 부분을 확산시킴으로 픽셀 값이 255인 부분을 침식시킴으로써 작은 잡음들을 제거하는 역할을 하고, 팽창 연산은 픽셀 값이 255인 부분을 팽창시켜서 이동물체의 영역을 확장하는 역할을 함으로서 잡음을 제거한다. 본 절에서는 상기와 같이 입력 영상에 대해 차영상 이진화, 모폴로지 연산을 이용하여 통한 이동이동물체를 추출하는 방법을 설명하였다.

3.2 FCM 클러스터링을 이용한 이동물체 인식

클러스터란 같은 조건을 가진 데이터들의 집합이며 클러스터링이란 동일한 조건을 갖는 여러 데이터를 하나의 클러스터로 분류하는 것을 말한다. 대표적인 클러스터링 방법은 K-means와 FCM등이 있다.

K-means 클러스터링은 임의로 설정된 클러스터에 가까운 데이터들을 클러스터링 하는 방법이다^(6,⁷⁾. 이 방법은 구현이 쉽고 속도가 빠르다는 장점이 있지만, 초기 클러스터에 따라서 결과 값이 달라질 수도 있기 때문에 복잡한 환경에서는 부적합하다. 한편, FCM 클러스터링은 K-means 클러스터링과 과정은 똑같지만 각 클러스터에 대한 데이터들 각각의 가중치를 이용해 클러스터링 한다는 것이 다른 점이다. 또한, 클러스터의 중심점을 재계산하는 부분에서 데이터들의 평균이 아닌 데이터들의 좌표와 그에 맞는 가중치들을 고려하여 계산하므로 초기 중심점 선정에 크게 민감하지 않다는 장점을 갖는다^(8,⁹⁾.

본 연구에서는 FCM 클러스터링 방법을 이용하여 손실된 이동물체에서 추출된 데이터들을 병합하고 다른 이동물체와 분리함으로 각각의 이동물체를 인식하는 방법과 FCM 클러스터링을 사용하기 위해 필요한 조건인 클러스터링할 데이터를 추출하는 방법과 이동물체의 수를 카운트하는 방법을 제안한다.

3.2.1 클러스터링 할 데이터 추출

FCM 클러스터링을 수행하려면 클러스터링 될 데이터가 필요하므로 이동물체를 이용하여 그 데이터를 추출한다. FCM 클러스터링 알고리즘은 데이터와 클러스터간의 가중치를 이용해 클러스터링을 하고 또 중심점을 재계산하기 때문에 데이터의 수에 따라 이동물체의 인식 성능이 증가한다. 하지만 데이터가 실제 이동물체와 관련이 없는데 포함하여 클러스터링 하는 것은 복수의 이동물체가 가까워 졌을 때 각 이동물체에 맞는 데이터를 정확히 클러스터링 하지 못한다. 그러므로, 본 연구에서는 각 이동물체의 영역을 포함하고 필요 없는 데이터는 필터링하는 방법을 제안한다.

이를 위해, 먼저, 3.1절에서 설명한 차영상과 이진화, 모폴로지 연산을 통한 이동물체 추출 영상을 이용해 라벨링 과정을 수행하여 여러 개로 나누어진 이동물체에 여러 개의 라벨을 형성한다. 그림. 3은 후보 데이터들을 추출하는 방법을 나타내는 그림이다.

그림. 3. 각 이동물체의 한 라벨에서 추출되는 후보 데이터

Fig. 3. Extracted candidated datas in single label

그림 3에서 (X_min,Y_min)와 (X_max,Y_max)은 각각 라벨의 최소 좌표와 최대 좌표를 나타내며, W와 H는 라벨의 폭과 높이를 나타낸다. 또한. 한 라벨에서 주어진 좌표를 이용하여 추출되는 후보 데이터들은 일정한 간격으로 생성되며 데이터의 좌표는 라벨 최대 좌표(X_max,Y_max)를 초과하지 못한다. 라벨의 폭 W와 높이 H는 다음 식(1)과 같다.

(1)

W = X_{m a x} - X_{m i n} H = Y_{m a x} - Y_{m i n}

(2)

C D_{n m} = (x_{n}, y_{m})

식(2)에서 은 후보 데이터들의 집합으로 의 좌표를 가지며, 의 값은 0 이상의 정수의 값을 갖는다. 의 좌표를 추출하는 수식은 다음과 같다.

(3)

x_{n} = \{\begin{cases} X_{m i n} + E G n & i f 0 \leq E G n \leq W \\ X_{m a x} & i f W \leq E G n \end{cases} y_{m} = \{\begin{cases} Y_{m i n} + E G m & i f 0 \leq E G m \leq H \\ Y_{m a x} & i f H \leq E G m \end{cases} (단, n, m 은 0 이상의 정수)

여기서, EG는 후보 데이터간의 간격을 의미하며, EG가 작을수록 데이터가 많이 추출되고 클수록 적게 추출된다. 따라서, EG를 높게 설정할수록 클러스터링의 정확성이 증가하지만 데이터의 증가로 인한 연산량이 많아질 수 있다.

그림. 4(a)는 추출된 후보 데이터의 그림이며, 그림. 4(b)는 인식된 이동물체의 영역이다.

그림. 4. 이동물체의 실제 데이터 추출 과정

Fig. 4. The process of extracting real Data of object

그림. 4에 대한 수식은 다음과 같다.

(4)

R E_{k} (x_{k}, y_{k}) = C E (x_{n}, y_{m}) i f I M G (x_{n}, y_{m}) & C E (x_{n}, y_{m}) = 1

여기서, IMG(x_n, y_m)은 인식된 이동물체가 있는 영상의 좌표이며, RD_k(x_k, y_k)는 그림. 4(d)의 데이터를 의미한다. IMG의 좌표와 CD의 곱연산을 거쳐 남은 좌표를 RD의 번째 좌표 k값으로 저장한다. 모든 데이터가 위와 같은 과정을 모두 거친 후 추출된 RD의 좌표들을 실제 데이터(Real Data)라 정의한다.

이와 같이 실제 데이터를 추출해 내면 데이터 자체는 실제 이동물체와 대응되는 가장 적합한 데이터들을 찾을 수 있으나, 인식된 이동물체의 폭과 높이가 불명확해지는 단점이 있다. 따라서, 연구에서는 그 문제를 다음 좌표를 추가함으로써 해결한다.

(5)

(x_{m i n}, y_{m i n} + \frac{H}{2}), (x_{m a x}, y_{m i n} + \frac{H}{2}) (x_{m i n} + \frac{W}{2}, y_{m i n}), (x_{m i n} + \frac{W}{2}, y_{m a x})

식(5)는 그림. 4(d)의 파란색 좌표이다. 이는 후보 데이터를 추출하기 이전에 생성된 각각의 라벨의 폭과 높이 끝 지점을 기억하기 위해 추가하며 다음 절에서 설명하는 이동물체의 수를 카운트하는 방법에서 사용된다.

3.2.2 이동물체의 수를 카운트 하는 방법

FCM 클러스터링을 하기 위해서는 사전에 클러스터의 수가 정해져야하는데 본 논문에서는 클러스터가 하나의 이동물체이므로 이동물체의 수를 카운트 하는 방법을 다음과 같이 제안한다.

먼저 이동물체는 항상 모서리에서 발생한다고 가정한다. 이동물체가 발생하면 라벨이 모서리와 닿아있는 상태이며, 라벨이 모서리와 완전히 분리되면 이동물체로 카운트한다.

그림. 5(a)는 이동물체가 모서리로부터 발생했을 때 라벨들이 모서리와 겹친 모습을 나타낸 것이며, 그림. 5(b)는 모서리와 라벨이 분리됐을 때 이동물체를 카운트 하는 것을 의미한다. 그림. 5(c)는 이동물체가 모서리에 접근하는 경우를 나타내며 이 경우는 이동물체로 카운트 하지 않는다.

그림. 5. 이동물체의 수 카운트 방법

Fig. 5. Method for Counting the number of objects

3.2.3 FCM 클러스터링 기반 라벨 병합을 통한 이동물체 인식

클러스터링 할 데이터와 클러스터의 개수가 정해지면 다음 수식을 통해 데이터들의 가중치와 클러스터의 중심점을 계산한다.

(6)

w_{i j} = \frac{1}{\sum_{k = 1}^{C} (\frac{∥ R D_{i} - c_{j} ∥}{∥ R D_{i} - c_{k} ∥})^{\frac{2}{f - 1}}}

여기서, w_ij는 RD_i의 j번째 클러스터에 대한 가중치이며 C는 3.2.2절에서 카운트된 이동물체의 수를 의미한다. f는 2 이상의 정수이며 클러스터의 분산도를 결정하는 변수이다. f가 클수록 반복에 따른 클러스터 내부의 변화는 미미하다. c는 초기에는 임의로 설정된 클러스터의 중심점이고, 반복 단계일 때는 다음 식(7)을 통해서 결정된다.

(7)

c_{j} = \frac{\sum_{i = 1}^{N} (w_{i j}^{f} \times R D_{i})}{\sum_{i = 1}^{N} w_{i j}^{f}}

여기서, N은 추출된 실제데이터의 총 개수이고, 위 식(7)을 통하여 클러스터 중심점을 계산한다.

상기 클러스터링 과정은 반복적으로 수행되며 클러스터 중심점의 변화율을 이용하며 변화율이 일정 수준 미만일 때 클러스터링 과정을 종료한다. 클러스터 중심점의 변화율은 식(9)에 의해 결정된다.

(8)

c_{j} = (x_{j}, y_{j})

(9)

E r r = \sum_{j = 1}^{C} (\frac{| x_{j} - x_{j + 1}^{} |}{W i d t h} + \frac{| y_{j} + y_{j + 1}^{} |}{H e i g h t})

먼저 식(8)은 식(7)을 통해 계산된 클러스터 중심점의 좌표를 나타낸 것이다. Err는 반복 과정중의 중심점 변화율이고,

c_{j}^{t + 1}

는

(x_{j}^{t + 1}, ` y_{j}^{t + 1})

의 좌표를 가지며 다음 계산된 클러스터의 중심점을 의미한다. Err가 일정 값 이하가 될 때 까지 클러스터링 과정을 종료하고 그 때의 클러스터 중심점을 출력한다. 식(10)은 실제 데이터들을 클러스터에 담는 조건을 나타낸 수식이다.

(10)

C l u s t e r_{j} = {X | X 는 w_{i j} 가 가 장 큰 데 이 터 R D_{i} 의 집 합}

RD_i의 한 데이터는 C개의 가중치를 갖는데 그중 가장 큰 값을 갖는 가중치가 w_ij이면, RD_i는 Cluster_j에 포함된다. 또, 각 Cluster_j에 클러스터링된 데이터들의 최대 좌표를 찾아서 라벨링을 수행함으로 라벨 병합을 하여 이동물체를 인식한다.

3.3 복수 이동물체의 겹쳐짐 상태와 분리 상태의 판단

복수의 이동물체들이 이동중 겹쳤을 경우, 겹쳐짐 상태와 겹쳐짐 이후 분리 상태를 판단해야 한다. 이는 특정한 이동물체를 인식하고 추적하는 방법에서 중요한 부분이다. FCM 클러스터링의 특성상 두 이동물체가 가까운 거리에 있어도 각각의 이동물체를 인식할 수 있는 장점을 갖고 있지만 두 이동물체가 겹쳐졌을 때 각 이동물체들을 인식할 수 없는 단점이 있다. 본 연구에서는 이를 보완하기 위해 겹쳐짐 상태와 분리 상태의 판단 방법을 제안한다.

먼저 겹쳐짐 상태 판단은 두 가지 조건에 따라서 결정된다. 첫 번째 조건은 이동물체 라벨 영역의 중첩이고 두 번째 조건은 이동물체 라벨 중심점 간의 거리이다. 그림. 6은 두 가지 조건과 겹쳐짐의 판단에 대한 그림이다.

그림. 6. 이동물체의 겹쳐짐, 분리 판단

Fig. 6. Judging method for overlapping and separation of moving objects

그림. 6(a)는 두 이동물체의 라벨이 겹쳐졌을 때이고 그림. 6(b)는 두 가지 조건을 모두 만족함으로 인해 겹쳐짐 상태로 판단하는 그림이다. 그림. 6(c)는 겹쳐짐 상태이후 두 조건이 모두 해제됐을 때 분리 상태라고 판단하는 그림이다. 겹침 이후 분리 상태가 되었을 때 겹침 이전의 인식된 각 이동물체들과 분리된 이후 인식된 이동물체들의 인식은 뒤바뀔 수 있다. 다음 절에서는 겹침 발생 후 각 추적중인 이동물체의 인식을 위한 방법이 제안된다.

3.4 컬러 히스토그램을 이용한 이동물체 정보 저장

본 연구에서는 컬러 히스토그램을 사용하여 겹침 발생 후 분리된 각 이동물체의 인식을 하는 방법이 제안된다. 컬러 히스토그램은 영상의 크기나 각도 변화 등에 강인하고 질감이나 모양, 특징에 비해 추출이 쉽고 높은 성능을 보인다고 알려져 있다⁽¹⁰⁾. 그러므로 추적중인 이동물체의 정보들을 컬러 히스토그램을 이용하여 저장하고 이를 비교하는 방법으로 추적중인 이동물체를 인식하는데 사용한다.

이를 위해, 먼저 각 이동물체 라벨 영역의 컬러 히스토그램을 추출한다. 이동물체의 컬러 히스토그램은 HSV(Hue-Saturation–Value: 색상-채도-명도) 색상 영역에서 추출하는데, HSV 색상 영역은 색상과 명도가 분리돼 있기 때문에 조도에 강인하여 조도의 변화가 큰 공간에서도 색상을 추출해 낼 수 있는 장점이 있다. 그러나, 각 이동물체에 대한 정보를 저장한 뒤 히스토그램 매칭을 통해 각 이동물체를 추적 및 인식하게 되는데 단일 히스토그램은 상황에 따라 크게 변할 수 있는 문제가 있다. 이를 해결하기 위해 본 연구에서는 각 이동물체의 조명에 의한 색상 변화에 강인하도록 추출된 히스토그램을 누적하여 평균을 구해 저장하는 방법을 제안한다.

(11)

F_{t + 1} (H) = \frac{t \times F_{t} (H) + F (H)}{t}

여기서, t는 시간이고 F(H)는 색상 값 H(0

\leq

\leq

180)의 현재 빈도수이며, F_t(H)는 이전 시간까지 색상 값 H의 평균값이다. 이를 이용하여 현재까지 누적된 빈도수의 평균 F_t+1(H)을 구한다.

위 수식을 이용하면 이동물체의 평균 컬러 히스토그램을 계산할 수 있다. 식(11)을 이용하여 이동물체의 컬러 히스토그램을 추출하고 이전 값과 매칭하여 이동물체를 지속적으로 추적한다. 즉, 각 이동물체를 추적중에 겹침이 발생할 경우 히스토그램 추출을 중단하고 분리 이전에 저장된 히스토그램과 매칭을 통하여 또 다시 추적을 하도록 하는 과정을 반복한다. 그림. 7은 본 논문에서 제안하는 전체 시스템 순서도이며, 그림. 8은 전체 시스템 세부 순서도이다.

그림. 7. 전체 시스템 순서도

Fig. 7. System FlowChart

그림. 8. 전체 시스템 세부 순서도

Fig. 8. System Detail Flowchart

4. 실험 및 결과 고찰

본 논문에서 제안한 FCM 클러스터링 알고리즘 기반의 라벨 병합 방법을 이용한 이동물체 인식 및 추적 방법의 우수성을 증명하기 위해 실 환경에서 여러 실험을 하였다. 실험 환경은 i5-750 2.67GHz CPU, 4GB RAM의 IBM PC와 640x480 pixel, fps 30의 웹 카메라를 사용했다.

그림. 9는 이동물체의 추출과 손실된 이동물체의 인식에 대한 결과이다. 그림. 9(a)는 카메라로부터 입력된 원본 영상이고 그그림. 9(b)는 원본 영상의 차영상과 이진화를 마친 결과를 나타내며, 그림. 9(c)는 모폴로지 연산의 침식과 팽창 연산을 차례대로 마친 결과이다. 마지막으로 그림. 9(d)는 손실된 이동물체 영역에 라벨링을 수행한 결과이다. 이 수행 결과 그림 그림. 9(d)와 같이 이동물체가 손실됐을 때 라벨이 여러 개로 나뉘어 생성되는 결과를 볼 수 있다.

그림. 9. 손실된 이동물체 인식의 결과

Fig. 9. The result of recognition for missing object

다음 그림. 10은 한 프레임에서 클러스터링의 수행 과정 및 결과를 나타낸 그림이다.

그림. 10. 클러스터링의 과정 및 결과

Fig. 10. Result and process of clustering

그림. 10(a)에서 그림. 10(c)는 차례대로 수행하여 손실된 이동물체에 라벨링을 수행하고 그림. 10(d)와 같은 후보 데이터를 추출해냈다. 그림 10(b)와의 곱연산을 통해서 그림. 10(e)와 같이 실제 데이터들을 추출해냈으며 추출된 실제 데이터를 이용하여 클러스터링을 수행하면 그림. 10(f)의 결과가 나오고 그 결과에 따라서 라벨을 병합한다. 다음 그림. 11은 본 논문에서 제안한 방법을 적용한 결과이다.

그림. 11. FCM 클러스터링을 이용한 이동물체 인식 및 추적

Fig. 11. Object recognition and tracking using FCM clustering

그림 그림. 11(a)에서는 이동물체의 수가 하나이기 때문에 하나만을 찾는 모습이고, 그림. 11(b)는 이동물체가 카운트 되어 2개의 이동물체가 인식되는 모습이다. 그림. 11(c)와 그림. 11(g)는 겹쳐짐 상태를 표현한 것이고 겹침 상태 이후 분리됐을 때 각 이동물체의 컬러 히스토그램을 이용하여 겹침 이전과 이동물체의 인식이 서로 뒤바뀌지 않도록 한 것을 그림 그림. 11(d)와 그림. 11(h)를 통해 볼 수 있다. 그림. 11에서 알 수 있듯이 본 연구에서 제안한 방법은 11-f와 같이 복수의 이동물체가 근접해 있더라도 거리에 따라서 병합되지 않기 때문에 각각의 이동물체를 인식할 수 있는 장점이 있음을 알 수 있다.

다음 그림. 12는 거리 정합 방법으로 이동물체를 인식한 것과 본 논문에서 제안한 방법의 비교를 나타낸 것이다.

그림. 12. 기존 방법과 제안한 방법의 비교

Fig. 12. Comparison of original and proposed method

그림. 12(a)는 최단거리 정합방법에서 두 이동물체가 근접했을 때이며, 그림. 12(b)는 제안한 방법에서의 결과이다. 두 방법 모두 이동물체가 멀리 떨어져 있다면 비슷한 결과를 도출해 내지만 가까이 있을 경우 인식을 하나로 하는지 둘로 하는지에 대해서 큰 차이를 나타냄을 알 수 있다.

5. 결 론

본 논문에서는 FCM 클러스터링 기반의 라벨 병합 방법을 이용한 이동물체의 인식 및 추적 방법을 제안하였다. 먼저, 카메라로부터 획득한 영상 정보를 해석하기 위해 차영상, 이진화, 모폴로지 기법의 침식 팽창연산을 사용하여 이동물체 영역을 추출한다. 그 다음, 이동물체가 손실로 인해 라벨이 여러 개 생성됐을 때 온전히 하나의 이동물체로 인식하기 위해 나뉜 라벨에서 데이터를 추출하고 FCM 클러스터링을 수행하여 나뉜 라벨을 병합하는 방법을 제안하였다. 또한, 라벨 병합을 통해 인식된 이동물체의 컬러 히스토그램을 지속적으로 추출하고 비교하여 추적을 하도록 하였으며 추출된 컬러 히스토그램은 인식된 이동물체의 정보로 누적시키고 평균을 구해 변화에 강인하는 방법을 제안하였다. 마지막으로, 본 논문에서 제안한 방법은 여러 실험을 통해 응용 가능성을 보였다.

감사의 글

본 연구는 2016년도 정부(교육부)의 재원으로 한국연구재단의 대학중점연구소 지원사업의 지원을 받아 수행된 연구임(과제번호: NRF-2016R1A6A1A03013567).

References

Jang T. W., Shin Y. T., Kim J. B., 2013, A study on the object extraction and tracking system for intelligent surveillence, Journal of Korean Institute of Communications and Information Sciences, Vol. 38, No. 7, pp. 589-595

Shi L. Y., Joo Y. H., 2012, Multiple moving objects detection and tracking algorithm for intelligent surveillance system, Journal of Korean Institute of Intelligent System, Vol. 22, No. 6, pp. 741-747

Jeong C. Y., Han J. W., 2012, Technical trends of abnormal event detection in video analytics, Electronics and Telecommunications Trends, Vol. 136, pp. 114-122

Jeong J. M., Kim H. Y., Song S. O., 2014, Moving object detection and counting system using difference image technique, Proceedings of the Korean Society of Computer Information Conference, Vol. 22, No. 1, pp. 251-252

Park J. H., Park S. M., Sim K. B., 2011, Occluded object motion tracking method based on combination of 3D reconstruction and optical flow estimation, Journal of Korean Institute of Intelligent Systems, Vol. 32, No. 5, pp. 537-542

Lee S. W., 2012, Comparison of Initial Seeds Methods for K-Means Clustering, Journal of Internet Computing and Services, Vol. 13, No. 6, pp. 1-8

Yoon T. S., Shim K. S., 2012, K-means clustering for handling high-dimensional large data, Journal of KIISE : Computing Practices and Letters, Vol. 18, No. 1, pp. 55-59

Ghosh S., Dubey S. K., 2013, Comparative analysis of K-means and fuzzy C-means algorithms, International Journal of Advanced Computer Science and Applications, Vol. 4, No. 4, pp. 35-39

Yang S. H., Chung M. D., 2013, A context-aware information service using FCM clustering algorithm and fuzzy decision tree, Journal of Korea Multimedia Society, Vol. 16, No. 7, pp. 810-819

Lee K., Lee C. H., 2013, Content-based image retrieval using LBP and HSV color histogram, Journal of Broadcast Engineering, Vol. 18, No. 3, pp. 372-379

Lee J. H., Cho S. W., Kim J. M., Chung S. T., 2008, Layered object detection using adaptive Gaussian mixture model in the complex and dynamic environment, Journal of Korean Institute of Intelligent Systems, Vol. 18, No. 3, pp. 387-391

Park J. H., Lee G. S., Toan N. D., Cho W. H., Park S. Y., 2010, Moving object detection using clausius entropy and adaptive Gaussian mixture model, The Institute of Electronics Engineers of Korea- Computer and Information, Vol. 47, No. 1, pp. 22-29

Lee J. S., Joo Y. H., 2015, Detection using optical flow and EMD algorithm and tracking using Kalman filter of moving objects, The transactions of The Korean Institute of Electrical Engineers, Vol. 64, No. 7, pp. 1047-1055

Kim S. R., Yoo H. J., Shon K. H., 2012, FAST and BRIEF-based real-time feature matching algorithms, Autumn conference of Korean Society Broadcast Engineering (in Korean), pp. 1-4

Comaniciu D., Meer P., 2002, Mean shift: A robust approach toward feature space analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 603-619

Kim J. K., Joo Y. H., 2013, Visual multi-touch air inerface for brehanded uers by skeleton models of hand regions, Int. Journal of Control, Automation, and Systems, Vol. 11, No. 1, pp. 84-91

Kim J. S., Yeom D. H., Joo Y. H., 2011, Fast and robust algorithm of tracking multiple moving objects for intelligent video surveillance, IEEE Transactions on Consumer Electronics, Vol. 57, No. 3, pp. 1165-1170

Lee J. S., Joo Y. H., 2015, Area classification, identification and tracking for multiple moving objects with the similar colors, The Transactions of the Korean Institute of Electrical Engineer, Vol. 64, No. 7, pp. 1047-1055

저자소개

이성민 (Seong Min Lee)

2016년 군산대학교 제어로봇공학과 졸업

2016년 군산대학교 전자정보공학부 석사과정

관심분야: 컴퓨터 비젼, 영상처리, 지능형 영상 감시 시스템

성일 (Il Seong)

1986년, 1988년 연세대학교 전기공학과 졸업(공학사, 공학석사)

1988년~2016년 ㈜삼성전자 의료기기사업부 부장

2016년~현재 군산대학교 일반대학원 전자정보공학과 박사과정 재학

2018년~현재, ㈜홍익기술 대표이사

관심분야: 지능형 비젼 검사기기, 머신 비젼, 자동화 시스템 개발, 지능형 감시 시스템

주영훈 (Young Hoon Joo)

1982년, 1984년, 1995년 연세대학교 전기 공학과 졸업 (공학사, 공학석사, 공학박사)

1986~1995년 ㈜삼성전자 생산기술센터 팀장

1995년~현재 군산대학교 제어로봇공학과 교수

1998년~1999년 미국 휴스턴대학 박사 후 과정

2006년~2007년 제어․로봇시스템학회 편집주간

2008년~2009년 한국 지능시스템학회회장

2016년~현재 군산대학교 풍력기술연구센터장 (교육부선정 중점연구소)

2014년~2017년 International Journal of Control, Automation, and Systems (IJCAS) Editor-in-Chief

2018년. 1월~2018년 12월 대한전기학회 차기회장, 평의원. 시니어회원

관심분야: 지능형로봇, 지능제어, 로봇비젼, Human-Robot Interaction, 지능형 감시 시스템, 풍력발전단지제어

KIEEThe Transactions of
the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

Recognition and Tracking of Moving Objects Using Label-merge Method Based on Fuzzy Clustering Algorithm

Abstract

Key words

1. 서론

2. 전체 시스템 블록도

3. 이동물체 인식 및 추적

3.1 차영상과 이진화, 모폴로지 연산을 통한 이동이동물체 추출

3.2 FCM 클러스터링을 이용한 이동물체 인식

3.2.1 클러스터링 할 데이터 추출

(1)

(2)

(3)

(4)

(5)

3.2.2 이동물체의 수를 카운트 하는 방법

3.2.3 FCM 클러스터링 기반 라벨 병합을 통한 이동물체 인식

(6)

(7)

(8)

(9)

(10)

3.3 복수 이동물체의 겹쳐짐 상태와 분리 상태의 판단

3.4 컬러 히스토그램을 이용한 이동물체 정보 저장

(11)

4. 실험 및 결과 고찰

5. 결 론

감사의 글

References

저자소개

이성민 (Seong Min Lee)

성일 (Il Seong)

주영훈 (Young Hoon Joo)

Article Information (continued)

Key words

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

Recognition and Tracking of Moving Objects Using Label-merge Method Based on Fuzzy Clustering Algorithm

Abstract

Key words

1. 서론

2. 전체 시스템 블록도

3. 이동물체 인식 및 추적

3.1 차영상과 이진화, 모폴로지 연산을 통한 이동이동물체 추출

3.2 FCM 클러스터링을 이용한 이동물체 인식

3.2.1 클러스터링 할 데이터 추출

(1)

(2)

(3)

(4)

(5)

3.2.2 이동물체의 수를 카운트 하는 방법

3.2.3 FCM 클러스터링 기반 라벨 병합을 통한 이동물체 인식

(6)

(7)

(8)

(9)

(10)

3.3 복수 이동물체의 겹쳐짐 상태와 분리 상태의 판단

3.4 컬러 히스토그램을 이용한 이동물체 정보 저장

(11)

4. 실험 및 결과 고찰

5. 결 론

감사의 글

References

저자소개

이성민 (Seong Min Lee)

성일 (Il Seong)

주영훈 (Young Hoon Joo)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers