2.1 인식시스템 구성

일반적으로 옥내외용 군중행동에 대한 행동인식 및 모니터링을 위한 다중센서 시스템으로는 그림 1과 같이 보행자 모니터링을 위한 2D용 카메라를 이용한 개인 식별을 수행하는 방법을 적용하고 있다. 하지만 본 연구에서는 보행자의 움직임에 대한 수평면의 보폭 인식을 위하여 레이저 스케너 센서를 이용한 보행자의 보폭 특징을 추출하고 개별 인식과 보행자의 동적 움직임을 연속적인 방향 및 속도를 파악할 수 있게 하였다.

그림. 1. 레이저스케너와 이미지센서의 기하학적 관계

Fig. 1. Kinematics of laser scanner and image sensor

행동 인식 시스템의 센서데이터 처리 및 추적 프로세서 및 모델은 그림 2와 같이 나타낼 수 있다. 일반적인 패턴 인식 시스템⁽⁹⁾과 동일하며, 전처리부분, 특징추출부분, 식별부분으로 구성되어있다. 특징점 추출 및 선택, 학습을 수행하는 학습 단계와 측정 및 분류를 수행하는 식별 단계로 구분할 수 있다. 각 모듈별에 대한 기능은 다음과 같다.

전처리 부분에서는 레이저 스캐너를 이용한 인물 추적⁽³⁾을 수행한다. 이 기술은 여러 레이저 스캐너를 바닥면에 설치하고 수평 스캔으로 사람의 발목 부분의 단면변화 패턴에 착안하여 보행자 추적을 수행하였다.

추적 프로세스는 다음과 같은 기능으로 구성하였다: (1) 레이저스캐너의 레인지 데이터의 배경 차에 의한 동체 추출, (2) 데이터 클러스터링을 통한 다리에 대한 후보정보의 발견 (3) 다리 후보 정보의 그룹화에 의한 보행자 후보의 발견 (4) 보행자 후보 움직임 벡터 검출 (5) 보행 모델을 기반으로 칼만 필터에 의한 기존 경로의 연장 처리와 같이 구성된다. 본 실험의 결과로는 병원, 요양원 및 지하철역에서 실증 실험에서는 120mm 이내의 추적 오차를 얻을 수 있었다. 기 연구에서 수행된 영상센서를 이용한 추적 방법⁽¹⁰⁾에 대한 연구도 진행 중이지만, 군중을 대상으로 한 경우의 차폐에 문제와 옥외에서의 광량에 따른 색상 인식문제가 남겨져있어 실제 환경에의 응용에는 한계가 있는 것으로 판단되었다.

그림. 2. 보행패턴 모델의 구현과 상태 추정

Fig. 2. Diagram of our Kalman filter implementation using an walking pattern model

2.2 행동인식과 추출

레이저 스캐너와 이미지 센서에 의해 획득 가능한 특징량의 예는 궤적 특징·보행특징·화상 특징, 환경(글로벌) 특징 의 4개 항목으로 나누어 정리했다. 아래 표 1의 목록과 같이 과련 특징정보를 나타낼 수 있다

각 특징량은 시간 t에서의 인물 k 관측 값 이며 시간 방향의 통계인 N 지점에서의 평균과 N 지점의 표준 편차도 특징량이 될 수 있다. 또한 환경(글로벌) 특징은 포함되지 않았지만 대상 범위의 특징량에 대한 평균 및 표준 편차로 표현 가능하고 행동을 나타내는 유효한 지표가 될 수 있다.

이미지센서에 의한 다중물체 인식 방법은 기존연구 방법⁽¹⁰⁾을 적용하였고 레이저스캐너에 의한 보행 패턴 인식 및 계측방법은 다음 소절에서 소개하도록 한다.

2.3 보행자 보행인식 및 계측

본 연구에서 보행자의 보행자 족부 인식 및 보행 방향 인식추적을 위해 사용된 센서로는 HOKUYO사의 레이저 스캐너(LRF, URG-04LX)을 적용하였고, 이 센서는 펄스파 형태의 레이저 빔을 조사하여 고정의 대상물에 부딪혀서 다시 반사되는 펄스를 수신할 때까지의 시간을 계측하는 방법으로서 대상물까지의 거리를 계산하는 Time of Flight 방식의 센서이다. 또한, 내부의 반사경이 고속회전으로 인한 최대 180도의 평면 계측단면을 반시계 방향으로 스켄하면서 측정하게 된다. 출력되는 데이터 형태는 각 방위에 대한 거리값으로 나오게 되며 거리정도는 오차 4cm정도, 최대 30cm의 반경까지 측정이 가능하다. 각도의 분해능은 0.25도에서 1.0도까지 선택이 가능하고 계측 각도 범위와 각도 분해능에 의한 1 스캔 데이터양에 의해 결정 된다. 즉, 0도에서 180도를 0.5도의 분해능으로 계측하는 경우 1 스캔으로 획득되는 거리값의 수는 361포인트가 된다. 이러한 데이터양에 비례하여 스캔의 샘플링 비율이 결정되게 된다. 일반적으로 default 값(계측범위 180도, 각도 분해능 0.5도)은 37.5Hz의 샘플링비율(26ms/1 scan)을 얻을 수 있다.

보행자의 보행 데이터 측정 및 획득을 위하여 레이저스캐너를 바닥면에서 약 10cm 정도의 높이에 설치하고 레이저 빔의 수평단면을 보행자의 발목위치를 스캔할 수 있도록 설정하였다.

그림. 3. 레이저 스캐너(LRF)의 스캐닝 높이 설정

Fig. 3. Geometric structure of Laser scanner

3.1 보행자의 모델링

평면 좌표 공간상에서 이동하는 일반적인 물체에 대하여 각 방향의 속도 및 가속도를 추정할 수 있으면 δt이후의 공간상에서 보행자의 예측되는 다음 위치는 식(1)과 같다⁽²⁾.

특히 xy 평면상에서 이동하는 보행자의 움직임은 진행속도 성분 $v _ { k }$과 각속도 성분 $w _ { k }$으로 분해하여 식(2)와 같이 나타낼 수 있다⁽³⁾.

위 식에서 진행속도와 회전 각속도는 x,y 각 방향에 대한 속도와 가속도 성분으로 나타나며 이를 시스템의 입력으로 정의하여 식(3)의 보행자의 상태천이 모델을 얻는다. 여기서 z는 측정벡터, H는 상태벡터와 측정벡터사이의 관측행렬이며 w, v는 시스템잡음과 측정잡음, T는 샘플링 시간을 의미한다.

3.2 칼만필터에 의한 보행자의 상태추정

입력정보, 즉 레이저 스캐너는 처리과정 가운데 불확실성 및 잡음을 포함하고 있으며 상태천이 자체도 불규칙한 성분이 존재하므로 이에 대해 강인하게 상태를 추정하는 관측기로는 칼만필터가 적합하다. 칼만필터는 추정값과 측정값의 오차에 필터이득을 곱하여 상태천이 모델에 수정함으로써 추정오차를 최소화하는 처리과정이다. 이동물체의 상태추정 문제에서 칼만필터의 측정벡터는 센서에서 측정한 보행자의 x,y 평면공간상 위치이며, 이로부터 상태변수로 설정한 보행자체의 x,y 위치, 방향, 진행속도, 회전각속도를 추정한다.

필터이득을 구하기 위하여 추정오차의 공분산 행렬이 필요하며 이는 식(4)로 이전과정의 공분산행렬의 상태천이에 시스템잡음의 공분산 행렬 Q_k-1이 부가된 형태로 추정된다.

추정오차의 공분산 행렬 P'k와 관측 행렬 Hk, 측정잡음의 공분산 행렬 R_k로 추정오차를 최소로하는 최적의 필터이득을 구하며 이는 식(5)의 형태이다.

다음은 상태를 추정하는 과정으로 식(6)과 같이 추정벡터의 상태천이 모델에 이전단계의 추정벡터와 측정벡터 z_k간의 오차에 필터이득을 곱한 innovation항이 부가되어 최적의 상태를 추정한다.

최종적으로 식(7)의 추정오차의 공분산 행렬을 수정하는 과정을 거치고 다시 식(7)의 과정으로 순환한다⁽⁴⁾⁽⁵⁾.

측정단계에서는 분산의 크기가 2의 가우시안 잡음을, 진행속도와 회전 각속도에는 분산 3, 0.1의 가우시안 잡음을 각각 인가하여 측정행하였다. 그림 2에서 제시한 보행패턴 모델의 구현과 상태 추정을 위하여 칼만필터를 사용하여 잡음이 존재하는 환경에서도 강인하게 각 상태들을 추정할 수 있도록 하였다.

3.3 보행자의 궤적예측

보행자의 상태천이 모델에서 초기상태와 입력이 주어지면 보행자의 모든 상태를 예측할 수 있다. 칼만필터를 사용한 상태 추정기로부터 보행자의 입력에 해당되는 진행 속도와 회전 각속도를 추정하고 근사함수로 모델링하여 이후의 입력을 예측한다. 본 연구에서는 보행자의 보행패턴은 진행속도와 진행 가속도성분, 회전 각속도와 회전 각가속도 성분의 특징값으로 식(8)의 일차식으로 나타내었다.

보행자의 이동에 따른 이전 보행패턴 m개의 데이터로부터 식(9)의 최소제곱 추정법을 사용하여 진행속도, 진행 가속도, 회전 각속도, 회전 각가속도 성분이 잡음에 둔감한 특성을 나타내도록 하였다⁽⁶⁾⁽⁷⁾.

예측된 입력과 상태천이 모델인 차분방정식으로 식(10)과 같이 보행자의 이후의 궤적을 예측하였다.

4.1 실험환경

제안 방법에 대한 실험을 검증하기 위하여 다음과 같은 실내 환경을 구성하여 실험을 실시하였다. 실험 환경을 그림 4에 나타낸 것과 같이 약 6×5 m 공간내에 2명의 보행자와 고정된 장애물로는 로봇을 위치시켰다. 2 명의 보행자는 이동 로봇의 앞으로 X 자형로 교차되게는 방향으로 각각 이동하면서 두 보행자의 위치를 추적하게 하였다. 두 보행자의 이동 방향은 레이저스캐닝 빔에 대해 횡 또는 사선방향으로 보행시키고 속도는 최초 70 [cm/s]에서 점진적으로 속도를 늦추게 하였고 방향은 서로 직각 방향으로 교차되게 이동하는 것으로 구현하였다.

그림. 4. 실험환경

Fig. 4. Setups of Experiment

또한 측정 결과는 독립적인 실내의 고정 LRF의 출력과 겹쳐서 평가를 실시하였다. 모니터링 영상에서 관찰한 보행자(왼쪽에서 출발하는 보행자: human 1, 오른쪽에서 출발하는 보행자: human 2)의 방향과 보행패턴을 그림 5(a)~(d)와 같이 연속적으로 제시하였고 그에 따른 보행자에 대한 인식표로 번호를 각각 마킹하여 시간별 보행자의 위치를 관찰하기 쉽게 하였다.

4.2 실험결과

실험환경 설정에 따른 실험 결과를 그림 6과 같이 제시하였다. 두 사람의 위치에서 각각 교착되게 보행시켜 각각의 스캐닝 파티클을 각각 표시하였다. 실험결과에서 Human1의 이동방향은 레이저 빔과 사선방향으로 이동한 경우로써 출발점 부근에서는 인식 파티클이 적게 나타나고 있으며 센서 가까운 쪽에서는 인식이 정확하게 나타남을 알 수 있다. 하지만 Human2의 이동방향은 레이저 빔에 대해서 직각을 이루는 방향으로 이동하고 있기 때문에 Human 1에 비하여 보다 정확한 위치가 인식됨을 알 수 있었다.

그림. 5. 실험을 위한 두 보행자의 방향 및 걸음패턴

Fig. 5. walking direction and pattern for experiments

그림. 6. 보행자의 이동경로

Fig. 6. Walking human’s trajectory

계측용 LRF의 출력과 위치 파이클 결과를 그림 6에 나타내었다. 결과 데이터는 두 인물 추정 위치에 따른 속도 및 각속도를 각각 측정하였고 최초 보행자 패턴 인식 및 추적을 위한 오차가 최대인 것으로 보였지만 시간이 지나면서 점진적으로 감소하는 것을 알 수 있었다. 파랑색(human 1)과 녹색(human 2) 파티클이 두 인간에 대한 LRF 출력이다. 또한 레이저스캐너 인식에 따른 다리의 위치와 육안으로 측정한 위치추정 오차는 최대 120[mm] 정도였다. 인물 추정 위치에 오차가 생길 요인으로 가장 크다고 생각되는 것은 동기의 차이인 것으로 판단된다.