2.1 객체 검출 모델

객체 검출 기술은 그림 1과 같이 사전에 정의한 검출하고자 하는 객체를 영상에서 찾아 위치와 크기를 특정하는 기술을 말한다. YOLOv2^[13]는 darknet-19를 기반으로 하는 객체 검출 모델로, 그림 2과 같이 ImageNet 영상분류 데이터셋^[1]으로 학습한 darknet-19를 특징 추출기(feature extractor)로 사용하고, darknet-19에 5개의 컨볼루션 레이어(convolutional layer)를 추가한 구조로 되어 있다. 기존 YOLO^[12]와 달리 YOLOv2는 모든 연산이 컨볼루션 연산으로 되어 있기 때문에, R-CNN 계열과는 달리 입력 영상의 크기나 네트워크의 크기를 조절하여 검출 속도(FPS)와 검출 정확도(mAP: mean averager precision)를 균형있게 조절할 수 있다는 장점이 있다. YOLOv2의 기본 구조는 그림 2와 같이 416×416 크기의 영상 입력에 대해 추출된 13×13 크기의 특징 맵에서 객체의 위치와 크기 그리고 라벨을 촘촘하게 예측하도록 되어 있다.

YOLOv2는 객체가 있는 바운딩 박스의 위치, 크기, 객체도(objectness)를 $t_{x}$, $t_{y}$, $t_{w}$, $t_{h}$, $t_{o}$ 등 5개의 매개변수로 나타내며 네트워크는 각각의 특징 맵의 각 위치에서 이 값들을 예측한다. 이 때 YOLOv2의 손실 함수($L$)은 객체 크기와 위치에 대한 손실 함수($L_{reg}^{t_{x},\:t_{y},\:t_{w},\:t_{h}}$)와 객체 여부 손실 함수($L_{reg}^{t_{o}}$) 그리고 객체 분류 손실 함수($L_{cls}$)의 합으로 다음과 같이 정의된다.

여기서 검출하고자 하는 객체 라벨 집합을 $OMICRON =\{adult,\:$ $baby,\: ball,\: bird,\: car,\: cat,\: dog\}$라고 정의하고, 객체 라벨에 대한 확률변수를 $omicron$라고 하면 임의의 검출 후보 영역 $X$가 주어졌을 때 객체 분류 문제는 아래와 같이 일반적으로 나타낼 수 있다.

이 때 객체 분류 손실 함수($L_{cls}^{object}$)는

로 쓸 수 있다. 만일 객체가 취할 수 있는 행동 라벨 집합을 $A=\{{climbing, crawling, eating, flying, jumping, rolling, running, walking, none\}}$라고 정의하고, 행동 라벨에 대한 확률변수를 $\alpha$라고 하면 임의의 검출 후보 영역 $X$가 주어졌을 때 일반적인 행동 분류 문제는 객체 분류 문제와 마찬가지로 다음과 같이 나타낼 수 있다.

이 때 행동 분류 손실 함수($L_{cls}^{action}$)는

로 쓸 수 있는데, 앞서 소개한 식 (1)의 분류 손실 함수($L_{cls}$)를 행동 분류 손실 함수($L_{cls}^{action}$)로 대체하여 YOLOv2 모델을 학습하면 행동 검출도 할 수 있다.

2.2 객체-행동 결합 검출 모델

객체-행동 동시 검출을 위한 라벨링 방법으로 먼저 가능한 객체-행동 쌍 조합을 모두 다른 각각의 클래스로 취급하는 분류하는 데카르트 곱(Cartesian product; CP) 방식이 있다. adult-eating, adult-flying 등 객체 라벨 집합과 행동 라벨 집합의 원소를 모두 곱해 객체-행동 쌍 라벨을 생성하는 것이다. 이러면 YOLOv2가 객체 클래스 분류를 위해 예측해야 하는 라벨의 수는 $| OMICRON |\times | A |$가 된다. 데카르트 곱 방식으로 만들어진 객체-행동 쌍 분류 손실 함수($L_{cls}^{cartesian}$)는 아래와 같다.

데카르트 곱 방식을 실험에 사용한 A2D 데이터셋에 적용하면 분류해야 하는 객체-행동 쌍 조합이 63개(객체 가짓수: 7, 행동 가짓수: 9)가 된다. 행동 라벨 집합 $A$에 속하는 모든 행동은 다양한 객체들이 행할 수 있지만, 모든 행동을 할 수 있는 객체는 없다. 사람은 날 수 없고, 자동차가 날 수 없듯이 검출하려는 객체-행동 쌍 조합을 유요한 쌍에 대해서만 한정할 필요가 있다. 이처럼 실제 일어날 수 있는 객체-행동 쌍의 라벨 집합을 $V$라고 하면 유요한 객체-행동 쌍 분류 손실 함수($L_{cls}^{valid}$)는 아래와 같다.

이렇게 실제 유효한 객체-행동 쌍에 한하여 객체-행동을 분류하는 방법을 본 연구에서는 유효한 데카르트 곱(valid Cartesian product; VCP) 방식이라고 하며, 본 연구의 실험에서 객체-행동 결합 검출에 사용한 A2D 데이터셋은 표 1과 같이 유효한 43개의 객체-행동 쌍에 한하여 라벨링 되어 있다.

3.1 A2D 객체-행동 데이터셋

A2D(The Actor-Action Dataset)^[18]은 현재까지 알려진 객체-행동 쌍에 대해 픽셀 단위 라벨링이 되어 있는 유일한 데이터셋이다. A2D 데이터셋은 YouTube에서 수집한 3,782개의 동영상으로 구성되어 있으며 7가지 객체 라벨(adult, baby, ball, bird, car, cat, dog)과 9가지 다른 행동 라벨(climbing, crawling, eating, flying, jumping, rolling, running, walking, none)과 그 쌍이 정의되어 있다. 실제 동영상 클립 중 일부 프레임에 객체와 행동 라벨링이 되어 있으며 9,651장의 학습 영상과 2,365장의 테스트 영상이 있다. 표 1은 A2D 객체-행동 검출 데이터셋의 동영상의 객체-행동 쌍 라벨링 요약 정보를 보여준다. A2D 데이터셋은 각각의 클래스에 대해 픽셀 단위 라벨링이 되어 있기 때문에 이를 객체-행동 쌍이 위치하는 바운딩 박스의 위치와 크기, 클래스로 변환하여 검출 모델 학습에 사용하였다.

3.2 객체, 행동 개별 검출 실험

표 2는 YOLOv2 검출기를 이용한 A2D 데이터셋에서의 객체 검출 결과를 보여준다. YOLOv2 모델을 이용하여 A2D 데이터셋에 정의된 7가지 객체 검출을 시도한 결과 평균 검출 정확도 68.04%를 얻었고, baby 클래스가 89.78%로 가장 높은 검출 정확도를 보였으며, ball 클래스가 32.39%로 다른 객체들에 비해 현저히 낮은 검출 정확도를 보였다.

다음으로 표 3은 YOLOv2 검출기를 이용한 A2D 데이터셋에서의 행동 검출 결과를 보여준다. YOLOv2 모델을 이용하여 A2D 데이터셋에 정의된 9가지 행동 검출을 진행한 결과 평균 검출 정확도 50.64%를 얻었고, eating 클래스가 70.53%로 가장 높은 검출 정확도를 보였으며, none 클래스가 30.39%로 가장 낮은 검출 정확도를 보였다. 실험에서 YOLOv2 모델의 입력으로 RGB 영상 정보만을 사용하여 검출기를 학습했기 때문에 객체의 동적 정보가 검출에 반영되지 못 해 객체 검출 실험 결과보다 전체적으로 낮은 검출 정확도를 얻은 것으로 보인다. 이는 optical flow 등의 동적 정보를 검출 모델의 입력으로 사용하는 추후 연구를 통해 성능 개선을 시도해볼 예정이다.

실제 행동 라벨 중 none이라는 상태는 객체가 움직이지 않은 상태로 동적 정보 없이 구분해내기 어렵다. 이에 none 행동 클래스를 제외한 나머지 8가지 행동 클래스에 한하여 YOLOv2를 학습하여 행동 검출 실험을 한 결과는 표 4와 같다. none 행동 클래스를 제외한 결과, 대체로 검출 정확도가 향상되어 평균 검출 정확도는 53.48%로 2.84% 개선되었고, eating 클래스가 68.18%로 가장 높은 검출 정확도를 보였다. 한편 running 클래스가 낮은 검출 정확도를 보이는데, 추가 연구를 통해 원인을 찾아 개선할 예정이다.

3.3 객체-행동 결합 검출 실험

먼저 A2D 검출 데이터셋의 객체-행동 쌍을 데카르드 곱 방법(CP)에 따라 정의하여 총 63개의 클래스로 정의하여 YOLOv2를 학습한 객체-행동 결합 검출 결과는 표 5와 같으며 평균 검출 정확도는 43.29%로 확인되었다. 다양한 객체-행동결합 검출 정확도 중에서 car-jumping, baby-climbing, baby-walking 등이 94.44%, 80.92%, 77.64%로 높은 검출 정확도를 보였고, dog-none, ball-flying, ball-none 등이 1.85%, 3.49%로 매우 낮은 검출 정확도를 보였다. 특히 ball 객체의 다양한 행동 결합 검출 정확도가 다른 객체보다 낮은 검출 정확도를 보였는데, 앞선 객체 검출 실험에서와 같이 ball 객체가 제대로 검출되지 않아 발생한 결과로 보인다. 또한 none 행동과 결합된 객체-행동 쌍 검출 정확도 또한 낮은 양상을 보였는데 앞서 확인한 행동 검출 실험과 같이 객체-행동 검출에도 동적 정보의 부재로 인한 검출 성능 하락으로 해석된다. 참고로 none 행동 이외에도 flying, jumping, running 행동과 결합된 객체 검출 정확도도 낮음을 확인했다.

다음으로 2.2절에서 소개한 유효한 데카르트 곱 방식(VCP)에 따라 정의한 43개의 클래스를 가지고 YOLOv2를 학습한 객체-행동 결합 검출 실험을 진행하였다. 표 6와 같이 객체-행동 결합 검출을 얻었는데 평균 검출 정확도가 44.71%로 앞선 데카르트 곱(CP)으로 정의한 실험 결과보다 1.42% 향상된 결과를 보였다. 특히 baby-rolling, baby-none, ball-jumping, bird-eating, bird-rolling, cat-climbing, cat-walking, cat-none, dog-running 등에서 검출 정확도가 5% 이상 크게 개선되었음을 확인하였다. 이는 객체-행동 결합 검출 모델을 학습하는데 있어 유효하지 않은 객체-행동 쌍을 학습에서 제외함으로써 보다 객체-행동 결합 검출 모델이 보다 정확하게 학습된 결과로 보인다. 그러나 앞선 방식과 마찬가지로 flying, jumping, running, none 행동과 결합된 객체들의 검출 정확도가 낮았으며, RGB 영상 정보만으로는 정확한 객체-행동 결합 검출이 어렵다는 것을 확인하였다. 그림 3은 A2D 데이터셋에서의 객체-행동 결합 검출 결과 예를 보여준다.