2.1 전체 구조

그림. 1. 전체 모델의 구성도

Fig. 1. Overall configuration of the proposed model

제안 모델의 전체 구성도가 그림 1에 나와 있다. 좌측은 임의삭제⁽⁹⁾ 전에 히트맵을 추출하고 삭제된 영역을 히트맵 상에 반영하는 과정을 표현한다. 그리고 그림 1의 중앙에는 트랜스포머가 사람의 가려지지 않은 영역에 더욱 집중해서 학습하도록 m번째 층의 출력 결과와 히트맵간의 교차 어텐션을 수행하는 과정이 나와 있다. 이로써 기존의 기법들보다 앞 층에서 사람의 특징을 인지할 수 있다. 또한, 다양한 특징을 얻기 위해서, 트랜스포머 마지막 층 뿐만 아니라 그 직전의 층도 사용되도록 구조를 개선한 부분이 그림 1의 우측에 나와 있다. 또한 지역 특징을 구성함에 있어, 클러스터링 방식을 이용하여 패치들 간의 연관성을 비롯한 다양한 특징을 포함한다.

2.2 트랜스포머

본 논문에서는 ViT⁽¹⁰⁾를 사용하며, 이에 대한 설명은 다음과 같다. 입력 이미지 $x$ ∈ $R^{H\times W\times C}$는 선형 투영을 수행해 $\hat x$ ∈ $R^{N_{p}\times(P^{2}\times C)}$로 패치화된다. $H$, $W$, C는 각각 높이, 너비, 채널이고, $P$는 패치 크기, $N_{p}$ = $\dfrac{HW}{P^{2}}$는 패치의 수이다. 모든 패치들의 전역적인 정보를 추출하기 위해, 학습 가능한 파라미터인 클래스 토큰 $x_{cls}$가 추가된다. 각각의 패치에 순서 정보를 추가한 뒤, 트랜스포머의 입력으로 사용한다.

여기서, $z$ ∈ $R^{(N_{p}+1)\times E_{d}}$, $N_{p}$, $E_{d}$는 각각 트랜스포머의 패치 수, 클래스 토큰, 임베딩의 차원이다. $E_{p}$는 각 패치에 대한 공간 정보를 학습하기 위한 위치 임베딩이다. 트랜스포머 각 층은 $MSA$(Multi-head Self Attention)과 $MLP$(Multi Layer Perception)로 구성되며, 다음과 같이 표현된다.

$\bar{x}$는 층별 정규화, MLP는 두 개의 완전 연결 게층으로 구성되며 하나는 GELU 활성화 함수이다. $L(x)$는 하나의 인코더 층을 의미한다. 여러 인코더 층을 통해 더욱 정교한 특징을 얻을 수 있다.

2.3 가려진 영상의 부정확한 히트맵 개선

기존 키포인트 기반 기법에서는⁽¹¹⁾ 사람의 대략적인 위치에 대한 의미 있는 정보를 사전에 학습된 포즈 추정 모델을 통해 얻은 키포인트 히트맵을 이용한다. 이러한 기존방법은 임의삭제를 거친 이미지에서 히트맵을 추출하는데, 이는 그림 2에서 기존 방법의 결과처럼 신뢰성이 낮은 키포인트 히트맵이 생성된다는 단점이 존재한다. 따라서 제안기법에서는 임의삭제를 수행하기 전의 이미지에서 히트맵을 추출하고 해당 히트맵에 임의삭제 영역을 추가로 반영한다. 이렇게 사람의 가려지지 않은 정보에 대한 신뢰성이 높은 히트맵 $K\in R^{C\times H\times W}$을 얻는다. C는 사람의 17개 관절 포인트를 예측한 키포인트 히트맵의 채널이고 H와 W는 히트맵의 높이와 너비이다. 각 히트맵은 사람 신체에 대한 의미 있는 정보를 담고 있다. 따라서 이를 트랜스포머에 반영해서 가려지지 않은 사람 영역에 인식을 강화한다.

2.4 교차 어텐션

가려지지 않은 사람 영역에 더욱 집중하기 위해, 2.3절에서 구한 히트맵과 트랜스포머의 중간 층의 출력층 간의 교차 어텐션을 수행한다.

그림. 2. 키포인트 히트맵 결과 비교 예시

Fig. 2. Comparision of keypoint heatmaps

히트맵 $K$를 트랜스포머의 다중헤드 어텐션 수행을 위해, 전처리를 다음과 같이 수행하여 $K^{'}\in R^{N_{p}\times E_{d}}$를 얻는다.

$AvgPooling$은 히트맵의 공간적인 위치정보와 주변의 위치 정보를 반영하고, $flatt en$은 $N_{p}$ 차원의 히트맵의 의미 있는 정보가 담긴 벡터로 만든다. 이러한 벡터와 3.2절의 $z\in R^{(N_{p}+1)\times E_{d}}$에서 클래스 토큰을 제외한 각 열의 ($N_{p}$, 1) 벡터는 이미지에서 동일한 위치의 표현이므로 대응될 수 있다. 그리고 트랜스포머의 각 $N_{p}$에 해당하는 $E_{d}$에서의 모든 특징들에 대해서 앞에서 구한 $N_{p}$ 차원의 히트맵을 각 트랜스포머 $E_{d}$에 공통적으로 반영하기 위해 히트맵의 차원을 동일하게 만들기 위해 반복($repeat$) 한다. 이러한 키포인트 히트맵을 그림 1에서와 같이 트랜스포머의 중간 층에서의 출력 $f_{n}\in R^{(N_{p}+1)\times E_{d}}$을 query로, $f_{n}$에서의 클래스 토큰을 분리하여 연결한 히트맵 $K^{'}$를 키(key), 값(value)으로 다중헤드 어텐션을 수행하여 트랜스포머 모델이 가려지지 않은 사람 영역에 집중하도록 학습한다. 하지만 트랜스포머의 모든 $E_{d}$에 동일한 $K^{'}$를 적용할 경우 문제가 생길 수 있는데, 트랜스포머의 $E_{d}$만큼 각 패치의 표현된 특징을 가지고 있는 $f_{n}\in R^{N_{p}\times E_{d}}$에서 각 열(공통된 $E_{d}$ 위치에서의 각 ($N_{p}$, 1))이 어떤 의미와 연관성을 가지고 있는지 모르기 때문이다. 이는 학습에 방해가 될 수 있다. 따라서 $K^{'}$를 학습 가능한 파라미터 $FC\in R^{E_{d}\times E_{d}}$를 통과시켜 적응적으로 $f_{n}$에 구조적 의미에 맞게 연관성을 가진 표현이 되도록 함으로써 키포인트 히트맵의 의미 있는 정보가 효율적으로 반영되도록 한다. 그렇게 얻은 $f_{CA}\in R^{(N_{p}+1)\times E_{d}}$를 재인식 문제를 위해 일반적으로 사용하는 지도학습 손실함수를 사용하여 학습한다. 이를 통해 $f_{n}$의 앞쪽 층들이 역전파를 통해 사람 영역에 대한 어텐션이 일찍이 표현됨으로써, 모델이 가려진 상황에 강인한 표현을 할 수 있도록 세밀한 학습이 뒤쪽 층에서 이루어질 수 있다.

2.5 특징 다양화를 위한 구조 개선

TransReID⁽⁸⁾에서는 마지막 인코더 층만을 독립된 2개의 층, 즉, 전역 가지층과 JPM 가지층으로 나뉜다. 하지만 이 두 개의 가지층은 모두 동일한 층의 출력을 입력으로 사용하기 때문에, 출력된 어텐션 결과는 다양성 측면에서 한정적이다. 이를 개선하기 위해, 제안 기법은 마지막 직전의 층을 2개로 구성한다. 즉, $L_{N-1}$을 $L_{N-1}^{1}$과 $L_{N-1}^{2}$로 나눈다. 이 2개의 층의 출력은 같은 인물에 대해 다른 어텐션 정보를 가지고 있기 때문에, 이를 가지층의 입력으로 사용하게 되면 다양한 전역 혹은 지역 특징을 얻게 된다. 이러한 다양한 특징 생성은 사람의 고유한 특징을 더욱 세밀하게 표현하는 데 도움이 된다. 한편, 지역 특징을 구성함에 있어 고정된 위치의 패치들끼리 그룹화하는 JPM 방식과는 달리, 제안 기법에서는 패치를 대상으로 K-means 클러스터링을 수행하고 각기 다른 클러스터에서의 패치들을 샘플링하여 하나의 그룹을 형성한다. 이렇게 함으로써, 모델이 크기와 모양이 다양한 겹침에 의한 문제에 대비하고 일부 사람의 신체만을 이용해 해당 인물의 고유한 특징 벡터를 표현할 수 있게 된다.

2.6 손실 함수

본 논문에서는 재식별 분야에서 주로 이용되는 지도학습 손실함수를 다음과 같이 종단(end-to-end)으로 학습한다.

$L_{ID}$는 동일성 손실함수 (Identity loss)로써 교차-엔트로피 손실함수(Cross entropy loss)를 사용하고, $L_{T}$는 Triplet loss로 메트릭 학습을 수행한다. $P$는 예측을 위한 분류기이고, $N_{g}$은 지역 특징으로 나눌 그룹의 수이다.

제안 기법의 학습 과정이 알고리즘 1에 나와 있다.

알고리즘 1 트랜스포머의 교차 주의집중과 특징 다양화

입력 : 학습 데이터

출력 : 학습된 트랜스포머 모델

과정 :

1) 입력 이미지에 대해 부분적인 임의 삭제를 수행하고, 이에 대한 마스크를 생성하여 자세 추정 모델의 출력 값에 적용한다.

2) 1)을 통해 얻은 마스크가 적용된 입력 이미지를 전처리를 수행하고, 트랜스포머에 입력하여 중간층과 마지막 직전 층의 출력값을 얻는다.

3) 1)을 통해 얻은 마스크가 적용된 자세 추정 출력 값과 2)을 통해 얻은 중간층의 출력값을 이용해 교차 어텐션을 수행한다.

4) 2)을 통해 얻은 마지막 직전 층의 출력값을 전역 가지층과 지역 가지층에 입력하여 최종적인 출력값을 얻고 지도학습 손실함수를 계산하여 역전파를 수행한다.

5) 트랜스포머가 수렴할 때까지 1)-4) 과정을 반복한다.

3.1 실험 준비

Occluded-Duke⁽¹²⁾ 데이터 셋에 대해서, Cumulative Matching Characteristic(CMC) 곡선을 통해 mAP 와 Rank-1 성능을 측정하고 기존 기법들과 비교한다. Occluded-Duke는 15,618장의 학습 데이터, 2,210장의 query 데이터, 17,661장의 gallery 데이터로 이루어져 있으며 query 데이터는 모두 가려진 사람 이미지로 구성되어 있고, 학습 데이터와 gallery 데이터는 각 데이터의 약 10퍼센트의 가려진 사람 이미지가 구성되어 있다. Market-1501⁽¹³⁾는 12,936장의 학습 데이터, 3,368장의 query 데이터, 19,732 장의 갤러리 데이터로 구성되고 가려지지 않은 전신 데이터셋이다.

데이터 증강은 다음과 같다. 입력 이미지를 256x128로 재조정하고, random flipping, 10 픽셀 패딩, 그리고l, 임의 오리기(random cropping)를 수행한다. 그리고 임의삭제 하기 전에 사전에 학습된 포즈 추정 모델을 사용하여 키포인트 히트맵을 추출하고, 임의 삭제를 수행하여 삭제 된 영역을 추출된 히트맵에 반영한다. 트랜스포머는 ImageNet-21K에서 사전 훈련된 가중치를 사용하고, 포즈 추정 모델은 coco dataset으로 사전에 학습된 HRNet⁽¹⁴⁾을 사용한다. Optimizer는 momentum(0.9)와 SGD를 사용했고, 초기 learning rate은 0.008와 cosin learning rate decay를 사용한다. $E_{d}$는 768, $m$은 4, batch size는 32로 설정한다.

3.2 실험 결과

표 1에서와 같이 제안된 모델의 성능은 Occluded-Duke에 대해 mAP가 59.4, R-1이 69.0이다. 트랜스포머 기반 기법인 DRL-Net, PAT, TrasnReID와 비교해 성능 향상이 큼을 알 수 있다. 특히. 최신 성능의 TransReID와 비교해서 mAP가 4.2%, R-1이 3.9%가 향상되었다. 또한 본 연구자의 이전 연구⁽⁵⁾와 비교해 mAP와 R-1이 1.0% 2.7% 향상시킴으로 제안한 기법의 우수성을 보여준다. 이는 올바른 키포인트를 사용함으로써 모델이 사람 영역에 더욱 정교하게 학습이 되었기 때문이다. 또한 Holistic 데이터셋인 Market-1501에 대해서도 우수한 성능을 보여준다.

3.3 개별 구성 요소별 실험 (Ablation Study)

표 2는 제안 기법에서의 각 요소에 대한 ablation study 결과를 보여준다. PC(Patch Clustering)는 지역특징을 표현하기 위한 패치 그룹화 방식이다. CA(Cross Attention)는 모델이 사람 영역에 더욱 집중하도록 트랜스포머 중간 층의 출력과 키포인트 히트맵 간의 다중 헤드 어텐션을 수행하는 방식이다. SDF(Strcture for Diverse Feature)는 전역특징과 지역특징의 다양한 표현을 위해 개선된 구조를 의미한다. Index 1은 baseline으로 TransReID의 결과이다. Index 2는 제안하는 패치 그룹화 방식인 PC를 사용했을 때 mAP는 1.4%, R-1은 0.9%가 증가하였다. 이는 패치들의 연관성을 고려하여 그룹화해 지역 특징을 표현하였기 때문이다. Index 3은 제안된 키포인트 히트맵과 트랜스포머 내부 층 간의 CA 기법을 추가하였을 때 결과이다. Index 2와 비교해서 mAP는 1.6%, R-1은 1.9%가 증가하였다. 이로써 히트맵을 이용해 사람에 대한 의미 있는 정보를 모델이 학습하게 되어 가려지지 않은 사람 영역에 더욱 집중할 수 있다는 것이 증명되었다. Index 4는 CA를 하지 않고 SDF만을 추가했을 때의 결과인데, Index 2에 비해 mAP는 1.4% R-1은 2.2% 증가하였다. 따라서 제안된 구조 개선 방식이 효과가 있다는 것을 알 수 있다. 마지막으로 Index 5는 CA와 DFS를 모두 사용 했을 때 가장 좋은 성능을 달성했음을 보여준다. Index 3, 4와 비교해보면 mAP는 약 1%, R-1은 약 2% 향상된 것으로 보아 CA와 SDF를 같이 사용하게 되면 효과가 증가한다는 것을 보여준다. 이는 CA가 가려지지 않은 사람 영역에 집중적으로 표현하고, 이를 SDF를 통해 특징들을 다양화하면서 모델이 사람에 대한 세밀한 표현을 할 수 있게 학습되었기 때문이다.

3.4 어텐션 맵 시각화

그림 3은 가려진 사람 데이터에 대해서 TransReID 모델과 제안된 모델의 초기 층에서의 어텐션 맵을 시각화한다. 사람에 의해 가려진 경우이다. 빨간색 박스는 기존 모델보다 제안 기법이 더 빠르게 가려지지 않은 사람 영역에 집중하는 모습을 보여준다. 이는 제안 기법이 개선된 히트맵과 트랜스포머 중간 층의 출력 간의 교차 어텐션을 통해 학습하였기 때문에 사람 영역의 인지가 뛰어나다는 것을 보여준다.

그림. 3. TransReId vs Ours. 초기 층에서의 어텐션 맵 비교

Fig. 3. Transreid vs Ours. comparison of attention maps at the initial layer