1. 서 론

실시간 객체 인식은 감시, 정찰, 자율주행 등과 같이 신속하고 정확한 상황 파악이 요구되는 다양한 응용 분야에서 핵심적인 역할을 수행한다. 이러한 시스템에서는 객체를 빠르고 정확하게 인식해야만 주변 환경에 즉각적으로 대응할 수 있으며, 인식 지연이나 성능 저하는 치명적인 사고로 이어질 수 있다. 따라서 최근에는 경량 구조와 고효율성을 동시에 확보하는 실시간 객체 인식 모델에 대한 연구가 활발히 진행되고 있다^[1-4].

그러나 실제 환경에서 수집된 데이터세트는 일반적으로 클래스 간 빈도가 크게 다른 롱-테일(long-tail) 분포를 가지며, 이 경우 일부 클래스는 많은 샘플을 보유하는 반면, 다수의 클래스는 적은 샘플만 존재한다. 이러한 롱-테일 데이터의 학습 시 모델 성능이 다수 샘플을 차지하는 헤드(head) 클래스로 편향되는 문제를 초래하며, 그 결과 소수 샘플을 차지하는 테일(tail) 클래스에 대한 인식 성능이 저하된다^[5]. 특히 롱-테일 분포에서는 학습 과정 전반에서 클래스 간 그레디언트(gradient) 기여도가 비대칭적으로 누적되기 때문에, 모델의 결정 경계(decision boundary)가 특정 방향으로 왜곡되고 테일 클래스의 표현 학습이 제한되는 문제가 발생한다^[6-8]. 이는 모델의 일반화 성능을 저하시킬 뿐만 아니라, 다양한 환경 변화나 자주 발생하지 않는 상황에서의 대응 능력을 악화시킨다. 이러한 이유로 롱-테일 학습 문제를 해결하는 것은 실시간 객체 인식 연구에서 핵심 과제로 여겨진다.

이러한 배경에서 트랜스포머(transformer) 기반의 실시간 객체 인식 모델인 RT-DETR (real-time detection transformer)은 높은 효율성과 실시간성으로 인해 다양한 응용 분야에서 활용되고 있다^[9]. 특히, RT-DETR은 효율적인 IoU 인식 신뢰도(IoU-aware confidence) 학습을 위해 VFL (varifocal loss)을 분류 손실로 사용한다. VFL은 분류(classification)과 지역화(localization) 간의 불일치를 완화하는 데 효과적이지만, 클래스 간 빈도 차이를 직접적으로 보정하지 않기 때문에 롱-테일 데이터세트에서는 헤드 클래스에 대한 편향이 여전히 존재한다^[10]. 이러한 문제를 보완하기 위해 SSL (seesaw loss)과 같은 클래스 간 분포를 반영한 손실 함수가 대안으로 제안되었다^[11]. 하지만 두 손실 함수의 목적과 방식이 다르기 때문에 이를 별도의 조정 없이 VFL을 SSL로 단순 대체할 경우 학습 초기의 불안정성, 헤드-테일 클래스 간 불균형한 최적화가 발생하여 전체 성능이 저하되는 현상이 나타날 수 있다. 한편, RT-DETR의 구조와 학습 전략을 확장하여 실시간 객체 인식 모델의 활용성을 강화한 RT-DETRv2가 제안되었으며^[12], 본 연구에서는 이러한 RT-DETRv2 구조를 기반으로 롱-테일 데이터에서의 성능 한계를 해결하기 위한 새로운 학습 전략을 설계하고자 한다.

따라서 앞선 분석에 착안하여 본 논문에서는 RT-DETRv2 모델의 학습 시 롱-테일 데이터세트의 편향을 완화하기 위해 VFL과 SSL을 결합하는 최적의 학습 전략을 제안한다. 제안하는 방식은 학습 초기에는 SSL의 영향을 최소화하여 안정적인 학습을 유도하고, 학습이 진행됨에 따라 두 손실 함수의 가중치를 조절하여 가중 평균으로 결합한다. 이러한 결합 방식은 학습 초기에 VFL을 통해 객체 분류 및 위치 인식 성능을 빠르게 높이고, 후반부에는 SSL의 장점을 효과적으로 반영하여 롱-테일 데이터세트에서의 인식 성능을 개선한다. 또한, 두 손실 함수의 가중 평균 가중치를 실험적으로 평가하여, 학습 단계별로 가장 적합한 가중치 스케줄링 기법을 찾고, 이를 통해 모델의 편향 완화 성능을 향상시킨다. 본 논문의 주요 기여 사항은 다음과 같다.

1) 에포크(epoch) 진행에 따라 두 손실 함수의 가중치를 조정하는 동적 결합 기법을 통해 초기 학습 안전성 및 불균형 데이터에 대한 강건성을 동시에 확보한다.

2) 가중 평균의 최적 가중치 스케줄링 기법을 실험을 통해 찾고, 이를 기반으로 모델의 편향 완화 성능을 향상시킨다.

3) 제안한 방식을 RT-DETRv2 모델 학습에 적용하고 LVIS (large vocabulary instance segmentation) 데이터세트에서 기존 방식 대비 테일 클래스 성능이 향상됨을 정량적 및 정성적 결과로 입증한다.

2. 관련 연구

실시간 객체 인식 모델인 RT-DETR은 분류기 학습 단계에서 VFL을 사용하여 예측 상자의 IoU(intersection over union) 정보를 분류 신뢰도에 직접 반영하는 IoU 인식 분류를 수행한다. VFL은 분류 점수(score)와 IoU의 일치성을 강화하기 위해 제안된 손실 함수로, IoU 점수를 분류 점수의 가중치로 활용함으로써 모델이 IoU가 높은 예측 상자에만 높은 분류 점수를 부여하도록 학습한다. 이를 통해 분류와 지역화 간의 불일치 문제를 완화한다. 그러나 VFL은 클래스 간 샘플 수의 차이에 의해 발생하는 근본적인 클래스 불균형 문제를 직접적으로 반영하지는 못하는 한계가 있다.

이와 같은 한계를 해결하기 위해 롱-테일 데이터세트에서 헤드 클래스와 테일 클래스 간 그레디언트 불균형을 직접적으로 완화하기 위한 손실 함수가 연구되고 있다^[13-15]. SSL은 클래스별 등장 빈도에 따라 음의 그레디언트(negative gradient)를 조정하는 완화 계수(mitigation factor)와 클래스 간 혼동도를 반영하는 보상 계수(compensation factor)를 도입하여 테일 클래스가 학습 과정에서 과도하게 억제되는 문제를 완화한다. 이러한 접근은 롱-테일 분포에서 테일 클래스의 분류 성능을 향상시키는 데 효과적이다. 하지만 RT-DETR 구조에서 VFL을 SSL로 단순 대체할 경우 성능 저하가 발생하는 문제가 있다. SSL은 분포 기반의 그레디언트 보정에 초점을 두고 있어 예측 bbox의 IoU 정보를 고려하지 않으며, 이로 인해 RT-DETR의 핵심 설계 요소인 IoU 인식 분류 특성이 유지되지 못한다. 그 결과, 예측 상자 품질과 분류 점수 간의 일관성이 약화되고, 이는 클래스 간 보정은 이루어지더라도 전체 mAP(mean average precision)가 감소하는 성능 저하로 이어진다. 이는 VFL이 RT-DETR의 구조적 최적화 과정에서 중요한 역할을 수행함을 보여준다.

이러한 문제를 고려하여, 여러 연구에서는 두 개 이상의 손실 함수를 결합하는 접근이 연구되어 왔다. YOLO나 SSD와 같은 주요 객체 인식 모델들은 분류 손실과 위치 회귀 손실을 결합하기 위해, 두 손실 항 사이에 고정된 가중치를 적용하여 선형 결합하는 다중-태스트 손실(multi-task loss) 방식을 사용한다^[16,^17]. 이와 같은 고정 가중치 기반 결합 방식은 설계가 단순하고 구현이 용이하다는 장점이 있지만, 학습이 진행됨에 따라 각 손실 가중치의 중요도가 변화하는 동적 학습 과정을 반영하지 못한다는 한계가 있다.

3. 제안하는 방법

본 연구에서는 RT-DETRv2에 결합된 분류 손실 함수를 통해 학습 편향을 완화하는 기법을 제안한다. 이를 통해 RT-DETRv2 구조에서 VFL의 IoU 인식 분류를 통한 초기 학습 안정성과 SSL의 클래스 분포 기반 테일 클래스 보정 효과가 서로 상호 보완적인 특성을 가지도록 설계한다. 먼저, 두 손실 함수의 가중치 비율을 일정하게 유지하는 정적 결합 방식을 제안한다. 정적 결합 방식은 학습 전체 과정에서 두 손실 함수의 비중을 동일하게 유지함으로써 VFL의 지역화 품질 학습과 SSL의 클래스 불균형 보정 효과를 동시에 반영하도록 설계되었다. 정적 결합 방식의 손실 함수는 다음과 같이 정의한다.

여기서 $L_{bbox}$는 바운딩 박스 회귀 손실(bounding box regression loss), $L_{VFL}$은 VFL, $L_{SSL}$은 SSL를 각각 나타낸다. $p$는 모델의 예측 분류 점수이며, $q$는 목표 점수로서 양성 샘플에서는 예측 박스와 실제 박스 간의 IoU값, 음성 샘플에서는 0으로 정의된다. $k$는 두 손실 함수의 비율을 조절하는 가중 평균의 가중치로, 학습 전체 과정에서 고정된 값으로 유지된다. 그러나 이러한 정적 결합 방식은 학습 단계별로 손실 함수가 요구하는 최적화 방향이 서로 다른 점을 반영하지 못하므로, 구조적 한계를 가질 수 있다. VFL은 학습 초기 단계에서 IoU가 높은 예측 상자에 더 높은 분류 점수를 부여하도록 유도하여 지역화 중심의 안정적인 초기 학습을 지원하는 반면, SSL은 클래스 분포를 기반으로 테일 클래스 보정에 초점을 두어 테일 클래스의 그레디언트를 상대적으로 크게 만드는 특성을 지닌다. 따라서, 학습 초반에는 지역화 능력이 충분히 학습되지 않은 상태이므로 SSL이 노이즈를 발생시키며, 이러한 노이즈는 VFL이 제공하는 IoU 인식 분류 최적화 흐름을 방해하여 모델의 초기 수렴을 방해할 가능성이 높다. 결과적으로 이러한 초기 불안정성은 전체 학습 과정 전반에 걸쳐 성능 감소로 이어지며, 특히 테일 클래스에서 충분한 보정 효과가 나타나지 못하는 한계를 보일 수 있다.

이러한 분석에 착안하여, 본 연구에서는 $k$의 값을 학습 진행에 따라 점진적으로 조정하는 동적 결합 기법을 제안한다. 제안된 방식은 학습 초기에는 VFL의 가중치를 높여 IoU 기반의 지역화 성능을 우선적으로 강화하고, 학습이 안정화되는 후반에는 SSL의 비중을 점진적으로 증가시켜 클래스 불균형 문제를 완화하는 구조를 갖는다. 이를 위해 식 (1)의 가중치 $k$는 학습 에포크에 따라 0에서 1로 점진적으로 증가시켜 SSL의 클래스 분포 기반 보정 효과가 충분히 반영되도록 설계하였다.

또한, 가중 평균의 가중치 $k$의 증가 패턴이 모델 학습에 미치는 영향을 분석하고 최적의 스케줄링 전략을 찾기 위해, 본 연구에서는 그림 1과 같이 여러 형태의 스케줄링 함수를 적용하였다. 그림 1은 학습 에포크 진행에 따라 $k$값을 증가시키는 방식의 차이를 시각적으로 나타낸 것으로, 각 스케줄링의 증가 속도와 기울기 변화에 따라 VFL에서 SSL로의 손실 함수의 비중 전환 시점이 달라짐을 보여준다. 이러한 차이는 학습 초기와 후반에서 모델이 받는 학습 신호에 서로 다른 영향을 주므로, 스케줄러 선택은 결합 손실의 성능에 중요한 요소로 작용한다. SSL을 이용한 학습 초기 단계에서는 헤드 클래스의 그레디언트가 빠르게 누적되기 때문에, 테일 클래스에 대한 보정 신호가 충분히 확보되지 않으면 성능이 저하될 가능성이 높다. 이러한 점을 고려할 때, SSL의 가중치를 5 에포크 이후에 빠르게 증가시켜 초기 보정 신호를 확보하도록 설계된 piece-wise 기반 스케줄링이 효과적이다. 가장 효과적일 것으로 예상된다. 이러한 동적 결합 방식은 두 손실 함수의 상호 보완적 장점을 극대화하고, 초기 학습 안정성과 후반 학습에서의 클래스 균형을 동시에 확보할 수 있다.

그림 1. 다양한 $k$ 스케줄러 방식의 에포크 진행에 따른 변화 비교

Fig. 1. Comparison of different k-scheduler strategies over training epochs

4. 실 험

4.2 실험 결과

표 1은 학습 초기 단계에서 SSL을 정적 가중치로 결합하였을 때, 가중치 $k$ 값에 따른 성능 변화를 비교한 결과를 나타낸다. 식 (1)에 따라 $k=0$은 VFL을 단독으로 사용하여 학습한 결과이다. 실험 결과, $k=0$일 때 가장 높은 AP를 기록하였으며, $k$값이 증가함에 따라 전체 AP가 지속적으로 감소하였다. 이러한 결과는 학습 초기 단계에서는 SSL이 안정적인 최적화를 유지하지 못해 정적 결합 방식이 효과적으로 작동하지 않음을 보여주며, 이는 정적 결합 기법이 학습 단계별 최적화 요구를 반영하지 못하여 성능 향상에 구조적 한계를 가진다는 것을 보여준다.

표 1. 정적 결합 기법에서 가중치 $k$ 변화에 따른 학습 성능 비교

Table 1. Performance comparison according to static weight $k$ in the training epoch

$k$	$AP$	$AP_r$	$AP_c$	$AP_f$
0.0	34.1	18.6	31.6	43.6
0.1	32.0	15.5	30.7	40.7
0.3	31.0	16.2	28.7	40.1
0.5	28.4	12.8	26.9	36.9
0.7	26.5	10.4	26.3	33.9

이러한 문제점을 보완하기 위해 제안한 동적 결합 방식의 효과를 다양한 스케줄링 기법을 통해 분석하였다. 학습 과정에서 SSL의 기여도를 조절하기 위해 그림 1의 네 가지 형태의 스케줄링 함수를 실험에 적용하였으며, 해당 비교 결과는 표 2에 정리되어 있다. 실험 결과, tanh 함수는 희소 클래스에서 가장 높은 25.1 AP를 기록하였으나, 빈출 클래스 성능이 37.1로 하락하여 전체 성능이 저하되었음을 볼 수 있다. 반면 linear 함수는 빈출 클래스에서 40.5 AP로 가장 높은 성능을 보였지만, 희소 클래스에서 성능이 상대적으로 감소하였다. 이러한 결과는 스케줄링 함수의 기울기가 가파를수록 희소 클래스에 대한 보정 효과는 커지지만, 빈출 클래스의 성능이 감소하는 trade-off 관계가 존재함을 의미한다. 위의 실험 결과를 종합했을 때, piece-wise 스케줄러가 희소 및 빈출 클래스 모두에서 가장 안정적이고 균형적인 성능을 제공하는 스케줄링 전략으로 나타났다.

표 2. $k$ 스케쥴러에 대한 성능 비교

Table 2. Performance comparison of $k$-scheduling methods

Method	$AP$	$AP_r$	$AP_c$	$AP_f$
Piece-wise	33.3	22.3	31.5	40.4
Cosine	32.5	20.9	30.5	39.7
Tanh	32.5	25.1	31.1	37.1
Linear	33.1	21.0	31.2	40.5

이러한 결과를 기반으로, 표 3은 RT-DETRv2 모델을 대상으로 다양한 손실 함수 학습 방식에 따른 성능 차이를 비교한 결과를 나타낸다. 먼저 VFL만을 사용하여 학습한 경우 전체 AP는 34.1이며 희소, 보통, 빈출 클래스에서 각각 18.6, 31.6, 43.6의 성능을 보였다. 이후, SSL를 단순 대체하여 학습한 설정에서는 IoU 인식 분류가 유지되지 않아 전체적으로 mAP 성능이 크게 저하되었으며, 이는 VFL를 제거할 경우 지역화 정보와 분류 신호가 일치하지 않음을 확인하였다. 정적 결합 방식은 두 손실 함수를 동시에 반영함에도 불구하고 기존 VFL 학습 대비 성능이 저하되었다. 이는 학습 초기 단계에서 SSL의 학습 노이즈가 VFL의 IoU 인식 분류 최적화를 방해하여 성능 저하가 발생했음을 보여준다. 반면, 동적 결합 방식으로 적용한 모델은 전체 mAP는 33.3으로 감소하였음에도 희소 클래스 AP가 22.3으로 크게 향상되었다. 이는 제안한 기법이 학습 초기에 지역화 중심 학습을 안정적으로 수행하고, 이후 단계에서 SSL 기반의 클래스 불균형 보정을 점진적으로 활성화함으로써 롱-테일 데이터세트에서의 테일 클래스의 성능을 효과적으로 개선했음을 보였다.

표 3. 손실 함수 결합 방식에 대한 성능 비교

Table 3. Performance comparison of loss combination methods

Method	$AP$	$AP_r$	$AP_c$	$AP_f$
Single (VFL) [10]	34.1	18.6	31.6	43.6
Single (SSL) [11]	18.5	13.3	17.4	21.9
Static ($k=0.1$)	32.0	15.5	30.7	40.7
Dynamic (piece-wise)	33.3	22.3	31.5	40.4

또한 편향 완화 성능을 더욱 향상시키기 위해 클래스 간 분포를 반영한 샘플링 방법을 적용하는 실험을 진행하였다. 표 4는 IRFS(instance-aware repeat factor sampling)^[18]의 성능 측정 결과로, 전체 mAP가 33.3에서 34.3으로 상승하였으며, 희소 클래스 AP 또한 22.3에서 24.5로 향상되었다는 것을 알 수 있다. 해당 결과는 동적 결합 기법 적용 시 일시적으로 하락했던 전체 mAP 성능이 IRFS 기법의 결합을 통해 개선되었음을 의미한다. 이는 IRFS가 SSL의 테일 클래스 보정 효과를 보완하여, 두 기법이 상호 보완적으로 작용함으로써 클래스 불균형 문제를 더욱 완화할 수 있음을 보여준다.

표 4. 롱-테일 완화 기법에 대한 성능 비교

Table 4. Performance comparison of long-tail mitigation methods

Dynamic	IRFS[18]	$AP$	$AP_r$	$AP_c$	$AP_f$
		34.1	18.6	31.6	43.6
✓		33.3	22.3	31.5	40.4
✓	✓	34.3	24.5	32.6	40.4

마지막으로 그림 2는 기존 VFL로 학습된 RT-DETRv2 모델과 본 논문에서 제안한 결합 모델의 희소 클래스의 인식 성능의 정성적 비교로, 희소 클래스인 heron과 martini 클래스에 대한 인식 결과를 보인다. 기존 VFL 기반 모델의 경우, 희소 클래스에 대한 신뢰도가 낮게 나타났으며, 정적 결합 방식 또한 SSL의 초기 불안정성으로 인해 객체의 신뢰도가 충분히 확보되지 못하는 모습을 보인다. 이는 VFL이 주로 IoU 기반 품질 학습에 집중하기 때문에, 데이터 불균형이 심한 클래스에서는 충분한 분류 학습 신호를 제공하지 못하는 한계를 지닌다. 반면, 제안한 동적 결합 기법은 학습 초기에 안정적인 지역화 학습을 수행한 뒤, 학습이 진행됨에 따라 SSL을 점진적으로 활성화함으로써 희소 클래스 객체에 대해 높은 신뢰도를 제공하였다. 이는 동적 결합 기법이 지역화 정확도와 클래스 균형 학습을 순차적으로 달성함으로써, 롱-테일 데이터세트에서의 클래스 불균형 문제를 효과적으로 완화했음을 정성적 비교 결과로 보여준다.

그림 2. 학습 기법에 따른 테일 클래스 인식 성능 비교

Fig. 2. Comparison of tail-class recognition across different training method

결과적으로, VFL 단독 방식은 빈출 클래스에 편향된 학습으로 인해 희소 클래스의 인식 성능이 저하되며, SSL 단독 대체는 IoU 인식 분류가 유지되지 않아 전체 성능이 급격히 하락하는 한계를 보였다. 반면, 제안한 동적 손실 함수 결합 기법은 이러한 기존 방식들의 한계를 효과적으로 완화하여, 롱-테일 객체 인식에서 지역화 정확도와 클래스 균형 학습을 동시에 달성할 수 있는 우수한 방법임을 보여준다.

5. 결 론

본 연구에서는 RT-DETRv2 모델의 롱-테일 데이터세트에서 발생하는 클래스 불균형 문제를 완화하기 위해 VFL과 SSL을 동적으로 결합하는 학습 기법을 제안하였다. 제안한 방식은 초기 학습 단계에서 IoU 인식 분류의 안정성을 유지하고, 학습 후반부에는 SSL의 보정 효과를 점진적으로 반영하여 롱-테일 편향 학습 문제를 효과적으로 완화한다. 실험 결과, 제안한 동적 결합 기법은 분류과 지역화 간의 균형을 유지하면서 희소 클래스의 성능을 유의미하게 향상시켰다. 또한, IRFS와 같은 추가적인 편향 완화 기법을 통해 클래스 간 성능 편향을 더욱 완화할 수 있음을 보여준다.

향후 연구 방향은 어댑터(adaptor)와 같은 다른 롱-테일 완화 기법과의 결합하여 트랜스포머 기반 객체 인식 모델의 일반화 성능을 높이고자 한다. 또한, 빈출 클래스의 성능 저하를 최소화하고 전체 성능 균형을 최적화할 예정이다.