2.1 피킹 시스템을 위한 객체 인식의 기존 연구 동향

객체를 인식하고 분류하기 위한 연구는 분할^(1,2,3,5,6), 객체 탐지^(4,9)의 두 가지 범주로 나눌 수 있다. 분할은 이미지에서 픽셀(pixel)을 분류하는 과정이며 객체 탐지는 경계 상자(bounding box)를 이용하여 객체 영역을 인식하고 상자 내의 객체를 분류하는 과정이다. 두 접근법 모두 데이터가 충분할 경우 학습된 객체 클래스에 대한 인식 및 분류의 성공적인 결과를 보여주었다. 그러나 두 가지 모두 학습용 데이터와 다른 클래스의 객체들에 대해 잘 수행하지 못했다. 이런 객체들의 경우 추가 데이터 수집 및 재학습이 필요하다. 최근에 이러한 문제점을 해결하기 위해 이미지 검색을 이용하여 알지 못하는 객체들을 다시 학습하지 않고 선택과 배치하는 것이 제안되었다⁽¹⁰⁾. 이 방법은 객체의 레퍼런스 이미지들(reference images)과 비교했을 때 기존 객체와 새로운 객체를 인식하며, 결과적으로 방해되는 장애물들이 있을 때 새로운 객체를 집어서 일치시킬 수 있다. 그러나 이 방법은 로봇 팔이 객체를 하나씩 골라 촬영하여 분류해야 한다는 한계가 있어 산업용으로 사용하기에는 효율적이지 않다.

그림. 1. 제안한 방법의 결과 샘플

Fig. 1. A result sample of the proposed method

그림. 2. 제안하는 방법의 전체 파이프라인 구조

Fig. 2. The overall pipeline of the proposed method

2.2 이미지 검색을 위한 거리 학습의 기존 연구 동향

이미지 검색의 목표는 레퍼런스 이미지들 중에서 주어진 쿼리 이미지(query image)와 가장 유사한 이미지를 찾는 것이다. 왜냐하면 쿼리와 레퍼런스 이미지가 항상 학습된 클래스에 포함되지 않기 때문에 두 이미지의 유사성을 파악하는 것이 중요하다. 이를 위해 가장 유용한 접근법 중 하나는 거리 학습(Metric learning)이다. 거리 학습을 통해 이미지에 대한 적절한 임베딩 벡터(embedding vector)를 찾을 수 있다면, 유사한 이미지에 대한 해당 임베딩 벡터가 가깝게 위치된다. 이것은 이미지 검색 작업을 수행하는 데 사용될 수 있으며 클래스의 레퍼런스 이미지가 주어지는 경우에만 모든 이미지를 분류할 수 있다.

거리 학습에 사용되는 잘 알려진 손실 함수들(Loss functions) 중 하나는 삼중 손실(Triplet loss)⁽¹¹⁾이다. 삼중 손실은 같은 클래스의 거리를 최소화하고 다른 클래스 간 거리를 최대화한다. 데이터 세트의 삼중 튜플(triplet tuple)은 앵커(anchor), 같은 클래스 샘플 중 하나인 양(positive)의 샘플, 다른 클래스 샘플 중 하나인 음(negative)의 샘플 로 구성된다. 따라서 샘플 수의 세제곱에 비례하여 전체 데이터 수가 증가한다. 즉, 유용한 삼중 튜플만 샘플링 하는 것이 중요하다. 이러한 샘플링 문제 해결을 위해 반경도(Semi- hard) 샘플링⁽¹²⁾과 거리 가중(Distanced weighted) 샘플링⁽¹³⁾이 도입되었다.

최근에는 원래의 데이터 세트⁽¹⁴⁾에 근접한 소수의 프록시(Proxy)로 문제를 해결했다. 이 방법은 프록시를 최적화하기 위해 NCA(Neighborhood component analysis) 손실 함수⁽¹⁵⁾를 사용한다. 더 나아가 NCA 손실 대신 정규화 된 소프트맥스(Softmax) 손실⁽⁸⁾을 사용하여 결과를 더욱 개선하여 이미지 검색 분야에서 최고를 이루었다.

2.3 제안하는 방법의 전체 파이프라인 구조

다중 객체 구별을 위한 전체 파이프라인은 그림 2에 제시되어 있다. 물류 상자 내부에 다양한 종류의 상품이 포함된 이미지가 클래스를 구분하지 않는 객체 탐지 모델의 입력으로 들어가서, 물류 상자 내에 있는 모든 상품의 경계 상자 정보가 출력되어 나온다. 이 경계 상자 정보를 바탕으로 물류 상자 내부에 있는 상품들을 오려낸 이미지들은 클래스 검색 모델에 입력된다. 클래스 검색 모델은 각각의 상품 이미지를 임베딩하고, 동일한 임베딩 모델을 사용하여 벡터화 된 레퍼런스들과의 거리비교를 하여 레퍼런스 중에서 가장 거리가 가까운 레퍼런스의 클래스로 분류한다. 우리가 제안하는 방법은 학습 중에 학습한 클래스와 레퍼런스의 클래스가 일치하지 않더라도 물류 상자 안에서 검출된 상품을 가장 거리가 가까운 레퍼런스 클래스로 분류할 수 있다.

그림. 3. 클래스를 구분하지 않는 모델의 구조

Fig. 3. The structure of the Class-agnostic object detection model

그림. 4. 클래스 검색 모델의 구조

Fig. 4. The structure of the class retrieval model

2.4 클래스를 구분하지 않는 객체 탐지 모델

클래스를 구분하지 않는 객체 탐지 모델은 잘 알려진 객체 탐지 네트워크 중 하나인 YOLO v3의 tiny 버전을 기반으로 한다. 이는 다른 객체 탐지 모델보다 상대적으로 빠르고 정확하며 가볍다는 장점이 있다. 모델의 상세한 구조는 그림 3에 설명되어 있다. 이미지를 모델에 입력하면 다음과 같이 크기 26 × 26의 격자(cell)에 대해 3개의 앵커를 둔 $V$벡터(1)를 얻는다.

여기서 $x_{k}$, $y_{k}$, $w_{k}$, $h_{k}$, $c_{k}$, $v_{k}$는 $k$번째 앵커에 대해서 각각 $x$값, $y$값, 너비, 높이, 신뢰도 수준(confidence level) 및 클래스 벡터다. 이 모델의 목적은 클래스와 관계없이 상품의 경계 상자를 추정하는 것이기 때문에 모든 상품은 하나의 클래스로 라벨이 지정된다. 즉, 모든 $v$벡터의 길이는 1이다. 이로써 YOLO v3 tiny 네트워크의 손실 함수에서 분류 손실(classifi- cation loss)이 제거되고, 따라서 모델은 경계 상자 및 신뢰도에 대한 손실에 의해 학습된다. 결과적으로, 클래스를 구분하지 않는 객체 탐지 모델은 모든 상품에 대한 경계 상자의 정확한 추정에 초점을 맞추어 학습된다.

2.5 클래스 검색 모델

클래스 검색 모델 구조의 개요는 그림 4에 나와 있다. 이 모델은 DenseNet-121 모델⁽¹⁶⁾에 기반하고 ImageNet 데이터 세트⁽¹⁷⁾를 사용하여 미리 학습된 가중치로 초기화된다. 클래스를 구분하지 않는 객체 탐지 모델에서 얻은 각 상품 이미지가 차례로 클래스 검색 모델의 입력으로 들어가면 손실 함수 평가에 사용되는 1024 크기의 벡터가 출력된다. 이 모델의 학습 과정은 최근 이미지 검색 분야에서 최첨단으로 평가되고 있는 Softmax-NCA 방법⁽⁸⁾을 기반으로 한다. 이 방법의 핵심은 Softmax-NCA 손실인데, 이 손실 함수는 기존 NCA 손실과 Softmax 개념을 결합한 형태이다. 프록시⁽¹⁴⁾ 개념은 Softmax-NCA 손실로 모델을 학습시킬 때 효율적으로 학습시키기 위해 사용된다. 프록시 개념 아래에서 두 벡터 사이의 거리를 표현하기 위해 유클리드 거리를 사용하였으며, 최종 손실 함수 $L$(2)은 다음과 같다.

그림. 5. 반자동 데이터 세트 생성 절차 순서도

Fig. 5. The flow diagram of the semi-automatic dataset generation procedure

여기서 $x$는 목표 이미지 벡터 $p_{y}$와 $p_{z}$는 각각 $x$에 대한 양의 프록시 벡터와 음의 프록시 벡터, $\sigma$은 온도 스케일링 (tempera- ture scaling)에 대한 매개변수다. 클래스 검색 모델의 학습이 끝나면, 클래스 검색 모델을 이용한 분류 작업은 주어진 레퍼런스 클래스의 목록을 이용하여 행해진다. 목록상의 각각의 레퍼런스 클래스에 대해서, 적은 개수의 레퍼런스 이미지들이 선택되어 해당 클래스를 대표하는 레퍼런스 이미지가 된다. 그런 다음, 선택된 모든 레퍼런스 이미지는 클래스 검색 모델을 통해 벡터로 변환된다. 그 후에 쿼리 이미지가 입력될 때마다, 쿼리 이미지의 벡터와 레퍼런스 이미지들의 벡터 사이의 유클리디안 거리(Euclidean distance)가 계산된다. 마지막으로, 가장 가까운 레퍼런스 이미지가 찾아지고 이 레퍼런스 이미지가 해당하는 클래스가 쿼리 이미지의 클래스로 할당된다.

2.6 반자동 데이터 세트 생성 절차

이 절차는 두 모델에 대한 학습 데이터 세트를 생성하기 위한 시간을 절약하기 위해 설계되었다. 전체적인 과정은 그림 5에 설명되어 있다. 그림의 윗부분은 학습 데이터가 없는 초기 상태를 보여준다. 이 조건에서는 몇 가지 상품에 대한 경계 상자에 주석을 달아야 하며 각 상품에 클래스는 사람이 라벨을 붙여야 한다. 그 후, 클래스를 구분하지 않는 객체 탐지 모델과 클래스 검색 모델을 소량의 데이터로 학습시킨다. 이 모델을 통해 새로운 데이터를 반자동으로 만들 수 있다. 그림 하단에 나타낸 것과 같이 새로운 데이터가 들어오면 학습된 모델들을 사용하여 객체의 경계 상자 주석과 클래스 라벨의 초안을 생성할 수 있다. 객체 탐지모델이 클래스 구분 없이 객체를 탐지해주고, 클래스 검색 모델에서 그 객체의 벡터와 레퍼런스에 있는 이미지 백터 사이의 거리를 비교해서 클래스를 분류해준다. 부정확한 데이터를 최소화하기 위해, 클래스를 구분하지 않는 객체 탐지를 위한 데이터 생성에는 신뢰도 수준이 일정 수준 이상인 경계 상자만 사용된다. 비슷하게 클래스 검색 모델의 경우 입력 이미지 벡터와 예상된 결과 이미지 벡터 사이의 거리가 신뢰도 수준으로 사용된다. 결과적으로, 이 과정은 딥러닝 모델을 단기간에 학습할 수 있도록 사람과 데이터 세트가 수행해야 하는 작업을 효과적으로 감소시킨다.

그림. 6. 실험에 쓰인 상품의 클래스 요약

Fig. 6. The summary of the classes of the objects

3.1 데이터 세트의 구성

제안된 방법을 검증하는데 사용된 모든 상품은 그림 6에 요약되어 있다. 클래스들은 각각의 다른 상품으로 구성되어 있고 학습 데이터와 시험 데이터로 나누어진다. 클래스 1-15는 학습에 사용이 되고 클래스 16-45는 시험에만 사용되는 상품이다. 클래스 1-30은 유사한 상품 영역에 속하지만 클래스 31-45는 완전히 다른 상품 영역에 속한다. 학습 데이터는 1-15의 학습 데이터로 학습을 진행하고 시험 데이터로는 쉬운 난이도인 학습한 클래스 1-15 시험 데이터와 중간 난이도인 유사한 상품을 분류하는 16-30 시험 데이터 그리고 어려운 난이도인 전혀 다른 형태의 상품인 31-45 시험 데이터로 진행을 한다.

학습 데이터 세트는 위에서 설명한 반자동 데이터 세트 생성 절차를 통해 만들어졌다. 그림 7에 나타낸 것처럼, 클래스를 구분하지 않는 객체 탐지 모델은 적은 학습 데이터만을 사용하여 모든 상품의 경계 상자를 성공적으로 추정할 수 있다. 이러한 클래스를 구분하지 않는 객체 탐지 모델의 높은 성능 때문에 반자동 데이터 세트 생성 절차도 작업 부하를 효율적으로 줄일 수 있다. 학습에 사용할 15개 상품에 대한 물류 상자 이미지를 각각 200장씩 총 3000장을 모았다. 각 물류 상자 이미지에는 1에서 15 사이의 무작위 개수의 상품이 포함되어 있다. 이러한 물류 상자 이미지들과 모든 상품의 경계 상자 정보를 포함하는 해당 주석 데이터는 짝지어 클래스를 구분하지 않는 객체 탐지 모델을 학습하는 데 사용되었다. 각 상자 이미지에는 평균 7가지의 상품이 들어있기 때문에 총 21,000개 정도의 상품 이미지에 대해 클래스당 1400개의 이미지를 획득했다. 이러한 상품 이미지와 해당 라벨 정보는 클래스 검색 모델을 학습하는 데 사용된다. 학습시간을 줄이기 위해 각 클래스당 1400개의 이미지 중 400개를 표본으로 추출해 학습에 활용했다.

시험 데이터 세트는 클래스 별로 구분하여 1-15, 16-30, 31-45 총 3개의 시험 세트로 만들었다. 각 시험 세트에 있는 15종류의 상품 중 10개 상품을 한 물류 상자에 무작위로 배치해 100개의 물류 상자 이미지를 수집했다. 따라서, 총 300개의 테스트 이미지가 클래스를 구분하지 않는 객체 탐지 모델 시험에 생성되어 사용되었다. 마찬가지로 클래스 검색 모델에 대한 시험 데이터 세트로서 45개의 클래스에 대해서 클래스당 20개의 상품 이미지를 무작위로 샘플링하여 10개의 쿼리 및 10개의 레퍼런스로 사용하였다.

3.2 클래스를 구분하지 않는 객체 탐지 모델

클래스를 구분하지 않는 객체 탐지 모델의 성능은 위에서 설명한 시험 데이터 세트를 사용하여 검증되며, 검증 지표로서 평균 정밀도(mAP)가 쓰인다. 최종 결과에 대한 신뢰도 임계값(confidence threshold)이 경험적으로 0.4로 설정되었다. 결과에 대한 mAP(mean average precision)는 0.5와 0.75 각각의 IoU(intersection over union) 임계값으로 계산되었다. 비교를 위한 기준선은 다중 라벨을 가진 표준 YOLOv3 tiny버전이다.

그림 7은 각 시험 데이터 세트에 대한 결과를 보여준다. 실제적인 관점에서, 충분한 성능을 내기 위해 필요한 학습 데이터 세트의 크기는 중요한 문제다. 따라서, 실험은 학습 데이터 클래스 1-15에 대해서 클래스당 학습 데이터의 양을 다르게 하여 수행되었다. 그 결과, 클래스 당 10개의 데이터만으로도 상대적으로 높은 평균 정밀도를 달성했고 이것은 기존의 다중 객체 인식으로 객체를 탐지방법 것보다 하나의 라벨로 학습하는 우리의 접근 방식이 작업을 더 쉽게 만들었음을 의미한다. 그림 7에서 보듯이, 클래스를 구분하지 않는 객체 탐지모델은 모든 경우에 대해 경쟁적인 성능을 보였으며, 기준 모델은 학습된 상품에 대해서만 적당한 성능을 보였다.

그림. 7. 클래스를 구분하지 않는 객체 탐지 모델 시험 결과

Fig. 7. The test results of the Class-agnostic object detection model

3.3 클래스 검색 모델

클래스 검색 모델을 평가하기 위해 우리는 45개의 클래스를 포함하는 시험 데이터 세트를 사용한다. 45개 클래스는 15개의 학습된 클래스, 15개의 동일한 영역의 학습되지 않은 클래스와 15개의 동일하지 않은 영역의 학습되지 않은 클래스로 구성된다. 제안한 클래스 검색 모델의 성능을 검증하기 위해 재현율 1 정밀도의 측정법을 사용하였다. 재현율 1 정밀도의 측정법은 실제로 True인 데이터를 모델이 True라고 인식한 데이터의 수이다. 즉, 시험 데이터와 레퍼런스의 거리비교를 통해 가장 유사한 레퍼런스 1개의 클래스가 실제 라벨과 일치하는지 파악한 값이다. 제안한 클래스 검색 모델의 성능을 검증하기 위해 표준 이미지 분류 방법과 최근린 방법으로 비교하였다. 각 구성은 다음과 같다.

표준적인 이미지 분류 방법은 ImageNet 데이터 세트를 사용하여 사전 학습된 가중치로, 소프트맥스 교차 엔트로피 손실을 사용하여 학습된 DenseNet-121 네트워크를 초기화하는데, 이는 일반적으로 분류 모델 학습에 사용된다. 시험 데이터 세트에 있는 쿼리 이미지의 클래스를 추정하고 재현율 1 정밀도를 측정했다. 분류 방법의 한계로 인해 학습에 사용되지 않는 클래스는 분류가 불가능해 학습된 클래스의 재현율 1 정밀도만 측정했다. 그 결과, 학습된 클래스의 경우 99.5%의 높은 정밀도를 보였다.

최근린 방법(Nearest neighbor method)은 ImageNet 데이터 세트를 사용하여 사전 학습된 가중치로 DenseNet-121 네트워크를 초기화하고 추가 학습 없이 검색 접근 방식만 사용하여 쿼리 이미지의 클래스를 추정한다. 왜냐하면 미세 조정 과정이 없었기 때문에 재현율 1 정밀도는 표준 분류 방법보다 낮았다. 그러나 검색 접근 방식 때문에, 학습되지 않은 클래스의 상품을 분류할 수 있었다.

제안된 방법은 ImageNet 데이터 세트를 사용하여 사전 학습된 가중치로 DenseNet-121 네트워크를 초기화한 다음 3.3절에 묘사된 쿼리 이미지의 클래스를 추정한다. 우리는 Adam opti- mizer⁽¹⁸⁾를 학습의 최적화 도구로 사용하고, 학습률 0.001 그리고 가중치 감소는 0.0008로 설정하였다. 온도 스케일링에 대한 σ 매개변수 값은 0.07 이었다. 이 네트워크를 이용하여 가장 가까운 거리에 있는 레퍼런스 벡터를 찾아 쿼리 및 레퍼런스 이미지를 벡터화하고 클래스를 추정했다. 그 결과, 제안된 방법은 학습된 클래스에 대한 표준 이미지 분류 방법에 대해 경쟁적인 재현율 1 정밀도를 보였다. 게다가, 그것은 학습되지 않은 유사한 영역 클래스에서는 87.3%, 학습되지 않은 다른 영역 클래스에 대해서도 88%의 높은 정밀도를 보여주었다. 이 결과는 물류 센터에서 새로운 물품이 추가된 경우에도 모델의 추가 학습 없이 88%의 정확도로 새로운 물품을 분류할 수 있다는 것을 의미한다. 방법들의 전체 결과는 표 1에 요약되어 있다.