2.1 배경

딥러닝 경량화는 기존의 학습된 모델의 정확도를 유지하면서, 크기와 연산량을 줄이는 것이다. 서버나 데스크탑 기반의 학습 모델을 임베디드시스템이나 에지 디바이스와 같은 경량 장치에 내장하기 위한 필수 기술이다. 경량 장치에서의 실행 외에 상대적으로 고성능 머신에서 모델의 규모와 연산량의 감소가 필요하기 때문에 역시 공통적으로 중요한 문제이다. 다양한 경량화 기술이 발전되고 있지만, 본 논문에서는 모델의 파라미터들을 줄이는 압축 기법에 중점을 두며, 대표적인 기법인 구조축소, 가지치기, 그리고 지식증류의 성능과 특성을 비교 분석하고자 한다.

이들 기법들은 상당한 부분의 공통적인 목적이 있으나, 지향점이 다소 차이가 나고, 수행 조건의 상이한 제한점도 존재한다. 각 분야에서 기법상의 지속적인 개선 연구가 일어나고 있지만, 각 기법을 서로 비교하는 것은 거의 이루어지지 않고 있다. 본 논문에서는 동일한 데이터 셋과 모델에 대해서 최대한 유사 조건을 적용하여 방법 간의 성능을 비교하고, 수반되는 특성을 분석함으로써, 경량화 기법의 선택에 도움을 주고자 한다.

2.2 문제 구성

네트워크 축소(또는 압축)시 입력으로 대상 모델과 정해진 축소 비율이 입력을 주어진다. 모델의 파라미터인 층이나 층의 집합인 블록을 삭제할 수 있고, 층내의 필터의 삭제를 통해 모델의 규모를 축소한다. 모델의 축소를 위해 일반적으로 중요성이 떨어지는 삭제할 층(또는 블록) 또는 필터를 선택하는 방법이 필요하다. 삭제 알고리즘을 통해 선택된 요소를 한번에 또는 반복적으로 일부씩 축소하는 과정을 수행한다. 이때 수반되는 조건은 축소된 모델의 성능을 최대한 유지하거나 저하율을 낮추는 것이다.

모델 압축시 일반적으로 하나의 대상 네트워크를 필요로 하나, 지식증류의 경우는 선생 네트워크와 학생 네트워크의 쌍이 주어져야 하며, 축소 비율은 임의로 조정할 수 없고 학생 네트워크의 크기에 고정된다.

3.1 구조적 축소

구조적 축소는 CNN 등의 딥러닝 네트워크에서 층이나 층의 집합인 블록을 임의로 또는 규칙에 의해 삭제하여 전체 네트워크를 축소한다. 그림 1과 같이 회색으로 표시된 블록 전체 또는 블록 내의 층을 통째로 삭제하는 것으로 구조적으로 큰 변화를 발생시킨다.

구조 축소는 삭제할 층이나 블록을 선택하는 뚜렷한 알고리즘이 개발되지 않고 있다. 즉, 네트워크 전체에 대해서 일정 비율로 삭제하거나, 특징 맵을 조사하면서 전반부나 후반부의 특정 부분을 삭제하는 경험적인 방식이 주로 시도되고 있다. 최근에 지식증류를 사용하여 블록과 층을 자동적으로 선택하여 삭제하는 Online Ensemble Distillation (OED)⁽⁴⁾ 연구가 제안되었다.

본 논문에서는 최적화 방법인 유전 알고리즘은⁽⁷⁾ (Genetic Algorithm)을 사용하여 블록과 층의 삭제에 체계적인 탐색을 수행한다. 유전 알고리즘은 유전자 표현, 유전자 생성, 적합도 평가, 선택, 유전연산으로 구성되어 있다. GA를 블록단위 가지치기에 적용하기 위해서, 유전자는 삭제할 층의 번호로 이루어진 스트링으로 구성한다. 블록/층 삭제를 위한 유전자 표현이 그림 2에 나와 있다. 그림 2에서 하단의 유전자 스트링에 적힌 번호들에 해당되는 블록/층들이 제거되고 회색으로 표시된 것들이 남는다.

3.2 가지치기

가지치기는 네트워크의 컨볼루션 층내의 일부 필터들을 삭제하는 것으로, 층마다의 필터의 수는 줄어들지만 전체 층 구조는 유지된다. 그림 3에 층 내의 삭제된 필터가 음영으로 표시되어 있다. 가지치기에 대한 연구는 상대적으로 많아서, 본 논문에서는 최신의 연구 이용 가능한 실험 결과들의 수치를 비교를 위해서 인용한다. 비교된 주요 연구는 다음과 같다.

TAS(Transformable Architecture Search)⁽⁹⁾는 네트워크 구조 탐색을 통해 각 층의 필터 수를 결정하고, 큰 네드워크로 부터의 지식 증류를 추가한다. FPGM(Filter Pruning via Geometric Median) ⁽¹⁰⁾은 필터에 대한 중요도보다 중복성에 초점을 맞추어 삭제한다. HRank⁽¹¹⁾는 입력 이미지에 대한 필터의 특징맵에 순위를 매겨, 낮은 순위에 해당하는 필터를 제거한다. ABCprunner⁽¹²⁾는 진화연산의 일종인 ABC(Artificial Bee Colony) 알고리즘을 사용하여 각 층당 최적의 삭제 필터 수를 결정한다.

3.3 지식증류

지식증류(Knowledge Distillation) 기법은 규모가 크고 학습된 선생 네트워크(또는 모델)와 규모가 작고 학습되지 않은 학생 네트워크 사이의 출력 벡터에 대한 분포의 차이를 줄여나감으로써 지식을 전달한다. 여기서, 지식의 의미는 각 학습 데이터에 대한 선생의 출력 정보이다. 이 때 선생의 지식을 효과적으로 전달하기 위해 출력 벡터 값을 온도 $\tau$로 조정한다. 이를 통해 정답 클래스에 해당하는 특정 정보만이 아니라 그 이외의 클래스에 대한 예측 정보까지 함께 전달한다. 지식 증류에 대한 손실함수가 식 (1)에 나와 있다.

여기서, m은 미니-배치 사이즈, $z_{i}$는 선생의 출력값, $\hat z_{i}$는 학생의 출력값, $\tau$는 네트워크의 출력 분포를 조정해주는 상수이다.

네트워크 축소 측면에서의 지식증류는 그림 4와 같이 규모가 크고 학습된 Teacher 네트워크의 성능을 규모가 작은 Student 네트워크가 모방할 수 있도록 지식을 전달한다. 구조 축소와 가지치기와는 달리 두 개의 네트워크가 필요하며, 최종 결과인 학생 네트워크는 미리 규모가 설정되어 있다.

지식증류에는 그림 4와 같은 Teacher-Student(이하 T-S) 구성과 함께 동등한 두 네트워크로 구성된 상호협력 모델인 DML(Deep Mutual Learning) 방식이 있다. DML은 같은 네트워크 상호간의 지식증류를 수행함으로써 큰 네트워크에서 작은 네트워크로 전달이 잘 안되는 문제와 지식증류를 위해 큰 네트워크가 필요한 문제점을 상당히 해결하고 있다. 본 논문에서는 T-S 모델과 DML 모델을 둘 다 비교한다.

4.1 입력 및 수행 조건

구조 축소와 가지치기는 하나의 네트워크에 대해서 수행된다. 이때 축소할 비율을 사용자가 입력으로 조정할 수 있다. 이에 반해, 지식증류는 선생 네트워크와 학생 네트워크의 쌍이 주어져야 하며, 축소 비율은 임의로 조정할 수 없고 학생 네트워크의 크기에 고정된다.

또한 구조 축소와 가지치기는 층이나 필터의 삭제시 일반적으로 급격한 성능 저하를 막기 위해 일부를 삭제하고 미세조정(fine tuning)을 반복적으로 수행한다. 지식증류에서는 구조가 고정된 두 개의 네트워크에 대해서 일정 세대만을 수행하는 차이점이 있다. 즉, 전자는 최종 결과물이 얻어질 때까지 네트워크의 구조적인 변화가 수반되지만, KD는 학생 네트워크의 구조 변화 없이 연결 강도만이 변한다.

4.2 비교 환경

3가지 방식을 CIFAR10/100⁽¹⁵⁾ 데이터셋에 대해서 적용한다. CIFAR10 CIFAR10은 총 60000장의 32x32 RGB 이미지로 구성되어 있으며 10개의 클래스로 분류된다. 50000장의 학습 데이터, 10000장의 평가 데이터로 구성된다. CIFAR100은 차량, 곤충, 꽃 등 20개 슈퍼 클래스 각각에 5개의 서브클래스로 구성된 32x32의 RGB 이미지 데이터이며 50,000개의 학습 데이터, 10,000개의 테스트 데이터로 구성된다. 대상 네트워크는 ResNet56/110⁽¹⁶⁾을 사용한다. 각 네트워크의 크기는 다음과 같다 - ResNet110(254.98M), ResNet56(126.54M), ResNet32( 69.47M).

본 논문에서 수행된 GA 구조 삭제와 지식증류 실험은 RTX- 2080 GPU에서 수행되었으며 파이토치(Pytorch Framework)를 사용하여 구현하였다. 학습 파라미터 설정이 표 1에 나와 있다.

4.3 비교 결과

ResNet56 네트워크에 CIFAR10 데이터를 사용한 성능 비교 결과가 표 2-4에 나와 있다. 표 2는 구조 축소에 대해서 OED와 진화연산 기반의 제안 기법을 비교한 것으로, 유사한 연산량 감소(FLOPs drop) 조건에 대해서 제안된 기법의 정확도 저하(Acc drop) 더 우수함을 나타낸다. 가지치기 비교 결과는 표 3에 나와 있으며, 연산량 감소(FLOPs drop)의 수치들이 약간의 편차는 있지만, 정확도 저하가 0.03~0.77로 전반적으로 낮고 고른 결과를 보인다. 표 4는 지식증류에 대한 결과로서, HKD/ ResNet32는 ResNet56을 T로, ResNet32를 S 네트워크로 설정하여 지식증류를 수행하였다. 연산량 감소 수치는 두 모델의 크기 차이에 따라 고정된다. 정확도 저하는 0.04로 낮은 편이다. DML/ResNet32은 T-S 구조가 아닌 동일한 ResNet32 네트워크를 두 개 사용하여 상호 지식증류를 수행한 것으로, 작은 규모의 네트워크 사용에도 상당히 우수한 정확도를 얻고 있음을 알 수 있다. 동일 네트워크이기 때문에 정확도 저하와 연산량 감소는 측정할 수 없다. 다만 네트워크의 연산량과 정확도를 통해 HKD와 간접적으로 비교할 수 있다.

3가지 기법의 결과의 비교 조건이 동일하지 않으므로, 공정한 비교를 위하여 정확도 저하(Acc drop)를 연산량 감소(FLOPs drop) 수치로 나눈 지표를 도입하고 비교한 결과가 표 5에 나와 있다. 이 지표는 수치가 낮을수록 성능비가 우수하다. 각 기법의 가장 낮은 지표가 굵은 글자로 표시되어 있으며, 가지치기의 ABCprunner⁽¹²⁾ 지표가 0.055로 가장 우수하며, 지식증류, 구조축소 순으로 증가한다. 가지치기의 지표들의 편차가 상당히 큰 편임을 고려하면 지식증류의 결과가 상대적으로 우수함을 알 수 있다.

ResNet110 네트워크에 CIFAR100 데이터를 사용한 성능 비교 결과가 표 6-8에 나와 있다. 표 6의 구조 축소에서 OED보다 제안된 기법이 더 우수함을 나타낸다. 표 7의 가지치기는 ResNet110/CIFAR100에 대해서는 FPGM⁽⁹⁾와 TAS⁽¹⁰⁾의 두 가지 결과만이 이용가능하다. 표 8의 지식증류 결과는 구조 축소와 가지치기에 비해서 축소율을 더 낮춘 HKD/ResNet32 (ResNet110에서 ResNet32로 72.8% 축소 ) 결과까지 포함한다. 구조 축소나 가지치기에서 70%로 축소하면 급격한 성능 저하가 발생하기 때문에 비교실험에서 제외한다.

표 9의 3가지 방식에 대한 종합 지표의 결과를 보면, 구조 축소나 가지치기에 비해서 지식증류의 지표가 가장 낮아 더 우수함을 알 수 있다. 특히 72.8%까지 축소시킨 HKD/ResNet32의 지표가 2.25로 상당히 낮음을 확인할 수 있다.

연상량 측면은 다음과 같다. 구조적 축소는 삭제할 블록에 대한 탐색이 8시간 정도 소요되고, 이후 fine-tuning을 위해 5시간 정도 소요되어, 총 13시간이 걸린다. 이에 비해 가지치기는 5시간으로 가장 적은 수행시간이 걸린다. 지식증류는 구조적 축소와 유사한 수행시간을 가진다.

전체적으로 볼 때 축소 성능은 두 가지 데이터의 실험에 대해서 지식증류가 가장 우수하고, 구조 축소와 가지치기가 비슷함을 보인다. 연산량이 중요한 경우에는 가지치기가 구조 축소에 비해 유리할 수 있다.

5.1 주요 특성 및 기법의 선택

구조 축소와 가지치기 둘 다 구조적인 변경을 수행하지만, 엄밀히 구분하면, 가지치기에서는 네트워크의 층이나 블록은 고정되고 층 내의 필터의 수만 변경되는 점이 서로 다르다. 가지치기는 층이나 블록의 외부구조는 그대로 두고 내부 구조인 필터를 삭제하므로, 구조적 축소에 비해서 점증적인 변화가 수행된다. 지식증류는 선생과 학생의 네트워크가 주어지고, 이중 결과물인 학생 네트워크의 구조 변화없이 내부 가중치만 변화시키는 방식으로, 앞의 두 가지 방식에 비해서 가장 안정적인 구조를 유지한다. 적절한 규모의 학생 네트워크를 선택하고 인식 성능이 유지되면 안정된 구조에 축소 효과까지 얻을 수 있다. 원래 설계된 네트워크의 구조가 변하지 않는 장점이 있다.

5.2 방식의 결합 가능성

구조적 축소, 가지치기, 지식증류 3가지 방식은 독립적으로 수행되고 있으나, 두 가지 방식익 결합 또는 3가지 방식의 통합도 가능하다. 순서적 측면에서 가지치기는 구조적 축소 다음에 수행되는 것이 적합하다. 또한 계층적인 측면에서 가지치기는 구조적 축소의 하위 계층에 속한다고 볼 수 있다. 다만 독립적인 수행에 비해서 상기 두 가지 방식의 결합은 성능 효과 면에서 중복이 상당하여 경우에 따라 다르지만, 추가적인 향상의 폭은 크지 않을 수 있다.

구조적 축소와 지식증류의 결합은 다소 제한적이다. 일반적인 지식증류인 T-S 모델의 경우, 구조적 축소 후의 네트워크를 T로 놓고, 그보다 작은 네트워크를 선택하여 S로 설정해야 하는데, 이에 적합한 기존의 네트워크를 찾는 것이 어려울 수 있다. 이에 비해 SD(Self-distillation)는 S 모델의 필요없이 자신의 네트워크만으로 지식증류가 가능하기 때문에 적용이 가능하다. 이 방식 역시 성능 향상 측면에서 상당한 중복이 존재한다. 마지막으로, 3가지 방식을 하나로 결합한 것으로 구조적 축소, 가지치기, 지식증류를 순서적인 파이프라인으로 구성할 수 있으며, 앞의 두 결합 방식을 통합한 것이다.

고찰하면, 기법을 순서적으로 추가하면 성능의 개선이 가능하나, 대상 네트워크와 데이터 셋에 따라 편차가 있을 수 있으며, 수행시간이 증가하므로 효율성은 경우에 따라 다를 수 있다. 다만, 네트워크에 따라 각 기법간의 특성을 분석한 후, 중복을 최소화하면서 성능과 수행시간의 개선을 높일 수 있는 결합이 필요하다.