2.1 전통적 지식 증류

지식증류(Knowledge Distillation) 기법은 규모가 크고 학습된 선생 네트워크(또는 모델)와 규모가 작고 학습되지 않은 학생 네트워크 사이의 출력 벡터에 대한 분포의 차이를 줄여나감으로써 지식을 전달한다. 여기서, 지식의 의미는 각 학습 데이터에 대한 선생의 출력 정보이다. 이 때 선생의 지식을 효과적으로 전달하기 위해 출력 벡터 값을 온도 $\tau$로 조정한다. 이를 통해 정답 클래스에 해당하는 특정 정보만이 아니라 그 이외의 클래스에 대한 예측 정보까지 함께 전달한다. 이것은 불순물로부터 물질을 추출하기 위해 온도를 조절하는 것과 같은 원리이다. 이런 과정을 통해 다양한 정보를 전달 받은 학생 네트워크는 더욱 좋은 성능을 기대할 수 있다. 지식 증류에 대한 손실함수가 식 (1)에 나와 있다.

여기서, m은 미니-배치 사이즈, $z_{i}$는 선생의 출력값, $\hat z_{i}$는 학생의 출력값, $\theta$는 모델의 파라미터, $\tau$는 네트워크의 출력 분포를 조정해주는 상수이다.

2.2 기존 지식 증류의 문제점

기존의 지식 증류에서는 식 (1)의 손실함수에서 보듯이, 모든 지식이 미니-배치 크기인 m으로 나뉘어져 동일한 반영 비율을 가지고 있다. 즉, 각 입력 데이터에 대해서 선생의 정확도나 학생의 예측 정확도와는 상관없이 선생과 학생간의 KL 발산에만 의존하여 지식이 전달하기 때문에 오류지식이 전달될 수가 있다. 또한 KL 발산의 크기에도 영향이 있는데, 이에 대한 고려가 없다.

3.1 지식의 확장된 표현

학생 네트워크와 teacher 네트워크간의 출력값 간의 KL divergence값을 줄이기 위해 평균값을 사용하는 기존의 KD 기법들과는 달리, 지식 표현의 확장을 통해 지식을 여러 그룹으로 나누어 각 그룹의 특성에 따른 반영 비율을 결정한다. 확장된 지식 표현을 위해 학생네트워크의 예측 정확도에 대한 새로운 축을 추가한다. 그림 1의 우측에서 볼 수 있듯이, 재표현된 지식들은 2차원 공간상에 나타난다. 즉, x축은 학생 네트워크의 예측 정확도, y축은 KL 발산이다. 구체적으로 우측 영역은 학생의 예측 정확성이 낮기 때문에 좌측 영역에 비해 오차의 반영 비율을 더 높인다. 하지만, 우상 영역에서는 선생의 정확성이 높기 때문에 우하 영역에 비해 반영 비율을 더 높인다. 좌측 영역 또한 이와 동일한 가정을 적용한다. 따라서 각 영역의 반영비율에 대한 크기 순서는 좌하 -> 좌상 -> 우하 -> 우상이다. 확장된 지식 표현을 통해 학생 네트워크의 관점에서 선생 네트워크로부터의 지식들을 중요도가 높은 지식과 그렇지 않은 지식으로 구별하여 가중치를 재조정함으로써 학생이 효과적으로 선생을 모방하도록 학습할 수 있다.

3.2 손실 함수

제안된 지식증류를 위한 새로운 손실 함수는 교차 엔트로피(Cross Entropy)와 두 네트워크의 출력 분포의 차이를 줄이는 함수로 나뉜다. 교차 엔트로피는 다음과 같이 정의된다.

여기서, $t_{i}$는 원-핫 인코딩된 정답 레이블을, $y_{i}$는 네트워크의 예측값을 의미한다. 이에 더해, 확장된 지식 표현과 경계선을 통해 분할된 각 영역의 지식들은 아래와 같은 손실함수를 계산하는 데 사용된다.

여기서, $z_{i}^{r}\subset z_{i},\: z_{i}^{1}\cup z_{i}^{2}\cup z_{i}^{3}\cup\cdots\cup z_{i}^{R}= z_{i}$, R은 영역의 개수, $n^{r}$은 각 영역에 속한 지식의 개수, $\alpha$는 우리의 가정에 따라 각 영역마다 차등적으로 부여된 계수를 의미한다. $\alpha 와\beta$ 계수들로 인해 재가중된 각 영역의 지식들끼리 KL 발산을 구하고, 이를 모두 더해줌으로써 지식 증류를 위한 손실함수가 계산된다. 우리의 실험에서 $R$ 은 4, $\alpha$는 {0.6, 0.8, 1.2, 1.4}를 사용했다.

종합적인 손실함수는 교차 엔트로피 함수와 새롭게 정의된 지식 증류를 위한 손실함수를 더함으로써 계산되고 다음과 같이 정의된다.

여기서, $\lambda$는 두 손실함수의 균형을 유지하는 상수이다.

3.3 확장된 표현 기반 지식 제어

확장된 표현 기반 지식 제어의 전체 수행 과정은 다음 알고리즘 1에 나와 있다. 그리고 제안 기법의 전체 파이프라인 구조가 그림 2에 나와있다. 그림 2의 좌측부터 중앙까지의 부분은 기존의 KD 과정을 나타낸다. 2차원으로 확장시킨 우측 부분이 제안된 지식 제어 과정을 나타낸다. 기존의 KD에서 구한 KL 발산의 분포를 2차원으로 재구성하여 세분화된 지식을 전달하며, 각 영역의 전달 비율을 3.1절에서 설명한 방식으로 제어한다.

4.1 실험 준비

제안된 기법을 CIFAR100와 CUB-200-2011 데이터셋에 대해서 적용한다. CIFAR100은 차량, 곤충, 꽃 등 20개 슈퍼 클래스 각각에 5개의 서브클래스로 구성된 32x32의 RGB 이미지 데이터이며 50,000개의 학습 데이터, 10,000개의 테스트 데이터로 구성된다. CUB-200-2011은 200 종류의 새에 관한 데이터로 5,994개의 학습 데이터, 5,794개의 테스트 데이터로 구성된다. 실험은 RTX-2080 GPU 2대에서 수행되었으며 파이토치(Pytorch Framework)를 사용하여 구현하였다. 학습 파라미터 설정이 표 1에 나와있다.

4.2 단방향 지식 증류 실험

제안하는 기법을 단방향 지식 증류 방법에 대해 실험한다. 단방향 지식증류는 HKD⁽⁴⁾에서 처음 도입되었으며, 사전 학습된 대규모의 선생 네트워크가 소규모의 학생 네트워크에게 일방적으로 지식을 전달한다. CIFAR100과 Cub-200-2011 데이터셋에 대한 HKD와의 비교 결과가 표 2, 3에 각각 나타나 있으며, 모든 경우에서 제안된 기법이 HKD에 비해 우수함을 알 수 있다. 특히, CIFAR100에 대해 ResNet 110, ResNet 56의 조합에서는 1.42%, Cub-200-2011에 대해 ResNet 50, ResNet 34의 조합에서는 1.45%의 매우 큰 성능 향상을 보여준다. 따라서 단방향 지식 증류에서 제안하는 기법이 HKD보다 효과적이라는 것을 알 수 있다.

4.3 양방향 지식 증류 실험

제안하는 기법을 양방향 지식 증류에 실험한다. 양방향 지식 증류는 DML⁽⁵⁾에서 처음 도입되었다. 선생 네트워크는 변하지 않고 일방적으로 지식을 전달하는 단방향 지식 증류와는 달리, 양방향 지식 증류에서는 선생과 학생이 서로 지식을 상호 전달하는 방식으로 협력 학습(Colabolative Learning)이 수행되며, 두 네트워크의 가중치가 모두 업데이트 된다. 표 4, 5는 CIFAR100와 Cub-200-2011 데이터셋에 대해서 최신 대표적인 연구인 DML⁽⁵⁾과의 비교 결과를 보여준다. 결과 표에서 Net2가 학생 네트워크를 의미하며 주 비교 대상이다. 단방향 실험 결과와 마찬가지로, 모든 경우에서 제안된 기법이 DML에 비해 우수함을 알 수 있다. 특히, CIFAR100에 대해서 MobileNet, ResNet32의 조합에서는 DML에 비해 0.45%, 1.99% 더 우수함을 나타낸다. 또한 Cub-200-2011에 대해서 ResNet50, ResNet18의 조합인 경우에서도 0.89%, 1.66%의 성능 향상을 보여준다. 따라서 제안하는 기법은 분류 문제에 대해서 단방향 뿐만 아니라 양방향 지식 증류에도 효과적으로 적용될 수 있다는 것을 알 수 있다.

4.4 분석

4.2와 4.3절의 수치적 성능 비교 외에 KD 과정에서의 KL 발산 값들의 분포를 분석한 결과가 그림 3에 나와있다. x축은 진행 횟수이고, y축은 noisy knowledge의 수로서 선생과 학생의 KL 발산값이 큰 것을 의미한다. 즉, noisy knowledge의 수가 많을수록 선생에 대한 학생의 모방이 떨어지는 것을 나타낸다. 그림 3은 양방향 지식 증류 방식에서 HKD와 제안 기법에 대해서 높은 KL 발산 값을 갖는 샘플의 개수를 보여준다. HKD는 120 Epoch까지 10,000개 이상의 샘플이 존재하는 반면, 제안 기법에서는 거의 존재하지 않고 또한 평균 KL 발산 값이 낮은 것을 볼 수 있다. 이를 통해 제안 기법에서 학생이 선생을 기존 기법에 비해 명확한 차이로 잘 모방함을 알 수 있다.