3.1 진화 연산

진화연산은 최적화 문제에 널리 적용되어 왔으며, 학습에 중점을 둔 딥러닝과는 상호 보완적인 측면이 있다. 일반적으로 유전자 표현, 유전자 생성, 적합도 평가, 선택, 유전연산 부분으로 구성되어 있다. 본 논문에서 다루는 필터의 선택은 조합 최적화 문제에 해당하며, GA (Genetic Algorithm) 방식으로 구현한다. 유전자 개체는 삭제할 필터들의 정보를 가지고 있으며, 스트링 형태로 표현된다. 다수의 개체들을 선택과 유전 연산 등을 통해 목적함수의 적합도인 인식 성능을 높이는 방향으로 진화시켜 결과 해를 얻는다.

3.2 필터의 가지치기를 위한 유전자 표현

각 유전자는 삭제할 필터 번호들의 집합으로 구성된다. 유전자 길이는 삭제할 필터수의 크기로 정한다. 예로 각 층마다 30%의 삭제율을 적용시, 1 층의 필터 수가 10개라면 상응하는 유전자는 3개의 요소로 구성된다. 다층으로 구성된 네트워크는 각 층에 해당하는 부분 유전자가 연이어져 전체 유전자를 구성한다.

그림. 1. GA 기반 가지치기의 유전자 표현

Fig. 1. Gene Representation for GA-based pruning

그림 1은 두 개의 층으로 구성된 CNN 네트워크에 대한 유전자 표현으로서, 각 컨볼루션 층마다 삭제할 필터 번호로 구성된 스트링이 대응된다. 좌측에 표시된 유전자의 세 번째 숫자 2는 conv 1층에서 2번 필터를 삭제한다는 의미이다. 회색 음영은 삭제할 필터를, 흰색은 보존할 필터 번호를 나타낸다. 유전자의 마지막 숫자 58은 64개의 필터로 구성된 conv 2층에서 58번째의 필터를 삭제한다는 의미이다. 필터 삭제를 통한 가지치기 후의 네트워크의 상태가 우측에 나와있다. 삭제된 필터는 점선으로 표시되어 있다.

3.3 GA 기반 가지치기 수행 과정

GA 기반 가지치기의 전체 수행 과정은 다음 그림 2와 같다.

그림. 2. GA 기반 가지치기 알고리즘

Fig. 2. Algorithm of GA-based pruning

그림. 3. GA 기반 가지치기 과정

Fig. 3. Process of GA-based pruning

그림 2의 알고리즘 설명에 대한 개념도가 그림 3에 나와 있다. 왼쪽의 유전자 스트링은 삭제할 필터 번호의 집합으로 구성되고 각 란의 숫자들은 전체 CNN 층의 필터 번호이다. 유전자들을 해석하면 원래의 모델(Baseline)에서 가지치기 할 필터들이 선택되어 삭제된다. 축소된 모델은 미세조정을 통해 복원하고 이의 적합도(인식 정확도)를 평가한다.

3.4 GA와 ApoZ를 결합한 하이브리드 방식

GA 기반 가지치기 기법은 기존 가지치기 기법에 비해 성능이 우수하나, 적합도를 평가하는 과정에서 방대한 연산량이 필요하다. 더욱이 이를 개체의 수(100~200) 만큼 반복해야 하므로 네트워크가 커질수록 적용이 어렵다. 이러한 단점을 완화하기 위해서, 먼저 ApoZ 기법⁽⁸⁾을 네트워크에 적용해 후보 필터들을 1차로 선정한다. ApoZ(Average Percentage of Zeros) 알고리즘은 그림 4에 나와 있으며, 출력맵에서 0에 가까운 출력값의 비율을 가진 필터를 - 즉, 중요도가 낮은 필터, 선택하여 삭제한다. 본 논문에서 APoZ는 1차 후보군을 선택하는 중간과정으로 사용된다. 선택된 필터 후보군에 대해서 진화연산 기반 탐색을 적용하여 최종 삭제 필터를 결정한다. 이러한 하이브리드 방식은 진화연산 기반의 성능과 가중치 기반의 연산 시간 감소 효과를 함께 얻을 수 있다.

그림. 4. APoZ 알고리즘

Fig. 4. Algorithm APoZ

4.1 실험 환경

가지치기 실험에 사용된 3 종류의 네트워크는 CONV12, CONV122, 그리고 VGG-S이며 각각의 구조와 파라미터는 표 1-3에 나와 있다. 표 1의 CONV12 모델은 3개의 컨볼루션 층과 2개의 완전 연결층으로 구성되어 있고, 첫 FC층의 파라미터가 295.04K로 매우 큰 비중을 차지한다. 표 2의 CONV122 모델은 5개의 컨볼루션 층과 2개의 완전 연결층으로 구성되어 있어서, CONV12 보다 층수는 많으나, FC 층에 GAP (Gobal Average Pooling)를 적용하여 불필요한 파라미터를 줄였다. 이에 따라 가중치의 삭제가 FC층에 집중되어 균형있는 가지치기가 이루어지지 않는 문제를 완화할 수 있다. CONV12와 CONV122 두 모델은 규모가 작아 연산량이 많은 진화연산의 적용에 적합하다.

VGG-S는 VGG 계열 중에서 규모가 작은 편으로, CONV122 모델과 같은 층 수를 가지나 층 당 채널의 수가 3-8배까지 많아 전체 파라미터 수가 CONV122의 32배 이상 크다. 따라서 제안된 기법의 효율성을 입증하기에 적합한 규모이다.

학습 및 평가데이터로 널리 사용되는 벤치마크 데이터인 CIFAR-10 데이터셋에 대해 GA, GA-APoZ 기반의 네트워크 축소 실험을 수행한다. CIFAR-10은 총 60000장의 32x32 RGB 이미지로 구성되며 비행기, 새, 고양이, 개 등 10개의 클래스로 분류되어 있다. 50000장의 학습 데이터, 10000장의 평가 데이터로 나누어져 있으며 학습 데이터는 각 클래스 당 5000장, 평가 데이터는 각 클래스 당 1000장의 이미지로 분리되어 있다. 네트워크 축소에 사용하는 검증 데이터는 학습데이터에서 5000개의 데이터를 추출하여 사용한다 (표 4). 실험은 GTX-1080Ti GPU 1대에서 수행되었다.

4.2 GA 가지치기 실험

GA를 가지치기(pruning) 실험을 CONV12 네트워크에 대해서 수행하고 APoZ와 비교한 결과가 표 5에 나와 있다. 가지치기 알고리즘 중의 하나인 APoZ 보다 제안된 하이브리드 기반 가지치기가 APoZ 방법보다 압축률과 정확도 측면에서 모두 우수한 성능을 나타내고 있다. 한 가지 문제점은 학습에 필요한 GA 기법의 GPU 연산 시간이 진화연산의 특성상 방대하게 소요된다는 점이다.

4.3 GA 기법과 APoZ의 결합 방식 실험

GA 기반 가지치기 기법의 단점인 연산량 과다 문제를 보완하기 위하여 GA와 APoZ를 결합한 방식의 실험을 추가하고 이를 GA 기법만의 결과와 비교한다. 상대적으로 CONV12 보다 규모가 큰 CONV122 모델에 대해서 실험을 수행한 결과 GA에 비해서 유사한 압축률일 때 69.81%로 4% 이상의 성능 향상을 보여준다. 실제적으로 모델 실행시간의 지표가 되는 FLOPS 결과도 함께 나타내었으며, 제안된 기법이 가장 우수함을 알 수 있다. 학습에 필요한 연산시간 측면에서도 제안된 GA-APoZ 기법이 GA만의 기법의 약 30%에 불과하여 상당한 단축 효과를 얻었다.

표 2의 결과를 토대로 보다 규모가 큰 표 3의 VGG-S 네트워크에 대하여 추가 실험을 수행하였으며, 비교 결과가 표 7에 나와 있다. 압축률과 FLOPS를 유사하게 맞춘 조건에서 APoZ와 GA 기법에 비해서 제안된 하이브리드 GA-APoZ 기법의 정확도가 더 우수함을 알 수 있다.

4.4 분석

제안된 하이브리드 방식의 연산량 감소 효과는 다음과 같다. Conv12, Conv122 모델에 대해서 GA 기법의 개체수는 50 세대수는 200으로 설정하였으나, 하이브리드 방법에서는 동일한 개체수에 세대수를 100으로 설정하여, 전체 수행 시간을 반 이상 감소시켰다. VGG-S에 대해서도 GA 기법의 개체수는 60 세대수는 120을 사용하였으나, 하이브리드 방법에서는 동일한 개체수에 세대수를 60으로 설정하여, 역시 전체 수행 시간을 반 이상 감소시켰다.

압축 비율과 인식 성능인 정확도에서도 제안된 기법이 우수한 성능을 나타내었고, 특히, 표 7의 VGG-S에 대한 결과를 보면 압축비가 표 1, 2에 비해 높은 경우(약 7배) GA 기법들이 APoZ에 비해서 성능 하락 면에서 강인성이 큼을 보여준다. VGG-16이나 ResNet과 같이 규모가 큰 네트워크에 대해서는 복수대의 GPU 병렬처리 적용을 고려할 수 있으며, 모델의 적합도 평가시 연산량이 많은 인식 정확도 보다는 엔트로피나 KL divergence 등의 적용을 고려할 수 있다.