3.1 데이터셋 구성

데이터 수집은 AI-Hub에서 제공된 ‘반려동물 피부질환 데이터셋’을 통해 이루어졌다^[10]. 본 연구는 반려묘를 대상으로 하였기 때문에 반려묘 피부질환 데이터만을 사용하였다. 데이터셋은 코리안숏헤어, 러시안 블루, 노르웨이 숲, 페르시안, 스코티시폴드의 총 5종의 반려묘 품종으로 구성되어 있다. 나이는 1~17세까지 다양하게 분포되어 있으며, 성별 비율은 약 50%로 균등하게 이루어져 있다. 또한 데이터는 각 반려묘의 피부질환 부위를 중심으로 수집되었으며, 촬영된 부위는 머리, 몸통, 다리, 연접부로 구분되어 있다. 각 품종, 성별, 촬영 부위, 병변 유형에 따른 이미지 수와 비율은 표 1에 나타내었다. 피부 병변의 특성은 품종에 크게 의존하지 않기 때문에 품종별 불균형은 중요시하지 않았다. 본 데이터셋은 총 13,121장의 이미지가 사용되었으며, 훈련용, 검증용, 테스트용 데이터셋으로 각각 6:2:2 비율로 나누었다. 촬영된 이미지는 한 마리의 객체로부터 여러 장의 이미지가 수집될 수 있으므로 훈련용, 검증용, 테스트용 데이터셋 간 중복되지 않도록 분배하였다.

3.2 EfficientNetV2

CNN은 이미지 내의 공간적 정보를 추출할 수 있는 구조를 가지고 있으며, 합성곱 층을 통해 이미지의 지역적인 정보와 특징을 추출하여 패턴 인식에 우수한 성능을 보인다. 피부 병변은 크기, 형태, 색상이 다양하게 나타날 수 있는데, 병변의 특정 부위에 나타나는 국소적 특징을 추출하기 위해, 본 연구에서는 CNN 기반의 EfficientNetV2 모델을 사용하였다^[11].

EfficientNetV2는 EfficientNetV1의 개선된 버전으로 기존 모델의 장점을 유지하면서 학습 속도와 파라미터 효율성을 높이기 위해 설계된 모델이다^[12]. 기존의 EfficientNetV1 모델은 NAS(Neural Architecture Search)로 설계된 모델로, Compound Scaling을 통해 성능을 향상하였다^[13]. 하지만 높은 해상도와 네트워크 규모의 확장으로 인한 메모리 오버헤드가 발생하여 학습 속도가 느려지는 문제가 발생하였다. 이를 해결하고자 EfficientNetV2 모델은 MBConv 블록의 Depthwise Separable Convolution을 일반 convolution으로 대체한 Fused-MBConv 블록을 초기 레이어에 도입하여 연산 속도를 개선하였다. 또한 학습 과정에서 Progressive Learning을 도입하여 학습의 효율성을 한층 더 강화하였다. Progressive Learning은 모델이 작은 해상도의 이미지로 학습을 시작하여, 점차적으로 더 큰 해상도의 이미지로 학습을 이어가는 방식이다. 이를 통해 이미지의 해상도를 동적으로 조절함으로써, 초기에는 빠르게 수렴할 수 있도록 돕고, 이후에는 고해상도 이미지의 세부적인 특징을 학습할 수 있도록 하여 학습 속도와 성능을 모두 향상하였다. EfficientNetV2는 모델의 크기에 따라 S, M, L, XL로 구분된다. 본 연구에서는 증대된 데이터셋의 크기를 고려하여 EfficientNetV2-M 모델을 적용하여 학습을 진행하였다.

그림 2. EfficientNetV2 모델의 세부 구조

Fig. 2. Detailed model Structure of EfficientNetV2

3.3 이미지 증대기법을 통한 성능 향상 연구

의료 데이터는 일반적으로 데이터가 부족한 경우가 많아 딥러닝 모델의 학습에 어려움을 겪는다. 딥러닝 모델을 학습시키기 위해서는 대량의 데이터를 확보하는 것이 필수적이다. 충분한 양의 데이터가 있어야 모델이 다양한 패턴과 특성을 학습할 수 있으며, 이를 통해 일반화 능력을 갖춘 강건한 모델을 구축할 수 있다.

3.3.3 AugMix

AugMix는 원본 이미지 $x_{orig}$에 대해 다양한 변형을 순차적으로 적용한 후, 이러한 변형된 이미지들을 결합하여 생성하는 방식이다^[16]. 이 과정에서 각 변형은 무작위로 선택되어 직렬로 이미지에 차례로 적용되며, 이렇게 생성된 여러 개의 변형된 이미지들은 병렬로 결합되어 하나의 결합 이미지 $x_{aug}$가 생성된다. 결합 과정에서 변형된 이미지들은 Dirichlet 분포에서 무작위로 샘플링 된 값들로 결정된 가중치 $w_{k}$에 따라 혼합된다. 결합된 이미지 $x_{aug}$는 Beta(1, 1)에서 샘플링 된 가중치를 사용해 원본 이미지 $x_{orig}$와 혼합되어 최종적인 새로운 이미지가 생성된다. 이러한 단계들을 통해 생성된 최종 이미지는 여러 변형의 특징을 반영하면서도 원본 이미지와의 유사성을 유지하게 된다. 다음 그림 3은 AugMix에 대한 모식도를 나타내었다.

그림 3. AugMix 모식도: 다단계 증대기법을 통한 이미지 변환 과정

Fig. 3. AugMix Diagram: Image Transformation Process through Multiple Augmentation Operations

3.4 Grad-CAM을 통한 시각화

반려묘의 피부질환을 분류하는 데 있어, 딥러닝 모델을 활용한 접근은 높은 정확도로 병변을 예측하는 데 중점을 두고 있다. 그러나 피부질환의 경우, 병변의 위치와 그 특징이 진단에서 중요한 요소로 작용하기 때문에, 분류만으로는 임상적으로 충분한 정보를 제공하기 어렵다. 본 연구에서는 단순히 분류에 그치지 않고, 병변의 위치와 그 특징을 파악하여 관심 영역을 시각적으로 나타내는 Grad-CAM을 적용하였다^[17]. Grad-CAM의 동작 원리는 신경망의 활성화 맵과 gradient를 기반으로 하며, 이는 다음 식 (2), (3)에 나타내었다.

먼저 Convolutional layer에서 k개의 특징맵인 $A_{k}$를 생성한다. 그 후 모델이 특정 클래스 c를 예측할 때 이 특징맵들이 예측에 얼마나 기여했는지를 평가하기 위해, 모델의 예측값 $y_{c}$에 대한 각 특징맵 $A_{k}$의 기여도를 나타내는 gradient를 계산한다. 이 gradient에 대해 Global Average Pooling을 수행하여 각 특징맵 $A_{k}$에 대한 가중치 $a_{k}^{c}$를 구한다. 최종적으로 $A_{k}$와 $a_{k}^{c}$ 선형 결합한 후, ReLU를 적용하여 양수 영향을 가진 부분만 시각화한다^[18]. 본 연구에서는 EfficientNetV2 모델의 마지막 Convolution layer에서 추출된 특징맵에서 병변의 위치와 특징을 시각적으로 나타내었다.

3.5 모델 개발 및 검증 방법

본 연구에 사용된 EfficientNetV2 모델의 하이퍼파라미터는 배치 크기 8, optimizer는 AdamW를 사용하였으며, 학습률은 0.0001로 설정하여 학습을 진행하였다. 학습된 모델의 성능을 평가하고자 혼동행렬을 바탕으로 F1-score와 Accuracy(정확도)를 성능지표로 활용하였다. F1-score는 모델의 정밀도(Precision)와 재현율(Recall)의 조화 평균으로, 두 지표 간의 균형을 평가하는 데 사용된다. 정밀도는 모델이 양성으로 예측한 샘플 중 실제 양성인 샘플의 비율을 나타내며, 재현율은 실제 양성인 샘플 중 모델이 올바르게 예측한 샘플의 비율을 의미한다. Accuracy는 전체 데이터 중 정확하게 분류한 샘플의 비율이다. F1-score는 클래스 간 불균형이 존재할 때 유용한 지표지만, 본 연구에서는 각 클래스가 균등하게 구성된 데이터셋을 사용하였기 때문에 F1-score보다 Accuracy를 중점적으로 평가하였다. 자세한 수식은 식 (4), (5)에 나타내었다.

4.1 모델 성능 평가 결과

다음 표 2는 정상과 비염증성 병변, 정상과 염증성 병변 두 유형의 데이터셋을 대상으로 각 이미지 증대기법에 따른 분류 성능 평가 결과를 나타낸다.

정상과 비염증성 병변의 경우, 원본 데이터셋을 적용한 모델의 성능은 0.7462의 정확도가 나왔다. 반면에 이미지 증대기법을 적용한 결과에서 모두 원본 데이터셋보다 향상된 성능을 보였다. AutoAugment를 적용하였을 경우 0.8468, Mixup을 적용하였을 경우 0.7891, AugMix를 적용하였을 경우 0.7753을 달성하였다. 특히, AutoAugment가 다른 기법들에 비해 우수한 성능을 보였음을 나타냄을 알 수 있다. 정상과 염증성 병변의 경우, 원본 데이터셋을 적용한 모델의 성능은 0.9474의 정확도가 나왔으며, AutoAugment를 적용하였을 경우 0.9704, Mixup을 적용하였을 경우 0.9709, Augmix를 적용하였을 경우 0.9719를 달성하였다. 세 가지 증대기법이 모두 유사한 성능 향상을 보였지만 AugMix가 가장 높은 것을 알 수 있다.

두 유형의 데이터셋 모두 원본 데이터셋을 적용한 모델보다 이미지 증대기법을 적용한 모델이 분류 성능 향상에 효과적이었으며, 데이터셋의 특성에 따라 최적의 증대기법이 다를 수 있음을 알 수 있다. 비염증성 병변은 시각적 차이가 미세하기 때문에, 작은 차이를 정교하게 반영할 수 있는 이미지 증대기법이 필요하다. AutoAugment는 이러한 필요성을 충족시켜 최고의 성능을 보였으며, 이는 다양한 증대 정책이 비염증성 병변의 미세한 특징을 더 정밀하게 학습할 수 있도록 도왔기 때문이다. 염증성 병변은 특징이 명확하여 이미지의 주요 정보가 잘 보존되어 있다. AugMix는 다양한 변형을 적용하면서도 원본 이미지와의 주요 특징을 유지할 수 있는 장점을 활용하기 때문에 높은 성능을 달성하였으며, 이는 모델이 염증성 병변에 대해 일관된 성능을 유지할 수 있도록 한 것으로 보인다.

4.2 Grad-CAM을 통한 병변 시각화

본 연구에서는 반려묘의 피부질환 분류뿐만 아니라 병변의 위치를 시각화하고자 Grad-CAM을 적용하였다. 그림 4는 Grad-CAM을 통한 병변의 시각화 결과를 보여준다. 모델이 예측한 병변의 위치는 실제 병변 위치와 대체로 일치하였으며, 이를 통해 모델이 피부질환을 분류하는 과정에서 중요한 특징을 올바르게 인식하고 있음을 확인할 수 있다. 또한 Grad-CAM을 통해 모델의 예측 결과를 분석하고, 병변 부위에 대한 추가적인 신뢰도를 제공할 수 있다. 하지만 Grad-CAM의 시각화 결과는 모델이 특정 영역에 주목하는 정도를 넓게 분포된 형태로 표현하기 때문에, 병변의 정확한 위치를 정밀하게 식별하는 데 있어 제한적일 수 있다.

그림 4. Grad-CAM을 통한 피부병변 시각화

Fig. 4. Skin Lesion Visualization using Grad-CAM