2.1 데이터셋 구성

수집된 데이터셋은 110명의 환자로부터 추출한 CT 스캔 슬라이스 1,190장이 존재한다. 이 중 40건은 악성(Malignant), 15건은 양성(Benign), 55건은 음성(Normal)으로 분류하였다. 그러나 본 연구는 양성이 아닌 폐암을 의미하는 악성 분류를 위해 양성이 아닌 악성과 음성 두 클래스로만 데이터셋을 재구성하였다. 본 연구에 적용한 자세한 데이터셋 구성은 표 1과 같다.

2.2 데이터 증대

다양한 병변 및 패턴은 딥러닝 학습에 있어 일반화 성능 향상 및 과적합 방지라는 이점을 가진다. 그러나 폐암 데이터 이미지는 의료 영상으로써 개인정보보호를 위해 익명화 및 각 환자의 승인을 요한다. 그렇기에 시간과 비용이 많이 소모되며, 결과적으로 작은 데이터셋이 구성되었다. 이러한 의료 영상 부족 문제를 해결하기 위하여 본 연구에서는 AutoAugment를 적용하고자 하였다. AutoAugment는 Google에서 개발한 증대정책이다⁽¹¹⁾. AutoAugment의 증대정책은 25개의 하위 정책으로 구성된다. 각 하위 정책은 flip, rotation 등 16가지 이미지 처리 방식 중 2가지 방식과 각 방식의 적용 확률 및 강도로 구성된다. 이를 통해 데이터 증대기법의 일반화 능력을 향상하였다. 사전 학습된 모델을 통해 정해진 policy를 폐암 이미지 데이터에 적용하여 원본 데이터셋의 25배를 증대하였다.

AutoAugment는 Cifar10, ImageNet 및 SVHN의 세 가지 데이터셋에 대한 최적의 증대정책을 제공한다. Cifar10은 10개의 클래스로 구성된 32×32 이미지 크기의 데이터셋이다⁽¹²⁾. ImageNet은 140만 개 이상의 이미지와 1,000개 이상의 클래스를 포함하는 데이터셋이다⁽¹³⁾. SVHN은 Google Street View에서 수집한 숫자 이미지 데이터셋으로 약 10만 개의 이미지로 구성되었다⁽¹⁴⁾. 이 중 가장 많은 이미지와 클래스를 보유한 ImageNet의 증대정책을 적용하여 연구를 진행하였다. 다음 그림 2는 AutoAugment를 통한 증대예시를 나타냈다.

그림. 2. AutoAugment를 통한 Malignant 및 Normal 이미지 증대 예시

Fig. 2. Example malignant and normal image through AutoAugment

2.3 EfficientNetV2

본 연구는 CNN 기반의 딥러닝 네트워크를 적용하여 폐암 병변의 특징을 학습하고 이를 통해 진단하고자 한다. EfficientNetV1은 모델 성능을 향상하기 위하여 깊이, 채널 폭, 이미지 해상도의 세 가지 네트워크 구성 요소를 최적화하는 방법을 활용하였다⁽¹⁵⁾. 인공지능을 통한 NAS(Neural Architecture Search)의 발전으로 고성능이면서 낮은 매개변수를 갖는 네트워크가 제안되었다⁽¹⁶⁾. EfficientNetV1은 Training-Aware NAS를 통해 최적의 구조를 얻고자 하였다. 또한 설계된 기본 모델을 기반으로 각 구성 요소에 compound scaling을 적용하여 다양한 크기의 모델을 생성하였다. 또한 MobileNet에서 제안한 3×3 MBConv를 스테이지마다 배치하였다⁽¹⁷⁾. 하지만 이는 학습의 효율성을 고려하지 않아 메모리 효율성이 떨어지는 오버헤드 문제가 발생하였고, 이를 해결하기 위해 EfficientNetV2에서는 일반 MBConv 대신 3×3 Depthwise Convolution과 1×1 Convolution을 일반적인 3×3 Convolution으로 변경한 Fused-MBConv를 초반 스테이지에 배치하고 후반에는 일반 MBConv를 배치하여 학습 속도 및 효율성을 높였다⁽¹⁸⁾. 또한 학습 시 Feature map에서 채널의 중요도에 가중치를 부여하기 위해 SENet에서 제안한 SE Block(Squeeze-and-Excitation Block)을 적용하여 학습의 효율성을 높였다⁽¹⁹⁾. EfficientNetV2에서는 학습의 효율성을 위해 compound scaling의 최대 이미지 크기를 380×380으로 제한하고, 128×128 사이즈에서 이미지 크기를 점차적으로 증가하면서 학습을 진행하여 S, M, L 세 가지 모델을 생성하였다. 본 연구에서는 데이터셋의 크기를 고려하여 1,000만 장 이상의 이미지와 21,000개의 클래스로 구성된 ImageNet21k 데이터셋을 사용하여 사전 훈련된 EfficientNetV2-Large 모델을 사용하였다. 그림 3에서는 EfficientNetV2의 Architecture를 나타내었다.

그림. 3. EfficientNetV2 및 MBConv, Fused-MBConv 구조

Fig. 3. EfficientNetV2 and MBConv, Fused-MBConv Architecture

2.4 ConvNeXt

2020년을 기점으로 Computer Vision Task는 Vision Transformer(ViT)가 SOTA(State-of-the-Art)를 차지하였다⁽²⁰⁾. 하지만 ViT는 Input image 크기의 제곱의 계산량을 요해 시간 복잡도가 ConvNet에 비해 매우 높다. ConvNeXt는 classification task뿐만 아니라 다른 task에도 좋은 성능을 가진 Swin transformer와 비교하고 이를 통해 고성능의 ConvNet을 만들고자 하였다⁽²¹⁾.

ConvNeXt는 ResNet-50을 베이스 모델로 하여 Swin transformer에서 사용한 training technique를 적용하고 다양한 최신화 기법을 적용하여 성능을 향상하였다. 각 stage의 비율을 3:4:6:3에서 3:3:9:3으로 변경하고 kernel size를 기존의 3×3에서 7×7로 높여 성능을 향상하였다. 또한 ResNeXt의 ResNeXt-ify를 적용하였다⁽²²⁾. 256차원 Input을 여러 path로 나누고 4차원까지 채널 수를 줄인 후 다시 256차원으로 키워 모든 path를 합치고 나서 Depthwise separable convolution을 추가하여 연산량은 줄이고 성능은 향상하였다. 다음 그림 4는 ResNeXt-ify의 자세한 구조를 나타내었다.

그림. 4. ConvNeXt bottle neck의 ResNeXt-ify 구조

Fig. 4. ResNeXt-ify architecture that ConvNeXt bottle neck

2.5 Gaussian Noise 삽입

CT 이미지는 X-선을 통해 인체를 슬라이스로 촬영하고, 이러한 이미지를 컴퓨터가 3차원 이미지로 재구성하는 방식으로 생성한다. 이러한 과정에서 조직의 물성에 따라 X-선을 흡수하거나 투과하는 과정에서 무작위한 Gaussian Noise가 생길 가능성이 존재한다. 이는 이미지의 품질을 저하할 뿐만 아니라 CADx의 분류 정확도를 감소시킬 수 있는 요인이 된다. 실제 의료 현장에서 노이즈가 있는 이미지가 입력되어도 모델이 정확하게 예측할 수 있는 강건성을 평가할 수 있도록 테스트 데이터셋에 평균이 0, 표준편차 0.01인 Gaussian Noise를 삽입하여 일반 CT 이미지와 비교하고자 하였다. 다음 식(1)에 Gaussian Noise를 이미지에 추가하는 수식을 나타내었다.