2.1 데이터 증대 (AutoAugment)

본 연구는 학습의 성능을 올리기 위해서 데이터 증대를 활용하였다. 데이터 증대하는 방법으로 표 1에 나타낸 것처럼 AutoAugment 16가지 정책을 이용하여 데이터를 증대했다. AutoAugment 연구는 데이터 세트를 CIFAR-10, SVHM, Google- ImageNet 3가지 데이터 세트를 이용하여 학습하고 학습이 제일 잘 되는 25가지 방법을 채택하였다⁽¹⁴⁾.

데이터 세트 CIFAR-10는 색감과 물체의 모양이 다양하므로 본 연구에서는 CIFAR-10에 사용한 방법을 적용하였다. 표 2는 CIFAR-10 데이터 세트에서 AutoAugment 정책 16가지 방법을 2개씩 짝지어 데이터를 증대 후 학습을 하였을 때 제일 학습이 잘 되는 경우 25가지를 나타낸 표이다.

표 2에 (Translate X, 0.3, 9)는 Translate X는 X축으로 이미지를 이동하는 것이고, 0.3은 30%로 X축을 이동시킬지 말지 결정하는 것이다. 9는 표 1에 Range of magnitudes에 나오는 강도를 뜻하는 것인데 Translate X 보면 [-150,150]이다. 강도는 10단계가 있고 9는 0에서 150까지 10단계로 나누어 9번째 해당하는 강도로 이미지를 이동하게 된다. 음수가 있는 Magnitude 값들은 50%로 음수나 양수가 된다.

그림. 2. 증대된 이미지 (a) 원본 이미지, (b) 좌우 반전된 이미지, (c) 6도 회전한 이미지, (d) 선명하고 좌우반전된 이미지

Fig. 2. Augmented images (a) Original image, (b) Flipped image, (c) Rotated image (6 degree), (d) Sharp and left and right flipped image

AutoAugment는 색상변화, 밝기변화, 회전, 이동 등 원본에서 다양한 형태의 이미지를 확보할 수 있으므로 딥러닝의 성능을 향상할 수 있게 한다. AutoAugment를 통해 원본 이미지를 25배 증대하였고, 증대된 이미지는 그림 2에 나타내었다.

그림. 3. YOLOv4 구조

Fig. 3. YOLOv4 structure

2.2 객체 탐지 알고리즘(YOLOv4)

대장내시경에서 대장의 실시간으로 용종을 찾기 위해서 딥러닝의 객체 탐지에 유리한 YOLOv4(You Only Look Once) 네트워크를 사용하였다. YOLOv4는 이전 네트워크와 다르게 GTX 1080TI급 GPU 한 개로 학습할 수 있고 정확도를 높였다. 네트워크의 변경된 구조는 YOLOv3에서 BoF(Bag of Freebies), BoS(Bag of Specials)가 추가되었고, 한번 탐지하던 것을 두 번 탐지하는 방식으로 성능을 높였다. 실제로 YOLOv3와 YOLOv4의 성능 비교 시 FPS 8 만큼 빠르고, mAP는 12.4% 더 높았다. BoF는 네트워크의 이미지 전처리와 학습기법이 추가되어 데이터 증대는 Mosaic Augment와 SAT(Self-Adversarial Training), 네트워크 학습기법은 DropBlock, 손실함수는 CIoU (Complete Intersection over Union), 배치 정규화는 CmBN(Cross- iteration mini Batch Normalization)가 사용되었다. BoS는 네트워크의 구조와 후처리가 추가되어 레이어의 수용력 강화 SPP(Spatial Pyramid Pooling), 연산량 완화 CSP(Cross-stage partial connections)와 WRC(Weighted Residual Connections), 세부 특징 강화 FPN(Feature Pyramid Network), 활성화 함수 Mish를 추가하였다^(15,16).

그림 3은 YOLOv4의 구조이다. 이미지가 들어오면 백본 네트워크(Backbone Network)에서 컨볼루션하여 이미지의 특징 맵을 추출한다. 넥 네트워크(Neck Network)에서는 백본 네트워크에서 추출한 특징맵을 예측을 하고 다음 단계에서 탐지할 수 있게 한다. Dense Prediction에서 예측한 이미지와 바운딩 박스를 통합하여 탐지하고 Sparse Prediction에서 예측한 이미지와 바운딩 박스를 분리하여 탐지한다.

2.3 실험 구성

그림 4는 본 연구에서 제안하는 용종 탐지 시스템 순서도이다. AutoAugment CIFAR-10 정책으로 이미지를 25배 증대하고, 학습하여 모델을 만든다. 결과는 완성된 모델에 테스트 이미지를 적용하여 측정되었다. 성능은 mAP로 나타내었고, IoU 0.5, 0.6, 0.7, 0.8 4가지 기준으로 증대를 하기 전 데이터 세트와 증대 후 데이터 세트를 비교하였다.

그림. 4. 용종 탐지 시스템 순서도

Fig. 4. Flowchart of polyp detection system

그림. 5. CVC-ClinicDB 이미지

Fig. 5. CVC-ClinicDB images

그림. 6. 용종 탐지 결과

Fig. 6. Polyp detection result

3.1 데이터 세트 및 학습

데이터 세트는 MICCAI(Medical Image Conputing and Com- puter-Assisted Intervention) 2015 대장내시경 영상 자동 용종 검출 챌린지에서 연구목적용으로 제공하는 데이터이다. 데이터 구성은 CVC-ClinicDB 데이터 세트를 이용하였고, 총 612장이다⁽¹⁷⁾. 내시경 영상과 함께, Ground Truth가 제공된다.

학습을 두 가지로 나누어 진행하였다. 첫 번째 방법은 612장을 Train 490장, Validation 61장, Test 61장으로 학습을 진행했다. 두 번째 방법은 이미지를 AutoAugment로 25배 증대하여 원본 이미지 포함 14,321장을 학습 12,728장, 검증 1,592장, 테스트 61장을 사용하여 학습을 진행했다. 그림 5는 CVC- ClinicDB 데이터 세트 중 일부분이다.

YOLOv4에 입력 이미지 사이즈로 512×512로 하였고, batch size는 8, epoch는 10을 사용하였다. mini-batch는 4를 사용하였다.

그림 6은 CVC-ClinicDB데이터 세트를 AutoAugment한 테스트 데이터의 결과이다. 결과를 보면 빛 반사나 그림자가 드리워져도 용종 부분을 찾은 것을 확인할 수 있다.

3.2 연구 결과

테스트는 일정 IoU(0.5, 0.6, 0.7, 0.8)에 해당하는 mAP(Mean Average Precision)로 표현하였다. 테스트 환경으로 OS Window 10에서 GPU GTX TITAN XP, Visual studio 2015, CUDA 11.0, OpenCV 3.4.11을 사용하였다. IoU는 식 (1)을 통해 구할 수 있다. mAP는 1개의 객체당 1개의 AP값을 구하고, 여러 객체 탐지에 대해서 평균값을 구한 것이다.

표 3은 본 연구에서 제안하는 방법을 적용하였을 때 결과이다. 증대한 데이터 세트의 mAP가 더 높게 나왔다. IoU가 0.5 이상일 때는 7.91 차이가 났고, 0.8 이상일 때는 27.44 차이가 났다. 이는 증대한 데이터 세트가 증대하기 전 데이터 세트보다 결과의 평균 IoU가 높은 것을 확인할 수 있다. 실제로 IoU 평균을 계산했을 때 증대하기 전 데이터 세트는 69.01이고, 증대 후 데이터 세트는 80.45이다. Precision이 Recall보다 높게 나왔고, 특히 IoU가 0.6 이하이면, 제안한 알고리즘은 높은 F1-Score를 나타낸다. 이는 제안한 연구가 대장내시경 용종 탐지에 큰 도움이 될 것이라 예상된다. 증대한 후 학습은 다양한 데이터가 수집되었기 때문에 같은 용종을 탐지하더라도 좀 더 정확하게 탐지하는 것을 알 수 있다.