김동현
(Dong-hyun Kim)
1
조현종
(Hyun-chong Cho)
2†
-
(Interdisciplinary Graduate Program for BIT Medical Convergence, Kangwon ational University,
Korea)
-
(Dept. of Electronic Engineering and Interdisciplinary Graduate Program for BIT Medical
Convergence, Kangwon National University, Korea)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Computer-aided Diagnosis(CADx) Systems, Gastric lesions, Endoscopy images, Inception module
1. 서론
위암은 2015년 한국 국가 암 정보센터의 남녀 암 종별 조발생률에서 각각 남자 1위, 여성 4위를 차지하였다. 또한 2012년도 국제 암 연구기관인
GLOBOCAN(세계 보건기구 WHO산하 기관)의 국가별 연령에 따른 위암의 연령 표준화 발생률(ASR, Age-standardized incidence
rate)을 살펴보아도 한국의 위암 발병률이 다른 나라에 비해 높다는 것을
그림. 1로 알 수 있다. 한국의 경우 10만 명 기준, 남자의 경우 62%, 여성의 경우 24%, 남녀를 합한 총 비율 역시 42%의 발생률을 보여 다른
나라와 비교하였을 때 위암발생률 1위라는 오명을 차지하였다
(1).
그림. 1. 세계 위암 발생률 (2012년도)
Fig. 1. Worldwide gastric cancer incidence rate (2012)
위암의 발생 원인이나 발생기전을 파악하고자 하는 목적으로 위유암종, 만성위염, 위출혈, 위궤양 등이 전암성 병변으로 검토되고 있다
(2,3). 위암은 발견되기 전까지는 특징적인 증상이 없기 때문에 위의 이상 병변을 조기 발견을 하여 위암으로의 진행을 막는 것이 가장 최선의 방법이라고 할
수 있다. 그렇기 때문에 위 내시경 검사를 통하여 위암 조기 병변을 정확하게 진단하고 조기에 치료 및 제거하는 것이 매우 중요하다. 이와 같이 위
내시경을 통한 위암조기 진단의 필요성으로 인해 컴퓨터 보조 진단 시스템(CADx: Computer-aided Diagnosis) 연구가 진행되는 중이다.
현재 진단의 정확성을 높이기 위해 색소 내시경, 확대 내시경, 협대역 내시경 등을 이용하고 있다. 이러한 위 내시경 연구의 발달은 내시경 이미지의
고화질화, 내시경 이미지의 수의 증가를 초래하였고, 이에 비례하여 육안으로 관찰하는 의사의 진찰 시간과 피로도 역시 증가하였다. 또한 촬영된 내시경
이미지의 다양한 형태와 특징은 본래 전문의의 임상적인 경험에 따라 높은 의존도를 갖고 있기 때문에 위암 조기 진단을 위한 내시경의 컴퓨터 보조 진단
시스템 연구는 위암을 조기 발견하게 될 의사와 환자 모두의 삶의 질을 높일 수 있을 것으로 생각된다
(4). 현재 진행되고 있는 내시경의 컴퓨터 보조 진단 시스템 연구로는 내시경에서 보이는 이미지 표면의 구조적 특징을 분석하여 위험 병변을 검출하는 연구와
협대역 내시경을 이용하여 각종 병변의 특징을 찾아내고 비교 분석하여 위험 병변을 찾아내는 연구가 있다. 따라서 이번 연구는 현재 진행 중인 연구보다
보다 정확하고 편리하게 위내시경 이미지에서 보이는 각종 병변을 판별하고 위암 조기 진단이 가능할 수 있도록 도와주는 컴퓨터 보조 내시경 진단 시스템을
구성하는 것을 목표로 한다. 특히 이번 연구의 목표는 위 내시경의 이미지 데이터를 딥러닝 모델에 학습한 뒤에 정상, 비정상 여부를 판단을 하고, 신뢰할만한
위 병변의 이미지 분류로 보다 정확한 결과 값을 얻는 것이다.
최근 내시경 영상을 이용한 컴퓨터 보조 진단 관련 연구에는 ME-NBI 내시경 영상의 특징을 이용해 HSV색 공간을 이용 가우시안 필터를 적용하여
H와 S채널의 값을 이용하여 색과 텍스처를 기반으로 병변을 탐지하는 연구가 있으며
(5), 이미지를 잘 나누어 HSV-HV히스토그램, RGB 히스토그램, RGB-RG 히스토그램 등 다양한 색상 공간에서 색의 특징을 추출하여 병변을 탐지하는
연구가 진행 중이다
(6). 그리고 무선 캡슐 내시경(WCE) 영상을 이용하여 각각의 이미지에서 출혈 부위에 대한 HSV색 공간에서의 H채널 또는 S채널과 회색 강도를 추출하여
비교할 이미지와 색상의 유사도를 측정하여 출혈을 감지하는 연구가 진행 되고 있다
(7,8). 또한 Log Gabor 필터를 기반으로 영상을 필터링으로 처리를 한 후에 궤양과 용종을 탐지하는 연구가 진행 되고 있으며 각각의 색상공간에서 텍스처
특징을 사용하여 SVM을 기반으로 각각의 특징을 이용하여 유사도를 측정해 분류하는 연구가 진행되고 있다
(9). 그 외에도 정확도 향상을 위하여 여러 방법의 거리 기반 유사도 측정을 사용하여 비교한 연구가 유방암 컴퓨터 보조 진단 연구에서 제시되었다
(10).
2. 본 론
2.1 위 내시경 영상 수집(Data Base)
위 병변 컴퓨터 보조 진단 (CADx) 연구를 위하여 임상 시험 심사 위원회(IRB, Institutional Review Board)의 허가를 받은
3차 종합병원 위 내시경 영상을 사용하였다. 모든 영상은 소화기 내과 전문의 판단으로 검증되었다. 137개의 비정상 위내시경 이미지와 112개의 정상
내시경 이미지를 포함하는 총 249개의 이미지로 구성되어 있고, 총 10명 환자로부터 취득하였다. 이때 비정상 위내시경 이미지는 위암을 포함한 출혈,
궤양, 위유암종 등으로 구성되었다. 해당 연구를 위하여 취득한 데이터를 학습 집합과 테스트 집합으로 구성하였고, 정상 및 비정상 내시경 이미지는 다음
그림 2와 3과 같다. 해당 연구에서 사용된 내시경 기기는 올림푸스 HQ290이고 1080/60i로 촬영되었다. 취득한 병변 이미지의 수는 표 1과 같다. 위암의 궤양병변에서 출혈을 동반하 기 때문에 위출혈의 이미지의 수는 적었고 위염 또한 위궤양으로 발전하는 형태이기 때문에 위염의 갯수가
적은 것을 알 수가 있다.
2.2 위 내시경 이미지 분류 모델
본 연구에서는 이미지 분석에 특화가 된 합성곱 신경망인Convolutional Neural Network(CNN)을 사용한다. 다양한 합성곱 신경망
중 ImageNet 대회에서 좋은 결과를 보여 많이 사용되는 모델인 Inception 모듈 기반의 딥러닝 모델을 사용하여 분류를 진행하였다. 신경망은
망이 깊어질수록 성능이 좋아지지만 깊은 층을 쌓음으로써 몇 가지 문제가 발생한다. 대표적으로 오버피팅 문제와 Gradient vanishing 등의
문제를 들 수 있다. 이 문제를 해결하려면 망을 복잡하지 않게 연결하는 구조를 만들어야 된다. 또한 층이 깊어진 만큼 연산량도 많아지는 특징이 생겨
문제가 발생하는데 Inception 모듈은 이러한 문제를 해결한다. Inception 모듈은 이미지의 특징을 효율적으로 추출하기 위해 그림 4와 같이 1x1, 3x3, 5x5의 Convolution 연산을 3x3 Max pooling과 함께 수행한다. 하지만 연산량이 많기 때문에 각 부분마다
1x1 Convolution을 넣어 차원을 감소시키고 3x3과 5x5 Convolution을 통하여 확장하는 형태로 진행을 한다. 그렇기 때문에 연산의
양을 효율적으로 축소하는 효과가 있다. Inception 모델은 이러한 모듈을 9개를 붙여서 연산을 효과적으로 축소시켜 연산을 빠르게 하고 정확한
학습을 하게 만든다.
그림. 2. 정상 위 병변의 예
Fig. 2. Example of normal gastric images
그림. 3. 비정상 위 병변의 예
Fig. 3. Example of abnormal gastric images
본 논문에서 사용한 Inception 모듈 기반의 딥러닝 모델에서는 마지막 층 Fully Connected Layer에 Batch Normalization
(BN)-auxiliary를 적용한 모델로서 이전 버전보다 성능이 향상된 모델이다. 딥러닝 모델 간에 성능을 비교할 때 “Top-5 error rate“를
지표로 성능을 측정한다. 이것은 모델이 가장 높은 확률로 예측한 5가지의 예측이 정답이 아닌 빈도를 검토하는 퍼센트를 표현한 것이다. 본 논문에서
사용한 Inception 모듈 기반의 딥러닝 모델의 버전인 Inception-V3는 Top-5 Error가 3.58%로 높은 성능을 보여주는 모델로
분류학습을 진행을 하였다(11).
그림 5는 해당 연구에서 학습과 테스트를 진행하는 순서를 구성한 순서도이다. 학습 데이터는 500장으로 총 구성이 되어있다, 그림 6과 같이 학습 집합 이미지인 125장을 90°, 180°, 270°회전을 한 이미지를 포함하여 학습 데이터를 구성하였다. 의료 데이터의 특성상 많은
데이터 확보가 어려워 회전을 통해 데이터의 양을 늘려 학습을 진행하였다. 데이터가 부족한 상태에서 학습을 할 경우 학습 모델이 학습 데이터에 특화되어
오버피팅(overfitting)이 생기거나 제대로 된 학습이 이뤄지지 않는다. 따라서 데이터의 양을 증가시켜 오버피팅을 방지하거나 제대로 학습을 진행하여
성능을 향상시킬 수가 있다. 구성된 딥러닝 모델에 Abnormal과 Normal로 나누어 학습을 진행을 하고 테스트 집합으로 구성된 124장의 이미지로
분류작업을 진행하였다. 학습된 모델을 기반으로 추론(inference)한 값으로 Normal, Abnormal state 중에서 상대적으로 높은 추정치를
가진 클래스로 분류를 하였다. Az값은 ROC(Receiver Operating Characteristic) curve의 면적으로 민감도와 특이도를
사용하여 정확도를 평가한다. 따라서 본 논문에서는 구성한 컴퓨터 보조 진단 시스템의 성능은 Az값을 측정하여 평가를 하였다.
표 1. 취득한 위 내시경 이미지 타입
Table 1. Gastric endoscopy image type
위암
|
위출혈
|
위유암종
|
위궤양
|
위염
|
정상
|
58
|
4
|
31
|
38
|
6
|
112
|
그림. 4. Inception-V3에서 사용되는 Inception 모듈
Fig. 4. Inception module used in Inception-V3
그림. 5. 본 연구의 사용한 Deep CNN 순서도
Fig. 5. Deep CNN flowchart
그림. 6. 학습 데이터 증가를 위한 이미지 회전
Fig. 6. Image rotation for training data augmentation
3. 연구 결과
그림. 7. Inception 모듈 기반의 딥러닝 모델학습 횟수에 따른 손실 함수
Fig. 7. Cross entropy according to epoch of Deep Learning Model based on Inception
module
그림. 8. Inception 모듈 기반의 딥러닝 모델 학습 횟수에 따른 정확도 변화
Fig. 8. Accuracy according to epoch of deep learning model based on Inception module
표 2. 124개의 테스트 이미지에 대한 Inception 모듈 기반의 딥러닝 모델의 분류 결과
Table 2. Classification of deep learning model based on Inception module for 124 test
images
|
Abnormal
(Actual)
|
Normal
(Actual)
|
Abnormal
(Predicted)
|
55
|
18
|
Normal
(Predicted)
|
13
|
38
|
|
68
|
56
|
그림. 9. ROC 커브
Fig. 9. ROC curve
정상, 비정상을 분류하는 학습을 위해서 위의 그림 2와 같은 건강한 이미지를 정상으로 사용하였다. 비정상은 융기형, 표면형, 함몰형 등의 위암 이미지들을 사용하였고(12), 그림 3과 같이 출혈, 위염, 위궤양 등 위암으로 진행의 가능성이 있는 병변들을 모두 비정상으로 분류하게 학습을 시켰다. 해당 프로그램을 구동하는 하드웨어
환경은 AMD RYZEN 1600, NVIDIA GEFORCE 1070TI을 사용하였고, 학습 횟수를 10000번으로 설정을 하여 반복 학습을 진행하였다.
비정상 이미지에 사용된 병변 이미지들은 출혈을 동반한 진행 중인 위암(Advanced Gastric Cancer with bleeding)과 조기
위암(Early Gastric Cancer)의 위하부(Prepyloric antrum) 이미지, 조기 위암 점막 이미지, 위유암종(Gastric neuroendocrine
tumor), 위용종(Gastric adenoma) 이미지, 위궤양(Gastric ulcer) 이미지, 출혈을 동반한 위궤양 등 여러 종류의 위 병변
이미지들을 비정상(abnormal) 클래스로 학습을 진행하였다. 그림 7과 8은 학습 횟수에 따른 오차와 정확도의 변화를 보여주는 그래프이다.
학습한 모델을 사용하여 테스트 집합인 124개의 이미지에 대해서 분류를 진행하였다. 표 2와 같이 정상과 비정상의 이미지를 분류하여 결과를 나타내었다. 정상 이미지 68개 중 55개를 정상으로 분류하였고 비정상 이미지 56개 중에서 38개를
비정상 이미지로 분류하였다. 민감도(sensitivity)와 특이도(specificity) 값은 각각 0.81과 0.68로 나타났다.
이번 연구의 ROC curve는 그림 9와 같다. 회전으로 데이터를 증가하기 전에는 Az값은 0.808이고, 데이터 증가 후 Az값은 0.832로 향상된 값이 나옴을 알 수가 있다. 이러한
결과들로 Inception 모듈의 기반으로 구성된 딥러닝 모델의 병변 진단 컴퓨터 보조 진단 시스템은 중등도의 성능을 보인다(13).
4. 결 론
위암의 초기 증상은 위염이나 위궤양과 같은 일반 증상과 비슷하여 그것을 자각하여 예방하기란 매우 어렵다. 따라서 국가별 위암 발생률 남녀 모두 1위를
차지한 한국에서 위의 병변을 조기 진단하여 위암으로의 진행을 막는 연구는 더욱 중요하다. 내시경 장비가 발전함에 따라 내시경 영상으로 병변 진단의
정확도가 증가하였다. 하지만 추가로 증가된 내시경 영상의 수로 인해 육안으로 진단하는 의사들의 피로도도 비례하여 증가한다. 그렇기 때문에 의사의 피로도를
경감시킬 수 있도록 지원을 해주는 컴퓨터 보조 진단 시스템에 대해 연구가 필요하다.
본 논문에서는 위 내시경 영상을 이용하여 병변 진단을 하는 컴퓨터 보조 진단 시스템을 제안하고 이를 이용하여 분류 시스템을 구현하였다. 구현된 알고리즘은
딥러닝 모델중 하나인 Inception 모듈 기반의 딥러닝 모델을 사용하였으며, 학습된 딥러닝 모델을 기반으로 위 내시경 영상에 대한 병변 진단 컴퓨터
보조 진단 시스템을 구성하였다. 시스템을 설계하기 위하여 취득한 데이터를 두 집합으로 임의로 분류하였고, 학습모델을 구성하기 위하여 125개의 학습
이미지를 회전을 통해 500개로 구성하여 학습을 하였다. 그리고 124개의 이미지에 대한 추론을 하여 분류를 진행하였다. 그 결과 Az 값은 데이터
증가 전은 0.808이고, 데이터 증가 후에 결과는 0.832라는 좀 더 향상된 성능을 보여주었다.
향후 연구에서 여러 병변의 위내시경 이미지 데이터를 많이 수집하여 Az값을 증가 시킬 것이다. 또한 성능을 향상하기 위해 이미지 처리 방법들을 다양하게
적용해 진행하여 분석할 예정이다. 해당 연구와 같이 비정상, 정상을 분류하는 것이 아닌 각종 병변의 특징을 구분하고 그것에 대한 위험도를 나누어서
결과를 도출시킬 수 있도록 하여 다양한 분석기법 및 학습 모델을 설계하여 한 단계 높은 컴퓨터 보조 진단 시스템(CADx)을 구성할 예정이다.
감사의 글
This work was supported by the National Research Foundation of Korea(NRF) grant funded
by the Korea government(MSIT) (No. 2017R1E1A1A03070297) and 2017 Research Grant from
Kangwon National University (No. 520170073).
References
Ferlay J., Soerjomataram I., Ervik M., Dikshit R., Eser S., Mathers C., 2014, GLOBOCAN
2012 v1. 1, Cancer Incidence and mortality worldwide: IARC CancerBase
Kim Y. L., Kim W. H., Kim T. J., Choi K. W., 1992, Histotopographic Characterization
of Chronic Gastritis Associated with Early Gastric Carcinomas, The Korean Journal
of Gastroenterology, Vol. 24, pp. 216-223
Kim H. S., 2011, Clinical Significance of Peptic Ulcer Staging and Biopsies, The Korean
Journal of Gastrointestinal Endoscopy, Vol. 42, pp. 24S-26S
Lee T. C., Lin Y. H., Uedo N., Wang H. P., Chang H. T., Hung and C. W., 2013, Computer-aided
diagnosis in endoscopy: A novel application toward automatic detection of abnormal
lesions on magnifying narrow- band imaging endoscopy in the stomach, in Engineering
in Medicine and Biology Society (EMBC), Vol. 2013 35th Annual International Conference
of the IEEE, pp. 4430-4433
Liu X., Wang C., Bai J., Liao G., Zhao Y., 2017, Hue- texture-embedded region-based
model for magnifying endoscopy with narrow-band imaging image segmentation based on
visual features, Computer methods and programs in biomedicine, Vol. 145, pp. 53-66
Cong Y., Wang S., Liu J., Cao J., Yang Y., Luo J., 2015, Deep sparse feature selection
for computer aided endoscopy diagnosis, Pattern Recognition, Vol. 48, pp. 907-917
Guobing P., Fang X., Jiaoliao C., 2011, A novel algorithm for color similarity measurement
and the application for bleeding detection in WCE, International Journal of Image,
Graphics and Signal Processing, Vol. 3, pp. 1
Li B., Meng M. Q. H., 2009, Computer-Aided Detection of Bleeding Regions for Capsule
Endoscopy Images, IEEE Transactions on biomedical engineering, Vol. 56, pp. 1032-1039
Karargyris A., Bourbakis N., 2011, Detection of Small Bowel Polyps and Ulcers in Wireless
Capsule Endoscopy Videos, IEEE Transactions on biomedical engineering, Vol. 58, pp.
2777-2786
Kim M. J., Cho H. C., 2017, A Study of CBIR(Content-based Image Retrieval) Computer-aided
Diagnosis System of Breast Ultrasound Images using Similarity Measures of Distance,
The Transactions of the Korean Institute of Electrical Engineers, Vol. 66, pp. 1272-1277
Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z., 2016, Rethinking the Inception
architecture for computer vision, in Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, pp. 2818-2826
J. G. C. Association , 2011, Japanese classification of gastric carcinoma: 3rd English
edition, Gastric cancer, Vol. 14, No. , pp. 101-112
Sang W. S., 2009, Using the Receiver Operating Characteristic (ROC) Curve to Measure
Sensitivity and Specifi city, Korean Journal of Family Medicine, Vol. 30, No. , pp.
841-842
저자소개
1992년 08월 24일생
2018년도 강원대학교 전자공학전공 졸업
2018년~현재 강원대학교 BIT 의료융합학 석사과정
E-mail :
wlflqna@gmail.com
2009년 미국 플로리다 대학교 전기컴퓨터공학과 졸업 (석사, 박사)
2013년~현재 강원대학교 IT대학 전자공학과 및 BIT 의료융합학 조교수