1. 서 론

최근 컴퓨터 시스템의 비약적인 발달로 인해 음성인식, 안면인식을 활용한 비대면 면접, 보안사업, 마케팅 등과 같은 다양한 분야에 인공지능(Artificial Intelligence, AI) 이 접목되고 있다⁽¹⁾. 특히 딥러닝에 사용되는 신경망의 종류는 순차적 정보가 담긴 데이터에서 규칙적인 패턴을 인식하고 추상화된 정보를 추출할 수 있는 순환신경망(Recurrent Neural Network, RNN)과 RNN의 특별한 한 종류로 긴 의존 기간이 필요한 학습을 수행할 능력을 갖춘 순환신경망(Long Short–Term Memory, LSTM), 비지도 학습에 활용되어 차원 축소, 분류 선형 회귀 분석, 필터링, 특징값 학습, 주제 모델링 등에 사용되는 볼츠만머신(Restricted Boltzmann Machine, RBM), 부분적인 영상에서 전체를 연상하는 일반화, 추상화 과정을 구현하는 심층 신뢰 신경망(Deep Belief Network, DBN), 훈련으로 학습된 패턴을 이용해 영상이나 음성을 생성할 수 있는 생성 대립 신경망(Generative Adversarial Network, GAN), 생명체의 시각 처리 방식을 모방하여 영상 처리 분야에서 사용하는 합성곱 신경망(Convolutional Neural Networks, CNN) 등이 있다^(2-6).

인공지능은 다양한 분야와 접목하여 활용할 수 있는데, 특히 의료분야에 적용될 때 유의미한 연구 결과를 보여주고 있다⁽⁷⁾. 과거 정상 세포와 비정상 세포의 분류 연구는 단순히 사용자의 의료적 지식을 기반으로 세포를 분류하는 수작업의 방식을 사용하였다. 이와 같은 방식은 사용자가 전문적 배경과 풍부한 진단 경험이 있어야 하므로 인력이 제한되고 부재 시 어려움을 겪는다. 또한, 암세포 판단 업무의 과중은 결과의 오진으로 이어질 가능성이 존재하므로, MRI, 광학 기반 영상, CT, 일반 현미경 기반 RGB 영상 등 다양한 영상 데이터를 기반으로 한 CNN을 이용한 세포 분류 연구가 다양하고 활발하게 진행되고 있다^(8-11). 이를 통해 설계되는 진단 보조 세포 분류 모델은 병리학자의 과중한 업무량을 줄이고 오진을 줄일 수 있다. CNN을 기반으로 한 영상 인식 및 분류에 관한 연구 모델은 현미경 영상의 유사분열 세포 검출, 종양 검출, 신경망 분할, 피부질환 등과 같은 생체의학 영상 분석과 같은 다양한 분야의 활용이 가능하며, 이는 질병의 진단과 최선의 치료 방법 제공에 활용되어 오진율을 줄이는 데 사용되고 있다⁽¹²⁾.

본 연구에서는 현미경 영상 특성 분석에 성능이 우수한 CNN 기반 암세포 영상 분류 기법을 제안한다. 동일 조건에서 현미경을 통해 획득된 자궁경부암 세포와 피부 섬유아세포를 분류 알고리즘에 적합하도록 OpenCV(Open Source Computer Vision)를 통해 전처리를 진행하였다⁽¹³⁾. 실시간 컴퓨터 비전을 목적으로 한 Python 라이브러리인 OpenCV를 활용해 세포의 외곽선을 따라 영역을 지정하고 광학적인 특성을 획득한 후, 신경망의 입력 데이터로 활용하여 세포 분류 모델의 인식률과 정확도를 높이는 연구를 진행하였다⁽¹⁴⁾.

2. 실험 방법

2.1 세포배양 및 영상획득

피부 섬유아세포(CCD-986SK, Human skin fibroblast cells, 22 yrs black female, 한국세포주은행, 대한민국)와 자궁경부암 세포(HeLa, Human cervical cancer cells, 한국세포주은행, 대한민국)는 모두 37°C의 온도와 5%의 이산화탄소를 포함한 CO Incubator에서 배양하였다⁽¹⁵⁾. 자궁경부암 세포는 고농도의 글루코스가 포함된 Dulbecco's Modified Eagle Medium(DMEM), 10%의 Fetal Bovine Serum(FBS, pH 7.4)과 1%의 Penicilin Streptomycin으로 구성된 배지 용액으로 약 4일간 배양하였다^(16-17). 섬유아세포는 Isocove’s Modified Dulbecco’s Medium (IMDM)과 10%의 FBS, 1%의 Penicillin Streptomycin으로 구성된 배지 용액을 사용하여 배양하였다. 모든 세포는 역상 광학 현미경(Inverted optical microscope, IX73, Olympus, Japan)을 이용하여 촬영하였다^(18-19). 세포가 배양되는 30일간 각각의 세포를 매일 20장씩 촬영하여, 세포 분화 과정에서 이루어지는 다양한 형태의 세포 영상을 획득하였다^(20-21). 이 중 관심 세포의 광학적 특성 분석이 용이한 영상을 선택하고(HeLa : 253장, CCD-986SK : 228장), 이를 통해 섬유아세포와 자궁경부암 세포의 형태적 특성을 분석하고 특정 파라미터를 추출하여 CNN에 활용하였다. 세포 영상획득 과정은 그림 1에 나타내었으며, 획득된 영상은 1,360 × 1,024 [pixel]의 크기로 약 1.5 [Mbyte]의 저장용량을 가진다.

그림. 1. 세포 영상 추출 과정

Fig. 1. Cell image acquisition process

2.2 영상 처리

세포배양을 통해 획득된 영상은 잡음 제거 및 영상 분리 등과 같이 학습을 하기 위한 전처리 단계가 필수적이다. 획득된 영상의 세포는 종류별로 다양한 형태를 가지며, 단일 또는 복수의 세포가 연결되어 있으므로, 세포의 관심 영역 부분을 부분적으로 추출하여 입력 데이터 세트를 생성할 필요가 있다. 따라서, OpenCV와 scikit-image 라이브러리를 사용하여 영상 처리를 진행하였다. OpenCV는 오픈 소스 컴퓨터 비전 라이브러리로 실시간 영상 처리에 중점을 두고 있으며, 비교적 간단한 전처리 작업을 통한 영상 처리(영상획득 및 처리, 편집, 이진화, 모폴로지 연산 등)가 가능하다. scikit-image는 Python 프로그래밍 전용 오픈 소스 영상 처리 라이브러리이며, 영상의 분할, 변환, 필터링과 같은 알고리즘이 포함되어있다.

세포배양 방식 후 역상 광학 현미경을 통해 획득된 영상은 그림 2(a)와 같다. 획득한 영상 내에서 관심 세포의 영역만을 추출한 후 이진화 영상을 OpenCV의 threshold와 adaptive- Threshold 등을 적용하여 세포 영역을 그림 2(b)와 같이 선택한다. 이때, 이진화 영상에서 세포 영역을 검출할 때, 세포가 아닌 작은 부유물의 외곽선이 검출되는 것을 방지하기 위해 scikit-image의 remove_small_objects를 이용하여 픽셀 수가 일정 수 미만인 객체를 제거한다. OpenCV의 boundingRect를 이용하여 이진화 영상 전체를 2차원 좌표평면으로 설정하고, 입력 데이터 영상의 좌표를 추출한다. 그 결과 관심 세포의 영역을 그림 2(c)로 확정한 후, 선택된 세포 영역을 그림 2(d)와 같이 추출하여 학습용 데이터를 생성한다. 학습 및 validation을 위한 추출 입력 영상의 크기는 장당 약 300 × 300 [pixel]의 크기로 장당 약 30 [Kbyte]의 저장용량을 가지고, 광학 현미경에서 얻어진 세포 영상당 약 백 개 내외의 영상 추출이 가능하다.

그림. 2. 영상획득 및 영상 처리 과정의 대표 영상 (a) 획득된 HeLa 세포 영상, (b) 이진화 영상, (c) 세포 영역 추출, (d) 학습용 세포 영상

Fig. 2. Representative images of data acquisition and process (a) Acquired HeLa cells image, (b) Binary image, (c) Image segmentation, (d) Extracted images for training

2.3 Convolutional Neural Network

CNN을 기반으로 제안된 데이터 처리 방법의 순서도는 그림 3과 같다. 심층 CNN인 그림 4의 MobileNetV2가 분류를 위한 특징 추출기로 채택되어 사용되고, 이 구조는 다양한 영상들로 미리 훈련하게 된다. 이후, 영상에서 추출된 파라미터를 전이 학습(Transfer learning) 기법을 활용하여 분류기에서 최종적으로 세포의 종류를 결정하게 된다.

그림. 3. 제안된 시스템의 개념도

Fig. 3. Diagram of the proposed classification system

CNN은 영상의 공간 정보를 유지하면서 인접 영상과의 특징을 효과적으로 인식하고 강조하는 네트워크 구조이다. 일반적으로 CNN은 여러 컴퓨터 비전 문제에서 뛰어난 성능을 보여주고 있다⁽²²⁾. CNN의 구조는 영상의 특징을 추출하는 부분과 영상을 분류하는 부분으로 구성된다. 특징 추출 영역은 다양한 필터를 사용하여 공유 파라미터 수를 최소화한다. 또한, CNN은 영상의 특징을 찾는 컨볼루션 층과 특징을 강화하고 모으는 풀링 층을 여러 겹 쌓는 형태로 구성된다. 영상 분류 영역은 완전 연결 층으로 네트워크의 마지막 부분에 추가된다. 컨볼루션 층에서는 영상 특징 추출을 위하여 입력을 필터가 순회하며 컨볼루션을 계산하고, 그 계산 결과를 이용하여 특징 맵을 생성한다. 생성된 특징 맵은 분류 층에서 클래스별로 분류되고 층의 끝에서는 활성화 함수를 통해 값을 다음 층으로 변환하여 전달하거나 답을 출력한다. CNN에 관한 연구는 꾸준히 진행되고 있으며, 사용 목적에 따라 구조를 변형한 VGG, InceptionV3, ResNet5 등과 같은 네트워크를 응용한 어플리케이션이 다양하게 제시되었다^(23-25). 본 연구에서는 구글에서 작성한 MobileNetV2 모델을 이용하여 학습 후 분류 프로세스를 진행하였다.

2.4 MobileNetV2

MobileNetV2 모델은 기존의 MobileNetV1에서 CNN 구조를 약간 수정하여 파라미터 수와 연산량을 더욱 줄인 것으로, Depthwise Separable Convolution과 Linear Bottleneck을 결합한 Inverted Residuals를 이용하여 만들어진 네트워크이다. Mobile- NetV2는 두 종류의 block이 있는데 첫 번째는 stride가 1인 residual block이고, 두 번째는 downsizing을 위한 stride가 2인 block이다. 그림 4에서는 제안된 시스템에 사용된 MobileNetV2의 전체적인 구조를 도식화하였다. 이 모델의 ImageNet에 대한 테스트의 결과를 보면 params, MAdds 및 영상속도는 획기적으로 줄이면서, 기존의 MobileNetV1, ShuffleNet 대비 경쟁력 있는 성능을 보여준다. 또한, 세포의 관심 영역의 검출 및 분리에서도 비교적 적은 파라미터로 우수한 성능을 보인다⁽²⁶⁾.

그림. 4. MobileNetV2 모델의 구조

Fig. 4. Structure of MobileNetV2 model

3. 실험 결과

세포배양을 통해 수집한 세포 영상 데이터는 현미경 40배율, 노출 시간 8.55ms로 촬영된 자궁경부암 세포, 피부 섬유아세포로 매일 20장씩 30일간 촬영하여 각각 600장씩 얻었다. 영상 선별 과정을 통해 플라스크에 붙지 않아 세포 특성이 명확하지 않은 영상은 제외하고, 자궁경부암 세포 253장 피부 섬유아세포 228장의 영상을 학습 및 테스트 영상 데이터로 선정하였다. 자궁경부암 세포와 피부 섬유아세포는 OpenCV를 활용하여 각각 전처리 후, contour로 세포군집 단위의 영상을 추출하여 자궁경부암 세포 21,056장, 피부 섬유아세포 20,824장을 얻었다. 영상 전처리를 통해 추출된 영상 데이터는 그림 2(d)와 같다. 군집 단위로 얻어진 총 41,880장의 영상을 학습 데이터로 사용하였으며, 그중 4,188장의 영상은 학습모델의 성능검증에 사용되었다. 자궁경부암 세포와 피부 섬유아세포는 배양 조건이 서로 다르므로, 적절한 비율로 동시에 배양되는 영상의 획득은 불가능하다. 대신, 자궁경부암 세포 영상과 피부 섬유아세포 영상을 각 2장씩 격자형으로 결합하여 1장의 테스트 영상으로 생성하였다. 생성된 80장의 영상은 장당 2,720 × 1,960 [pixel]의 크기와 약 1.5 [Mbyte]의 용량을 가지며, 표 1과 같이 테스트 데이터로 사용하였다. 자궁경부암 세포와 피부 섬유아세포를 각각 라벨링 한 후, 추출된 입력 영상의 크기는 300 × 300 [pixel]로 조정하였다. 학습 중 파라미터는 Batch_size = 5, Epoch = 80, Activation function = softmax, Optimizer = Adam, Loss = categorical_crossentropy의 파라미터값으로 신경망을 학습하였을 때, 가장 높은 정확도를 보였으므로 그 값을 유지하고 이후 실험을 진행하였다.

자궁경부암 세포와 피부 섬유아세포를 위의 방식으로 결합한 후 테스트용 영상을 사용하였을 때, 테스트 결과 영상은 그림 5와 같다. 그림 5의 좌측 상단부와 우측 하단부는 CCD-986SK, 우측 상단부와 좌측 하단부는 HeLa 세포의 획득된 영상을 무작위적으로 결합 후 테스트를 진행하였다. 테스트의 결과는 정량적인 정확도와 분류된 세포의 영상으로 검증할 수 있다. 그림 5와 같이 청색 사각형은 CCD-986SK, 적색 사각형은 HeLa 세포로 분류된 결과를 의미하여, 표 2와 같이 정량화된 정확도와의 비교분석이 가능하다.

학습 중 validation과 training 데이터의 분류 정확도를 측정한 결과, 97.01 %와 99.83 %의 정확도를 보였으며, 학습되지 않은 세포 영상을 무작위적으로 결합한 테스트 영상을 입력하였을 때, 98.87 % 이상의 정확도를 보였다. 추가적인 loss 값은 표 2와 같이 요약할 수 있다.

그림. 5. 세포 분류 결과(적색: HeLa, 청색 : CCD-986SK)

Fig. 5. Representative image of automatic cell -classification(Red : HeLa, Blue : CCD-986SK)

4. 결 론

딥러닝은 서로 다른 입력 데이터에 대해 스스로 특징을 파악하는 과정을 수행하므로, 같은 알고리즘을 다양한 입력 데이터에 활용할 수 있다. 하지만, 사용자의 목적에 따라 학습 알고리즘 실행 전 적절한 영상 전처리 과정이 필요한 예도 있다. 예를 들어, 생물학적 특성을 연구하기 위해 얻어지는 단일 또는 복수의 특정 세포 영상의 경우, 관심 영역 이외의 불특정한 물질이 세포 배양액 내에 존재할 수 있다. 플라스크 바닥에 자라는 세포는 배지 용액에 부유하는 세포 또는 물질보다 시각적 및 광학적 특징이 뚜렷하지만, 배양 조건에 따라 부유물을 제거해야 하는 영상 처리가 필요한 경우가 발생한다. 따라서, 학습의 정확도를 높이기 위한 최적 조건을 수립하기 위해, 입력 영상의 전처리 과정은 필수적이며, 대부분 다음과 같은 순서로 진행된다. 입력 영상을 이진 영상으로 변환 후, 세포를 포함한 부유물은 제거한다. 또한, 전처리 과정에서 contour가 부분적으로 지정될 수 있도록 세포군집 단위의 객체 간 거리를 늘려 딥러닝 모델이 각 세포의 특징을 더 잘 학습할 수 있도록 하였다. 자궁경부암 세포와 피부 섬유아세포는 세포의 종류에 독립적인 전처리 알고리즘을 사용하여, 주관적 견해를 배제하고 일정한 결과물을 도출하였다. 직관적으로 각각의 세포가 갖는 광학적 특성은 형태학적인 다양성에 기인하며, 육안으로 차이를 확인할 수 있다. 또한, 세포의 종류에 따라 현미경 광원에 반응하는 투과 또는 반사율이 상이한 파라미터가 사용될 수 있으며, 분류 정확도를 높이기 위해 관심 영역을 제외한 나머지 부분을 제거한 후 학습한 결과 만족할만한 결과를 도출할 수 있었다.

본 연구는 영상 처리 라이브러리인 OpenCV를 사용하여 배경을 제외한 관심 세포군집의 객체 영상을 추출하고, 영상 분류에 성능이 우수한 CNN을 통해 학습하여 세포 분류 모델을 개발하였다. 그 결과 98% 이상의 높은 분류 정확도를 보였으며, 암세포 판독에 사용되는 자동화 세포 분류 보조 시스템의 개발에 기여가 가능할 것으로 판단된다. 또한, 영상기반 CNN을 이용하여, 특정 질병의 진단 및 치료법 최적화와 정량적 근거를 제공할 수 있을 것으로 기대한다. 후속 연구로는 자궁경부암 세포와 피부 섬유아세포뿐만 아니라 유방암, 폐암, 간암 등과 같이 발병률이 높고 치사율이 높은 질병 세포에 대한 특징을 추출하여, 특정 암세포에 대한 선별 정확성을 확대하는 추가연구를 진행할 예정이다.