2.1 실시간 탐지를 위한 객체 탐지

객체 탐지 알고리즘은 Detector를 중심으로 1-Stage Detector와 2-Stage Detector로 구별할 수 있다⁽²⁾. 1-Stage Detector는 Localization과 Classification이 동시에 이루어지는 방식으로 후보 영역에 대한 탐색과 분류가 동시에 이루어지는 것을 의미한다. 이와 반대로 2-Stage Detector는 Region Proposal과 Classification이 순차적으로 이루어지는 방식으로 후보 영역을 찾은 후 후보 영역에 대한 분류가 이루어지는 것을 의미한다. 이러한 특징을 가지기 때문에 1-Stage detector는 2-Stage Detector에 비해 속도는 빠르지만 정확도가 낮다는 특징을 가진다. YOLO 알고리즘은 CNN 기반의 객체 탐지 알고리즘으로 최초의 1-Stage Detector라는 의의를 가진다. YOLO 알고리즘은 기존의 알고리즘 방식에서 사용하는 Sliding Window 방식이나 Region Proposal의 방식을 사용하지 않기 때문에 간단하고 빠른 속도를 보인다. 그림 1은 YOLOv3의 모델 구조를 나타낸다.

그림. 1. YOLOv3의 모델 구조

Fig. 1. Model structure of YOLOv3

YOLOv3은 작은 크기의 다양한 객체를 탐지하기 위해 Cell을 이용하여 Bounding Box를 생성하던 기존의 방식과는 달리 Anchor Box를 이용하여 Bounding Box를 생성한다. Anchor Box를 생성할 때는 IoU를 기준으로 하는 K-Means Clustering을 이용한다. IoU를 기준으로 하는 Clustering은 학습 데이터에 있는 Ground Truth에 대한 평균을 계산하기 때문에 정확한 Anchor Boxes를 추출할 수 있어 탐지 성능을 높인다. 추출한 Bounding Box를 사용하여 Bounding Box의 Class를 예측할 때는 Binary Cross Entropy Loss를 사용한다. 또한 이전의 Object Detection을 위한 모델에서는 Softmax Layer를 사용했지만, YOLOv3에서는 각 클래스별로 Sigmoid Layer를 사용한다. 이 방식을 사용할 경우 하나의 이미지 내에 두 개 이상의 Label이 존재하는 경우 각각의 개체를 구별하게 된다.

2.2 정확도 향상을 위한 Denoising

노이즈는 모든 전자 신호뿐만 아니라 이미지에서도 나타난다. 이미지에서 노이즈는 불규칙한 점들이 나타나 이미지의 화질을 저하시키는 현상이다. 이로 인해 이미지의 선명도가 떨어진다. 이미지의 노이즈를 제거는 깨끗한 신호를 데이터로 받을 수 있고 사진의 선명도를 올릴 수 있다. Gaussian Noise는 이미지에서 발생할 수 있는 다양한 노이즈의 종류 중 하나이다. 이는 이미지에 나타나는 가장 일반적인 노이즈로 큰 규칙이 없이 무작위로 발생하는 특징을 가지고 있다. 이러한 노이즈 문제를 해결하기 위해 Convolution을 통해 노이즈를 제거할 수 있다⁽³⁾. Convolution을 통한 노이즈 제거 방식은 각 픽셀들을 순회하면서 Convolution을 진행하여 픽셀을 결정하고 이를 통해 노이즈를 제거하는 방식이다. Convolution을 사용하는 필터는 대표적으로 Median Filter, Average Filter, Gaussian Filter, Bilateral Filter 4가지가 있다.

앞서 언급한 4가지 Convolution 필터를 사용해 노이즈를 제거하는 경우에는 인접한 픽셀들끼리만 비교를 한다는 단점이 있다. Non-Local Means Denoising 방식은 이러한 단점을 보완한다. 이는 여러 똑같은 대량의 이미지의 평균 프레임을 구하여 픽셀을 대체하는 방식이다⁽⁴⁾. 한 장의 이미지의 경우 3x3, 5x5 등의 기준으로 윈도우 영역을 정하고 이와 유사한 윈도우 영역을 찾아 이들의 평균을 구하여 픽셀을 대체한다. Non-Local Means Denoising 방식은 위의 필터 방식에 비해 성능이 우수하다.

Non-Local Means Denoising 방식은 4가지 측면에서 이미지 처리한다. 첫 번째로 회색 이미지에서 노이즈를 제거하는 방법이다. 두 번째로 컬러 이미지에 노이즈를 제거하는 방법이다. 세 번째로 여러 개의 다수 회색 이미지를 한 번에 적용하여 노이즈를 제거하는 방법이다. 마지막으로 다수의 컬러 이미지에서 노이즈를 제거하는 방법이 있다. 이에 따라 이미지 수, 컬러에 따라 다양하게 적용하여 이미지 노이즈에 대해 처리 작업을 진행할 수 있다. 식 (1)은 Non-Local Means Denoising을 위한 수식을 나타낸다.

식 (1)에서 N은 유사한 픽셀들의 개수를 의미하며, De는 노이즈 픽셀과 유사한 픽셀들간의 유클리디안 거리이고 Ip는 유사 픽셀들의 강도를 의미한다. Denoising을 위한 윈도우 영역을 기준으로 유사한 픽셀을 찾는다. 유사 픽셀과 바꾸려는 픽셀의 유클리드 거리와 유사 픽셀의 곱을 한 후 모든 유사 픽셀에 적용하여 합한다. 이후 유사 픽셀의 개수만큼 나누어 평균을 구한 후 픽셀을 대체하여 노이즈를 제거한다.

3.1 데이터 수집 및 Non-Local Means Denoising을 이용한 데이터 전처리

본 연구에서 사용하는 데이터 셋은 부패한 과일 탐지를 위해 정상 과일 데이터와 부패한 과일 데이터를 구축한다⁽⁵⁾. 정상 과일 및 부패된 과일 데이터는 Web Crawling 방법을 사용하여 데이터 셋을 수집한다. Web Crawling은 자동화되어 있는 방법에서 웹에 있는 많은 데이터를 탐지하고 수집할 수 있다. 정상 과일 이미지 데이터는 Crawling을 통하여 약 250장, 부패된 과일 이미지 데이터는 약 100장으로 총 350장 정도의 데이터셋으로 구성한다. 본 논문에서 사용하는 데이터셋은 카메라로 촬영된 이미지이다. 카메라로 촬영된 이미지 데이터들은 많은 시간에 노출되거나 카메라 셔터 스피드, 이미지의 압축, 확대 등 많은 원인에 의해 노이즈가 발생한다. 다양한 노이즈 중 가우시안 노이즈는 흔히 발생될 수 있는 노이즈로 이미지에서 점과 같은 노이즈가 발생하여 이미지에 대해 부자연스러움을 만든다. 이 과정에서 이미지 노이즈는 데이터의 질을 떨어뜨리는 뿐만 아니라 알고리즘 모델의 성능, 정확도에 영향을 미친다⁽⁶⁾. 이러한 노이즈에 대한 문제를 해결하기 위하여 Non-Local Means Denoising 방법을 사용한다. Non-Local Means Denoising은 이미지 내 패치에서 비슷한 부분끼리 평균을 내어 값을 도출하고 이 값으로 픽셀들을 대체하는 방법이다. 그림 3은 노이즈가 발생하는 이미지를 Non-Local Means Denoising 방법을 사용하여 전처리한 결과를 나타낸다.

그림. 3. 노이즈가 발생하는 이미지를 Non-Local Means Denoising을 사용한 전처리 결과

Fig. 3. Pre-processing results using Non-Local Means Denoising for noisy images

그림 3에서 본래 이미지 데이터는 전체적으로 가우시안 노이즈가 퍼져있어 점을 찍어 놓는 것과 같이 이미지가 훼손되어있지만 Non-Local Means Denoising 방법을 사용하여 노이즈를 제거한 결과 이미지에서 귤의 꼭지와 같이 디테일한 부분이 미세하게 Blur 처리가 되었지만 전체적으로 노이즈는 제거되었음을 알 수 있다.

3.2 Rotation과 Flip 기반 데이터 증강

전처리 과정을 거친 이미지는 객체 탐지 모델에 학습시키기에는 적은 데이터로 판단되어 이를 학습하는 경우 이미지 데이터의 많은 손실이 발생하는 문제, 객체 탐지에 대한 정확도 저하와 정상 데이터와 비정상 데이터를 구분하지 못하는 오탐률이 증가하는 문제가 발생한다. 이러한 문제를 해결하기 위해 영상 처리를 위한 라이브러리인 OpenCV를 이용하여 데이터 증강 방법을 사용한다.

그림. 4. 이미지의 중심점을 기준으로 기존 이미지 좌표를 회전 후 새로운 이미지 좌표를 출력하는 과정

Fig. 4. Pre-processing results using Non-Local Means Denoising for noisy images

OpenCV는 물체 검출, 물체 인식, 물체 분류 등 영상 처리 과정에서 많이 쓰이는 오픈 소스로 즉각적인 처리로 빠르게 가능하다는 장점을 가지고 있다. 본 연구에서는 이미지 데이터를 증강하기 위하여 OpenCV를 이용한 다양한 방법 중 Rotation을 고려하여 이미지를 회전시키는 방법과 Horizontal, Vertical Flip을 고려하여 이미지 반전을 사용하는 방법을 사용한다. 먼저 Rotation을 고려하여 데이터 증강을 수행하는 방법을 사용한다⁽⁷⁾. 그림 4는 이미지의 중심점을 기준으로 기존 이미지 좌표를 회전 후 새로운 이미지 좌표를 출력을 나타낸다. 그림 4에서 이미지의 중심은 Xc, Yc이고 회전하려고 하는 각도는 Θ, 기존 이미지의 좌표를 x, y이다. 이미지의 너비와 높이를 각각 H와 W이라고 할 때, 이미지 중심의 좌표와 회전하는 각도만큼 Sin과 Cos을 적용하여 구한 값을 더해 출력 이미지 좌표 Xout, Yout를 각각 도출한다. 식(2)와 식(3)은 기존 이미지 회전 후 새로운 출력 이미지의 x 좌표인 Xout, y 좌표인 Yout 각각 구하는 수식을 나타낸다.

다른 증강하는 방법으로 Horizontal, Vertical Flip을 하여 이미지 증강하는 방법을 사용한다⁽⁸⁾. 그림 5는 이미지 증강하기 위해 이미지 좌표를 Horizontal 또는 Vertical Flip을 진행하여 새로운 이미지 좌표 출력 나타낸다.

그림. 5. 기존 이미지 좌표를 반전 후 새로운 이미지 좌표 Xout, Yout

Fig. 5. Invert existing image coordinates and then new image coordinates Xout, Yout

그림 5에서 기존 이미지 좌표를 x, y이고 이미지를 수평하여 새로운 좌표는 Xout, Yout이다. 먼저 Horizontal Flip을 고려한 새로운 이미지 좌표는 Y좌표는 일정하며, X좌표는 이미지 높이에서 기존 이미지의 X좌표와 1을 빼서 반전시킨다. 여기서 1은 이미지 시작 좌표가 (0, 0)일 때를 의미한다. 다음으로 Vertical Flip을 고려한 새로운 이미지 좌표는 X 좌표가 일정하며, Y 좌표는 이미지 너비에서 기존 이미지의 y 좌표와 1을 빼서 이미지를 반전시킨다. 식(4)와 식(5)는 기존 이미지에서 각각 수평, 수직 반전 후 새로운 출력 이미지의 좌표 Xout, Yout를 구하는 수식을 나타낸다.

최종적으로 이미지 증강 방법을 통해 기존 정상 과일 이미지 데이터는 약 250개에서 약 750개로 증가하고 부패된 과일 이미지 데이터는 약 100개에서 약 300개로 각각 3배씩 증가함을 보인다. 최종적으로 정상적인 과일과 부패된 과일 이미지 데이터를 합하여 약 1050장의 이미지 데이터셋으로 구성한다.

3.3 YOLO를 이용한 객체 특징 탐색

본 논문에서 부패한 과일을 탐색하기 위해 Non-Local Means Deosing을 이용한 YOLO를 기반으로 객체 특징을 탐지한다. YOLOv3 모델을 사용하기 위해 Python3, 딥러닝을 위한 라이브러리인 Keras, 딥러닝을 위한 오픈 소스 프레임워크인 Tensorflow을 사용하며 3개의 FPN(Feature Pyramid Network) 및 Backbone Network로 Darknet-53으로 구현한 모델을 이용한다. Darknet-53은 이전 모델에 비해서 Residual Block을 추가한 모델로 Layer를 더 많이 쌓도록 하여 Darknet-19의 총 19개의 Layer에 비해 약 3배 증가한 53개의 Layer를 지닌다⁽⁹⁾. Residual Block으로 인해 많은 Layer를 지닐 수 있어 이전 보다 높은 학습 정확도를 가지고 3개의 Scale로 나눠 학습하여 더 작은 객체도 탐지가 가능하다. YOLOv3를 사용한 객체 특징 탐색 과정으로 크게 객체 분류와 객체 탐색으로 나눈다. 그림 6은 YOLOv3를 이용한 객체 특징 탐색 과정을 나타낸다.

그림. 6. YOLOv3를 이용한 객체 특징 탐색 과정

Fig. 6. Process for detecting object features using YOLOv3

그림 6에서 먼저 전처리가 된 이미지를 모델에 Input Image로 넣으면 모델에서 5개의 Convolution Block을 통해 학습되며 특징맵을 출력한다. 여기서 처음, 중간, 끝 특징맵을 FPN(Feature Pyramid Network)에 사용한다. FPN 과정에서 Convolution Block과 크기를 조정해주는 Unsample Block과 합성하여 3개의 다른 Scale(small, medium, large) Feature map을 Head 부분에 전달한다⁽¹⁰⁾. Head에서 Object detection을 하기 위해 물체가 있을 것 같은 위치에 Box를 생성한다. 많은 Box 중 최종적으로 물체당 1개의 Bounding Box(bbox)를 계산하기 위해 Grid Cell의 정보와 해당 물체가 있을 확률을 점수로 표현한 Objectness Score, Anchor Box의 정보를 이용한다. 이를 통해 Head에서는 Bounding Box(bbox)들과 특징맵을 통해 최종적으로 객체 탐지를 진행한다.