1.1 연구개요

그림. 1. 일본으로의 한국 토마토 수출 현황

Fig. 1. Korean Tomato Export Status to Japan

작물 병충해는 전염병이나 해충에 의해 발생하며 전 세계적으로 인간의 식량에 대해 피해를 주고 있다. 그 예로 주요작물인 밀, 벼, 옥수수, 감자, 콩에 대해서 병충해에 의한 피해의 규모를 조사한 연구가 있다⁽¹⁾. 2010년에서 2014년 사이에 전 세계적으로 조사한 농부 137명의 1인당 주요작물 생산량에 대해서 해충과 병원균에 의해 받은 피해량은 밀 21.5%, 쌀 30.0%, 옥수수 22.5%, 감자 17.2% 그리고 콩은 21.4%로 나타났다. 또한, 2015년 한국에서의 황화 잎 말림 바이러스로 인한 토마토 작물 피해는 총 24,439톤으로 2015년 토마토 생산량의 약 5% 정도이다⁽²⁾⁽³⁾. 이처럼 병충해는 작물을 잘 자라지 못하게 하거나 이로 인한 생산량 감소로 농가에 경제적 손실을 주기도 한다. 또한, 작물을 키우기 위한 시설이 발달하고 면적 당 생산량을 위해 작물 간 거리가 좁아진 상황에서는 전염성이 있는 병해충의 피해를 받기 쉽다.

병충해로부터 작물을 지키고 생산량을 유지하려면 미리 예방하는 것이 중요하다. 병충해 방제를 하는 방법에는 농약과 살충제를 작물에 뿌려 피해를 예방하는 방법과 해당 식물을 제거하거나 불에 태우는 방법이 있다. 병충해 예방법과 병충해 방제법 모두 어떤 병충해가 발생했느냐에 따라 대처법이 달라진다. 농약도 병충해에 따라 사용하는 종류가 다르며 어떤 병충해는 단순 제거가 아닌 불에 태워야 하는 병충해도 있다. 하지만 잘 알지 못하고 약을 뿌리거나 방제를 했을 때 농사에 이로운 동물까지 죽일 수 있고 농약의 과도한 사용으로 인한 토양 오염으로 이어질 수 있다. 따라서 발생한 병충해의 종류를 알고 대처해야 하는데 이는 전문가가 아닌 농부에게는 어려운 일이다.

본 논문에서는 전문가의 병충해 판단 이전에 일차적으로 농부에게 빠른 방제를 할 수 있게 해주는 병충해 분류시스템을 제안하고 다양한 이미지 증대 기법을 통해 분류 성능을 개선한 방법을 제안한다. 작물에 병충해가 발생하면 열매뿐만 아니라 잎에도 병충해의 특징이 나타난다. 이런 특징을 이용해 분류모델을 학습시켜 병충해에 걸린 작물의 잎 이미지를 분류할 수 있도록 한다. 병충해를 분류할 작물은 대표적인 시설작물인 토마토로 설정하였다. 토마토는 한국에서도 토마토 재배 시설의 규모가 커지면서 2018년 10아르 당 생산량이 6,415kg을 달성하였다⁽³⁾. 또한, 그림 1과 같이 일본에 수출량이 상승하면서 2018년 4,837톤을 수출하는 모습을 보여주었다⁽⁴⁾. 본 논문에서는 정상인 토마토 잎과 병충해에 걸린 토마토 잎 이미지를 이용해 딥러닝으로 병충해를 분류하는 연구를 진행한다.

1.2 관련 연구

작물의 잎으로 병충해를 판단하고자 하는 연구는 꾸준히 있었다. 토마토 잎만 떼와 촬영한 실험실 데이터셋인 Plant Village를 이용해 병충해를 분류한 연구가 있다⁽⁵⁾⁽⁶⁾. 병충해 분류 네트워크는 ImageNet 데이터셋을 통해 사전훈련 된 AlexNet과 VGG16을 사용해서 병충해를 학습하였다⁽⁷⁾⁽⁸⁾. 13,262장의 데이터로 학습하였으며 그 결과 AlexNet은 97.49%, VGG16는 97.29%의 정확도를 달성하였다. Plant Village 데이터셋에서 토마토를 포함한 14종의 작물의 26종 병충해를 분류한 연구도 있다⁽⁹⁾. 이 연구는 분류 네트워크로 AlexNet과 GoogLeNet을 사용했으며 학습 데이터와 테스트 데이터의 비율 조정 및 전이 학습 사용 여부 같은 요소들을 조정하며 병충해를 분류하였다⁽¹⁰⁾. 데이터는 한 장의 데이터에 대해서 Color, Gray scale, Segmented 이미지를 구해 각각 학습시켰다. 그 결과 이미지 형태는 Color 이미지, 학습 이미지 비율은 학습 80%, 테스트 20%로 설정하고 미리 학습된 가중치로 전이 학습을 했던 분류모델이 99.35%의 정확도로 가장 높은 성능을 보여주었다. 카사바 병충해 탐지를 목적으로 하여 진행한 연구도 있다⁽¹¹⁾. 카사바 상태를 총 6종으로 구분하였고 종류는 정상과 병해 3종, 충해 2종으로 구성하였다. 데이터셋은 카사바 잎이 촬영된 원본 이미지와 그 이미지에서 잎 부분만 분할해 증대한 리플렛 이미지로 구성되어 있으며 원본 데이터셋은 2,756장, 리플렛 이미지는 클래스 당 2,500장으로 생성해 12,500장으로 학습하였다. 학습 데이터와 테스트 데이터의 비율을 다르게 하여 학습시켰으며 학습시킨 모델은 K-Nearest Neighbor(KNN), Support Vector Machine(SVM) 그리고 Inception 세 가지를 사용하였다. SVM으로 학습시킨 모델에서 정상, 갈색 잎 반점, 붉은 진드기, 카사바 모자이크 바이러스가 각각 정확도 90%, 98%, 96%, 96%로 높게 나왔으며 Inception 모델에서는 녹색 진드기, 갈색 줄무늬병이 95%, 98%로 높은 성능을 보여주었다.

본 논문에서는 딥러닝 구조 중에서도 이미지 처리에 강점을 보이는 Convolutional Neural Network(CNN)를 사용하여 토마토 병충해를 학습하고 분류하는 토마토 병충해 분류모델을 연구하였다. 또한, 데이터가 적은 클래스를 보완하기 위해 이미지 증대 기법을 통해 이미지를 증대해 성능을 증가시키고자 하였다.

2.1 데이터셋

딥러닝은 네트워크 속의 가중치를 변화시키며 스스로 특징을 학습한다. 학습 데이터를 통해 학습할 특징을 추출하게 되며 이로 인해 좋은 성능의 딥러닝 모델을 학습시키려면 많은 양의 학습 데이터가 필수적이다. 토마토 병충해를 분류할 때도 다양한 클래스의 병충해를 학습시킨다면 클래스마다 많은 양의 데이터가 필요하다. 하지만 병충해는 발견 즉시 방제하거나 예방을 철저히 하므로 확보가 쉽지 않고 병충해 발생을 위한 환경 조성을 하지 않으면 원하는 데이터를 쉽게 얻을 수 없으므로 학습을 위한 병충해 데이터셋을 구축하는 것은 상당한 시간과 노력이 필요하다. 그래서 학습을 위한 데이터셋으로 한국 정보화 진흥원이 주관하는 AI Open Innovation Hub(AI Hub)에서 토마토 농업 데이터를 내려받아 사용하였다⁽¹²⁾. AI Hub의 토마토 데이터베이스는 토마토 잎을 촬영한 데이터로 이루어져 있다. 정상을 포함하여 다양한 병충해가 있었지만, 병충해 클래스별로 가지고 있는 데이터 개수가 달라 일정 개수 이상의 병충해를 선별해 학습에 사용하였다. 선별한 병충해 클래스는 정상을 포함해 총 9종이며 궤양병(Clavibacter michiganensis), 나방류 애벌레 (Leaf bite), 잎 곰팡이병(Leaf mold), 점무늬병(Leaf spot), 잎굴 파리(Liriomoyza trifolii), 정상 (Normal), 흰가루병(Powdery mildew), 토마토 퇴록 바이러스(Tomato chlorosis virus, ToCV), 황화 잎 말림 바이러스(Yellow leaf curl virus)로 구성되어 있다. 데이터셋의 구성은 토마토 잎을 채취해 실험실 환경에서 촬영한 실험실 이미지와 농가에서 줄기에 잎이 붙은 채로 촬영한 농가 이미지가 있다. 농가 데이터는 실제 농가에서 촬영한 이미지라 실험실 데이터보다 조명이 다양하고 배경이 복잡하다. 학습에는 따로 분리하지 않고 사용하였다.

딥러닝 모델을 학습시킨 후에는 모델 성능을 평가하는 작업이 필요하다. 학습에 사용되지 않은 데이터를 학습된 딥러닝 모델로 분류하게 하여 성능을 평가하게 하였다. 데이터셋의 80%만 학습 데이터로 사용하였고 성능 평가를 위해 20%의 데이터는 테스트 데이터로 분리하였다. 자세한 데이터의 구성은 표 1에 정리해놓았다.

2.2 이미지 증대

딥러닝의 학습 성능을 높이는 가장 효과적인 방법은 데이터를 증가시키는 것이다. 그래서 이미지 증대 기법을 사용하여 학습 데이터를 증대하고 학습에 사용하였다. 이미지 증대는 이미지에 기울임, 회전, 반전과 같은 전처리를 적용하여 변형하고 다른 특징을 추출할 수 있게 한다.

본 논문에서는 구글의 AutoAugment 알고리즘과 기본 증대정책으로 Random Crop과 Random Horizontal Flip을 구성해 병충해 데이터셋을 증대했다⁽¹³⁾. Random Crop은 이미지 면적의 5~100% 비율의 Bounding Box를 무작위 위치에 생성하고 그 부분을 잘라내어 잘라낸 부분을 원본 이미지 크기로 조정해 증대하는 기법이다. Random Horizontal Flip은 50%의 확률로 Y축 기준으로 이미지를 뒤집어 이미지를 증대한다.

AutoAugment의 증대 기법은 Shear X/Y, Translate X/Y, Rotate, Auto Contrast, Invert, Equalize, Posterize, Contrast, Color, Brightness, Sharpness, Cutout, Sample pairing으로 구성되어 있다. AutoAugment에서는 무작위의 두 증대 기법이 한 쌍이 되어 하나의 증대정책을 만들고 각 증대정책의 적용 강도와 적용 확률을 설정하여 이미지를 증대한다. 하나의 증대정책으로 증대를 하더라도 적용 확률에 따라 다른 이미지가 될 수 있어 다양한 이미지를 생성할 수 있다. AutoAugment의 이미지 증대 원리는 다음과 같다. Recurrent Neural Network(RNN)을 사용하여 증대정책을 결정하는 조정기(Controller)로 설정한다. 데이터에 증대정책 Strategy(S)를 적용하는 자식 네트워크를 만들어 데이터를 증대하고 증대에 대한 성능 R을 얻어 조정기에 갱신한다. 위 과정을 반복하면서 데이터셋에 맞는 최적의 증대정책을 찾아낼 때까지 학습 후 증대정책을 결정하게 된다. 증대정책은 총 25개이며 하나의 증대정책 당 하나의 이미지가 생성되어 결과적으로 이미지가 25배 증대된다. 그림 2에 AutoAugment의 구조를 나타내었다.

그림. 2. AutoAugment 구조도

Fig. 2. Framework of AutoAugment

AutoAugment에서는 세 가지 학습된 증대정책을 제공한다. 종류는 Cifar10, ImageNet, SVHN이며 위 데이터셋으로 증대정책을 찾아냈다. Cifar10은 32$\times$32 크기의 비행기, 차량, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭 10종의 클래스가 각각 6,000장씩 총 60,000장으로 이루어져 있는 데이터셋이다⁽¹⁴⁾. ImageNet은 140만장이 넘는 거대한 데이터셋 중 하나이다. ImageNet 데이터셋을 통해 ImageNet Large Scale Visual Recognition Challenge(ILSVRC)를 진행하고 있다⁽¹⁵⁾. SVHN은 The Street View House Number의 약어로서 Google Street View에서 수집된 숫자 데이터셋이며 약 10만장의 숫자 데이터로 구성되어 있다⁽¹⁶⁾.

본 논문에서는 Cifar10 증대정책을 사용하여 데이터를 증대하였다. Cifar10은 병충해 데이터셋과 클래스 개수가 비슷해 선택하였으며 AutoAugment에서 사용된 증대 기법중에서 CutOut과 Sample Pairing을 제외한 모든 기법이 사용되었고, 주로 Equalize와 Contrast등의 기법이 증대정책을 구성하였다. Cifar10으로 증대한 이미지 예시는 그림 3에 나타내었다. 이미지 증대는 학습 이미지 13,650장을 증대하여 341,250장을 학습에 사용하였다.

2.3 Inception V3

병충해 데이터를 학습시키기 위해서 컨볼루션 연산을 하는 CNN을 사용하였다. CNN은 이미지와 같은 2차원 데이터에 일정한 크기의 컨볼루션 필터를 적용하여 특징을 추출하고 다음 층으로 가장 큰 값이나 평균 등을 가져가는 풀링 연산을 하여 네트워크를 학습시키는 방식이다. MNIST라는 숫자 손글씨 데이터를 학습시키는 LeNet이 발표된 이후 다양한 연구가 진행되어 현재는 많은 변형 구조가 연구되었다⁽¹⁷⁾.

그림. 3. Cifar10으로 증대한 병충해 데이터

Fig. 3. Disease data augmented with Cifar10

CNN의 연구는 정확도를 높이기 위해 층을 깊게 쌓는 방향으로 진행되었지만, 학습 데이터에만 지나치게 학습하여 다른 데이터에 대해 성능이 떨어지는 과적합과 오차를 갱신할 기울기가 소실되는 기울기 소실 현상이 발생하였다. 본 논문에서는 Inception module을 사용해 네트워크층을 깊게 하면서 과적합과 기울기 소실 현상을 해결한 Inception V3를 사용하였다⁽¹⁸⁾. Inception V3의 구조는 Network In Network(NIN)의 구조를 활용해 Inception 네트워크 안에 작은 네트워크인 Inception module을 넣은 형태이다⁽¹⁹⁾. Inception module의 입력과 출력 사이에 컨볼루션 연산과 풀링 연산을 병렬로 연결했고 출력단에서 계산된 값들을 합쳐 다음 층으로 전달하였다. 또한, 7$\times$7과 같은 연산량이 큰 필터는 3$\times$3 필터를 여러 번 사용해 대체하고 n$\times$n 필터를 n$\times$1, 1$\times$n으로 바꿔 n의 값이 커질수록 연산량이 감소할 수 있게 하였다. 컨볼루션 연산을 통해 늘어난 채널의 수는 1$\times$1 컨볼루션을 사용하여 채널의 수를 줄였다. Inception V3에서는 Inception module의 변형으로 Inception module A에서 Inception module E까지 5개를 사용했으며 각 Inception module마다 다른 크기의 컨볼루션 필터를 사용하였다. 또한, 풀링 연산도 각 module마다 특징 맵의 평균값을 취하는 평균 풀링과 최대값을 취하는 최대 풀링을 다르게 사용하였다. 그리고 네트워크 사이에 미니배치의 평균과 분산 값을 정규화하는 배치 정규화 기법도 사용하여 과적합과 기울기 소실을 방지하였다. Inception module의 구조는 그림 4에 나타내었다. Inception V3의 가중치를 무작위로 초기화하고 병충해 데이터셋으로 분류 모델을 학습시켰다.

그림. 4. Inception module

Fig. 4. Inception module

2.4 이미지 선별

AutoAugment의 Cifar10 증대정책으로 증대된 이미지를 선별해서 데이터셋을 구성하고 학습하였다. Cifar10 증대정책에 따라 증대된 이미지는 병충해 데이터셋과 관련이 없는 동물이나 사물 데이터셋의 증대정책으로 증대되었기 때문에 실제 병충해의 특성을 반영해 증대되지 않는다. 그래서 학습 시 병충해 특징 추출을 방해해 학습 모델의 성능에 악영향을 미칠 수 있다. 이를 방지하기 위해 증대된 이미지를 선별해 악영향을 미칠 수 있는 데이터를 제외하고자 했다. 기본 증대 기법을 통해 학습시킨 Inception V3에 Cifar10으로 증대된 이미지들을 입력하고 Softmax 함수를 통해 클래스에 따른 예측 확률을 얻었다. 임곗값을 0.7로 설정해 얻은 예측 확률이 0.7 이상인 이미지만 데이터셋에 추가하고 학습해 다른 분류 모델과 성능을 비교하였다. 그림 5에 모델 학습 과정을 나타내었다.

그림. 5. 병충해 분류모델 학습 과정

Fig. 5. Training process of plant disease classification model

2.5 성능 평가

병충해 분류모델을 학습시킨 데이터셋은 클래스별 데이터가 다른 불균형 데이터셋이므로 단순히 맞은 개수를 전체 데이터 수로 나누는 정확도로는 모델의 성능을 잘 나타내지 못한다고 판단하였다. 그래서 성능을 계산할 때 혼동 행렬(Confusion matrix)을 사용하였다. 혼동 행렬은 True Positive, True Negative, False Positive, False Negative로 구성되어 있다. 실제 정답인 데이터 중에서 분류모델이 정답이라 예측한 비율인 Recall과 분류모델이 정답이라 예측한 데이터 중에서 실제 정답의 비율인 Precision을 클래스별로 구했다. 그리고 클래스들의 Recall과 Precision의 평균을 모델의 Recall과 Precision으로 정했다. 또한, Recall과 Precision의 조화평균으로 구해지는 F1 Score를 병충해 분류모델의 전체적인 분류 성능지표로 설정하였다. Recall, Precision과 F1 Score를 구하는 공식은 아래와 같다.