서기성
(Kisung Seo)
†iD
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Deep learning, Convolutional neural network, Appropriate Scaled Model, Surface Defects Detection
1. 서 론
산업용 제품의 결함 검사는 다음과 같은 특성을 포함한다. 첫째, 데이터의 수가 적거나 질이 떨어진다. 둘째, 데이터의 동일성이 떨어진다. 셋째, 인식
성능과 함께 적은 메모리 사용 및 처리 시간을 요구한다.
구체적으로, 결함 데이터의 획득은 생산 과정에서 결함 발생율이 낮고 결함이 발견된 제품을 재활용 또는 폐기하므로 결함 이미지의 획득이 어렵다. 수집된
데이터라도 같은 조건과 같은 시기에 얻어진 것이 아니라, 서로 다른 시기에 다른 조건에서 일부씩 얻어진 경우도 존재한다. 각 시기마다 환경이이나 조명이
달라서 얻은 영상들이 균일하지 못한 경우가 상당수이다. 본 연구에서는 이러한 상황에 대한 실제 산업 현장 데이터를 대상으로 실용적인 접근법을 고찰한다.
금속 표면에 대한 결함 특성은 두 가지로 나뉘어진다. 첫째 시멘트, 콘크리트, 철강재 등 표면이 거칠어 결함은 크지만 배경과의 구분이 어려운 경우이다.
터널이나 교량 등에 대한 표면의 균열, 누수 및 오염이 대표적이다. 이에 비해서 소형 전자제품의 금속 케이스는 대부분 매끈한 표면에 결함이 작은 것이
특징이며, 결함의 길이가 길지만 미세하거나, 결함이 점과 같이 작은 원형으로 되어 있어 검출이 어렵다. 갈라짐, 긁힘, 찍힘이나 열에 의한 변형 등이
결함의 예들이다. 특정한 경우는 특수한 표면처리로 인해 일반적으로는 매끈해 보이지만 확대해 보면 균일하지 않아서 작은 결함과 배경이 잘 구분되지 않는
경우도 있다. 본 논문에서는 후자인 금속 표면에서의 난이도가 높은 결함을 분류하는 문제를 다룬다. 빛 반사로 인해 결함 인식이 어렵고, 배경과의 구분이
뚜렷하지 않은 특성을 가지고 있다.
금속 등의 표면 결함에 대해서도 전통적인 필터 기반의 접근법(1), 필터와 SVM등의 기계학습을 결합한 접근법(2-5) 등이 적용되다가 다른 분야와 마찬가지로, 물체 인식에 탁월한 성능을 보이고 있고 계속적인 발전이 이루어지고 있는 딥러닝 기법을 적용하는 연구들이
늘고 있다(6-8). 본 연구에서도 딥러닝 기반의 접근법을 시기별로 수집된 혼합 형태의 결함 데이터를 분류에 사용한다. 산업현장의 요구 수준인 높은 성능과 제한된 연산
규모를 동시에 만족시키기 위해서, CNN 네트워크의 규모를 키우지 않으면서 학습 성능을 높일 수 있는 필터의 크기 조정 및 네트워크 구조를 변형하여
제안한다.
금속 표면에 대한 결함 분류의 비교 실험을 위해서 특징자로서 잘 알려진 HOG와 머신러닝 분야의 SVM을 결합한 기법을 선택한다. 딥러닝 네트워크는
VGG 계열 중 작은 규모인 VGG-M을 변형한 VGG123과 이를 더 개선시킨 CONV123 구조를 제안하고 비교한다.
2. 산업용 표면 결함 데이타
금속 제품의 표면 결함은 긁힘, 갈라짐, 찍힘, 패임, 얼룩 등을 포함한다. 표면 재질의 특성에 따라 조명 반사가 심하거나, 가공과정에서 발생하는
불균일한 무늬 등이 존재하기 때문에 정상 영역과 결함 영역의 구별이 매우 어렵다. 또한, 대상 부품이 평면이 아닌 경우, 캠이나 부품을 이동시켜 다수의
영상을 얻어야하기 때문에. 이 과정에서 조명의 난반사로 인한 초점의 흐림 현상이 나타나 검출 조건을 더욱 어렵게 만든다. 데이터 수집과 검사 과정의
예는 다음 그림 1과 같다. 그림 1(a)와 같이 캠이 부착된 매니퓰레이터를 이동시키면서 금속 케이스의 표면을 촬영하고, 그림 1(b)처럼 딥러닝 모델로 결함 여부를 분류한다.
그림 1 (a) 로봇을 이용한 자동 표면 검사 (b) 표면 결함 검사 시스템
Fig. 1 (a) Automatic surface inspection using a manipulator robot. (b) Surface defect
inspection system.
그림 2 표면 결함 데이터 종류 (1: 상단, 2: 중단, 3: 하단)
Fig. 2 Surface defects in types 1 (top row), 2 (middle row), and 3 (bottom row).
데이터를 수집하는 경우에도 일정 시기마다 소량을 얻는 경우가 종종 있으며, 각 시기마다 환경이나 조명이 달라서 얻은 영상들이 균일하지 못한 경우가
상당수이다. 표면 결함 데이터의 예는 그림 2와 같으며, 227X227 해상도로 구성된다. 첫 번째 종류는 표면이 불균일하지만 빛 반사가 적어 결함의 구별이 비교적 용이하다. 두 번째는 촬영
상태가 어두운 편이고 불균일한 표면에 빛 반사가 중간 수준으로 결함의 구별 난이도가 첫 번째보다는 높다. 세 번째는 촬영된 밝기 상태가 첫 번째와
두 번째의 중간이고, 표면에 빛 반사가 심해서 결함의 구별 난이도가 가장 높다.
3. 딥러닝 기반 결함 분류
이 절에서는 대상 결함 분류 문제의 난이도를 산정하고 딥러닝 기법과의 성능을 비교하기 위해서, 딥러닝 이전에 가장 많이 사용된 HOG와 SVM을 결합한
기법에 대해서 소개하고 실험에 포함한다.
3.1 HOG+SVM
HOG(Histogram of oriented gradient)는 컴퓨터 비전과 이미지 프로세싱에서 널리 쓰이는 특징 검출자로서, 그림 3과 같이 영상의 지역적인 경사도를 특징으로 사용한다. 차량이나 보행자 검출에 널리 응용되어왔다(3,5).
그림 3 HOG에 의한 특징점 추출
Fig. 3 Visual feature extraction - Histogram of oriented gradient.
SVM(Support Vector Machine)은 머신러닝의 대표적 기법으로서, HOG와 결합하여 분류 문제에 많이 쓰인다(4). 본 논문에서는 결함 데이터의 비선형성을 고려하여 SVM의 커널에 RBF를 사용한다. 그림 4에 SVM의 개념도가 나와 있다.
그림 4 Support vector machine (SVM)
Fig. 4 Support vector machine (SVM)
3.2 CNN 모델의 적정화
산업용 결함 검출에서는 성능과 한정된 연산 자원의 요구를 동시에 만족시켜야 하므로, 적정한 규모의 네트워크를 결정하는 것이 매우 중요하다. 그러나
대상 문제에 대해서 학습을 해보기 전까지는 제안된 모델의 규모가 적정한지를 알 수가 없다. 문제의 난이도에 따라 대략적인 네트워크 규모를 산정하는
경우도 있으나, 이때 난이도에 대한 객관적인 기준이 없기 때문에 쉽지 않다. 본 논문에서는 이를 위해서 딥러닝 이전에 머신 비전 검사 분야에서 쓰여
왔던 HOG+SVM 방식을 도입하여 대상 문제의 난이도를 평가하는데 참고한다. 그런 다음 결함 인식에 사용되었던 초기의 딥러닝 모델을 분석하고 이에
준하는 규모를 시발점으로 삼는다.
본 논문에서는 결함 검사에 사용되었으며 우수한 성능을 나타낸 기존 연구(3)에서 CNN 모델에 합성곱층이 5-6개 사용되었던 것을 참고하여, 6개의 합성곱층에 대해서 초기 실험 결과를 토대로 변형을 시도한다. 구체적으로 CNN
필터의 크기와 배치를 조정하고, 분류 성능에 영향을 미치는 FC 층을 3개로 구성한다. 제안된 변형 구조가 그림 5에 나와 있다.
그림 5 제안된 Conv123 구조
Fig. 5 Proposed structures for Conv123
4. 실험 및 결과 분석
4.1 실험 환경
금속 표면 결함 분류에 사용된 데이터는 표 1에 나와 있다. 각 Type 별 학습 데이터 수는 6000여장, 테스트 데이터는 1500여장으로 구성된다. 실제 얻은 영상의 수는 이보다 적지만,
원 영상을 작은 크기로 분할하여 데이터 수를 늘렸다.
표 1 실험 데이타
Table 1 Expermental data
|
Image
types
|
Filter Size
|
Training
data sizes
|
Test data
sizes
|
|
Type 1
|
Defects
|
5967
|
1492
|
|
Non-defects
|
5967
|
1492
|
|
Type 2
|
Defects
|
6028
|
1507
|
|
Non-defects
|
6028
|
1507
|
|
Type 3
|
Defects
|
6898
|
1724
|
|
Non-defects
|
6898
|
1724
|
표 2 VGG123 네트워크 구조
Table 2 Structure of VGG123 network
|
Layer
|
Filter Size
|
Stride
|
Pad
|
|
CONV1
|
3x3x96
|
1
|
0
|
|
CONV2
|
5x5x256
|
1
|
1
|
|
CONV3
|
5x5x256
|
1
|
1
|
|
CONV4
|
3x3x512
|
1
|
1
|
|
CONV5
|
3x3x512
|
1
|
1
|
|
CONV6
|
3x3x512
|
1
|
1
|
|
FC1
|
1096
|
1
|
0
|
|
FC2
|
104
|
1
|
0
|
|
Fc3
|
2
|
1
|
0
|
실험에 사용된 3가지 비교 모델은 다음과 같다. 첫째는 3.1절에 설명된 HOG와 SVM을 결합한 방법이고, 둘째는 VGG 게열중 규모가 작은 편인
VGG-M을 변형하여 구성한 VGG123이다. 셋째는 VGG123을 개선하여 제안한 CONV123 모델이다. 제안된 CNN 모델인 VGG123과 CONV123
모델의 구조가 표 2와 3에 나와 있다.
VGG123은 VGG-M에 비해 3개의 합성곱 층을 연속으로 배치하고, 필터 크기도 결함을 고려하여 5x5와 3x3 위주로 사용한다. FC 층도 1096과
104 노드로 축소한다. CONV123은 VGG123와 같은 층 구조를 가지지만, 1-3층의 필터 크기 및 순서가 다르다. 그리고 5x5는 첫 층만
사용하고, 이후에는 모두 3x3 필터를 사용한다. FC 층은 연산 시간의 범위내에서 분류의 성능을 최대화하기 위해서 VGG123 보다 큰 1024와
4096 노드를 사용한다.
표 3 CONV123 네트워크 구조
Table 3 Structure of Conv123 network
|
Layer
|
Output Shape
|
Filter Size
|
Pad
|
|
CONV1
|
5x5x96
|
2
|
0
|
|
CONV2
|
3x3x256
|
1
|
1
|
|
CONV3
|
3x3x256
|
1
|
1
|
|
CONV4
|
3x3x512
|
1
|
1
|
|
CONV5
|
3x3x512
|
1
|
1
|
|
CONV6
|
3x3x512
|
1
|
1
|
|
FC1
|
1024
|
1
|
0
|
|
FC2
|
4096
|
1
|
0
|
|
Fc3
|
2
|
1
|
0
|
3가지 방식에 대한 비교 실험 결과가 정확도, 재현율, 정밀도에 대해서 표 4-6에 설명되어 있다.
표 4 정확도 결과
Table 4 Reulsts of accuracy
|
Mehods
|
Type-1
|
Type-2
|
Type-3
|
|
HOG+SVM
|
81.5%
|
75.3%
|
68.7%
|
|
VGG123
|
97.5%
|
77.3%
|
76.9%
|
|
Conv123
|
98.5%
|
91.1%
|
93.1%
|
정확도에 대한 비교 실험 결과가 표 4에 나와 있다. HOG+SVM의 경우는 각 Type에 대해서 68%-81% 대의 성능을 보이고 있다. VGG123은 HOG+SVM보다 개선된 정확도
성능을 보이며, Type-1 에 대해서는 97.5%로 HOG+SVM보다 무려 16%의 향상 효과를 보인다. Conv123은 모든 Type에 대해서
90% 이상의 정확도를 보이고 있으며, Type-1에 대해서도 98.5%로 VGG123보다 더 높다.
표 5 재현율 결과
Table 5 Reulsts of recall
|
Mehods
|
Type-1
|
Type-2
|
Type-3
|
|
HOG+SVM
|
77.2%
|
72.9%
|
75.4%
|
|
VGG123
|
95.3%
|
87.1%
|
85.3%
|
|
Conv123
|
99.6%
|
93.6%
|
90.5%
|
재현율에 대한 실험 결과가 표 5에 나와 있다. HOG+SVM의 경우는 각 Type에 대해서 72%-77% 대의 성능을 보이고 있다. VGG123은 HOG+SVM보다 상당히 개선된
85%-95% 대의 성능을 보인다. Conv123은 정확도와 마찬가지로 모든 Type에 대해서 90% 이상의 재현율을 보이며, Type-1에 대해서는
99.6%로 아주 높다.
표 6 정밀도 결과
Table 6 Reulsts of precision
|
Mehods
|
Type-1
|
Type-2
|
Type-3
|
|
HOG+SVM
|
84.5%
|
76.6%
|
66.5%
|
|
VGG123
|
99.7%
|
72.9%
|
73%
|
|
Conv123
|
97.5%
|
88.3%
|
96.2%
|
정밀도에 대한 실험 결과가 표 6에 나와 있다. HOG+SVM은 66%-84% 대의 성능을 보이고, VGG123은 72%-99% 대의 성능을 보이며 Type-1에 대한 정밀도는 매우
높으나 나머지는 70%로 편차가 심하다. Conv123은 앞의 두 지표와 마찬가지로 모든 Type에 대해서 평균 94%의 정밀도를 보인다. 표 7에 사용된 성능지료가 정리되어 있다.
표 7 성능 지표 정리
Table 7 Summary of performance indexes
|
Indexes
|
Accuracy
|
Recall
|
Precision
|
|
Definition
|
$\dfrac{TP+TN}{P+N}$
|
$\dfrac{TP}{P}=\dfrac{TP}{TP+FN}$
|
$\dfrac{TP}{TP+FP}$
|
이상의 3가지 지표의 수치에서 볼 수 있듯이, 머신러닝 기반의 HOG+SVM 기법의 성능이 평균 70%대로 높지 않아서, 상대적으로 해당 문제의 난이도가
높음을 반증하고 있다. 제안된 딥러닝 접근법 중 VGG123은 HOG+SVM 보다 성능이 상당히 개선되었으나, Type-1 보다 난이도가 더 높은
Type-2과 Type-3에 대해서 정확도와 재현율 성능이 70%로 여전히 미흡함을 보인다.
VGG123를 개선하여 제안한 Conv123은 모든 Type에 대해서 3가지 성능 지표 모두 90% 중반대의 매우 탁월한 성능을 보인다. 같은 딥러닝
기법이면서 네트워크 규모가 많이 차이가 나지 않는 VGG123에 비해서도 큰 성능 차이로 우위를 보인다. 즉 CNN 필터의 조합 및 FC 층의 다른
구성을 통해 학습 및 테스트의 성능을 크게 향상시켰다.
난이도가 높은 산업현장의 결함 데이터에 대해서 ResNet과 같은 깊은 구조가 아니더라도, 적정한 규모의 네트워크 구성과 파라미터의 조정을 통해 충분히
우수한 결과를 얻을 수 있음을 알 수 있다.
5. 결 론
난이도가 높은 실제 산업 현장의 금속 표면 결함 데이터에 대해서 딥러닝 기법을 제시하고 머신러닝 기법과 분류 성능에 대한 비교 실험을 수행하였고,
적정 규모의 네트워크를 변형 제안한 Conv123의 성능이 정확도, 재현율, 정밀도 3가지 성능 지표에 대해서 평균 94% 대의 뛰어난 분류 성능을
얻었다.
동일 대상이지만 시기별로 수집 시기가 다른 데이터에 대해서 고른 성능을 얻었고, 육안에 의해 구별되는 난이도와 어느정도 차이가 나는지도 파악할 수
있었다. 향후, 시기별 데이터를 통합하여 모든 데이터에 대해서 분류 성능의 강인성을 높일 수 있는 새로운 학습기법이 필요하다. 예로, 난이도가 다른
데이터의 포함 비율 및 학습 순서, 그리고 데이터 특성에 적합한 모델 구조에 대한 분석이 요구된다.
Acknowledgements
본 연구는 2019학년도 서경대학교 교내연구비 지원에 의하여 이루어졌음.
References
Y. Park, I. S. Kweon, 2016, Ambiguous Surface Defect Image Classification of AMOLED
Displays in Smart- phones, IEEE Trans. on Industrial Informatics, Vol. 12, No. 2,
pp. 597-607
S. Ghorai, A. Mukherjee, M. Gangadaran, P. K. Dutta, 2013, Automatic Defect Detection
on Hot-Rolled Flat Steel Products, IEEE Trans. on Instrumentation and Measurement,
Vol. 62, No. 3, pp. 612-621
X. Li, X. Guo, 2013, A HOG feature and SVM based method for forward vehicle detection
with single camera, In: 5th International Conference on Intelligent Human- Machine
Systems and Cybernetics (IHMSC), 2013, IEEE, pp. 263-266
B. Sugiarto, E. Prakasa, R. Wardoyo, R. Damayanti, L. M. Dewi, H. F. Pardede, Y. Rianto,
November, 2017, Wood identification based on histogram of oriented gradient (HOG)
feature and support vector machine (SVM) classifier, In 2nd Inter- national conferences
on Information Technology, Information Systems and Electrical Engineering (ICITISEE),
IEEE, pp. 337-341
J. Li, Y. Yin, X. Liu, D. Xu, Q. Gu, September, 2017, 12,000-fps Multi-object detection
using HOG descriptor and SVM classifier, In 2017 IEEE/RSJ International Conference
on Intelligent Robots and Systems (IROS), IEEE, pp. 5928-5933
R. Ren, T. Hung, K. C. Tan, 2018, A Generic Deep- Learning-Based Approach for Automated
Surface Inspection, IEEE Transactions on Cybernetics, Vol. 48, pp. 929-940
H. Choi, K. Seo, 2017, CNN Based Detection of Surface Defects for Electronic Parts,
Journal of Korean Institute of Intelligent Systems, Vol. 27, No. 3, pp. 195-200
H. Choi, K. Seo, 2017, Comparison of CNN Structures for Detection of Surface Defects,
The Transactions of the Korean Institute of Electrical Engineers, Vol. 66, No. 7,
pp. 1100-1104
저자소개
He received the BS, MS, and Ph.D degrees in Electrical Engineering from Yonsei University,
Seoul, Korea, in 1986, 1988, and 1993 respec- tively.
He became Full Time Lecturer and Assistant Professor of Industrial Engineering in
1993 and 1995 at Seokyeong University, Seoul, Korea.
He joined Genetic Algorithms Research and Applications Group (GARAGe) and Case Center
for Computer-Aided Engineering & Manufacturing, Michigan State University from 1999
to 2002 as a Research Associate.
He was also appointed Visiting Assistant Professor in Electrical & Computer Engineering,
Michigan State University from 2002 to 2003.
He was a Visiting Scholar at BEACON (Bio/computational Evolution in Action CONsortium)
Center, Michigan State University from 2011 to 2012.
He is currently Professor of Electronics Engineering, Seokyeong University.
His research interests include deep learning, evolutionary computation, computer vision,
and intelligent robotics.