김동헌
(Dong Hun Kim)
†iD
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Action loader, Deep learning, MobileNet, Defect inspection, Data augmentation
1. 서 론
최근에는 공장에서 생산되는 제조품에 대하여 인공지능 기반으로 불량품을 검출하는 연구가 진행되고 있다. (1)에서는 CNN을 사용하여 자동차 공장 생산품에서 불량품을 검출하는 방법에 대한 연구이다. 자동으로 수집된 이미지를 학습하여 불량 부분을 검출하는 시스템을
제안하였고, 이를 적용하여 높은 정확도 이외에도 작업의 높은 신뢰성과 짧은 검사 주기시간을 달성하였다. (2)에서는 딥러닝 기술을 사용하여 얇은 태양전지 패널 생산 과정에서 태양전지 패널의 표면 이미지를 분석하고 불량 부분을 검출하는 방법을 제안하였다. (3)에서는 스크린 인쇄 휴대폰 후면 유리의 표면 결함 검사를 위하여 CNN을 사용하여 유리 제조 공정에서 생성된 이미지에서 불량 부분을 자동으로 감지하고
분류하는 방법을 제안하였다. 이를 통해 생산 과정에서의 비교적 높은 정확도를 보여주었다. (4)에서는 머신러닝을 사용하여 공장 생산품에서 불량품을 검출하는 실시간 시스템을 개발하는 방법에 대하여 연구하였다. 딥러닝 모델을 사용하여 이미지에서
불량 부분을 검출하고, 실시간으로 처리하여 불량품을 걸러내는 시스템을 구축하였다. 이를 통해 생산 과정에서의 품질을 향상시킬 수 있다.
공장 생산라인에서 구리스도포 불량 검출을 위해 인공지능을 이용하는 사례들이 점차 이루어지고 있다. 기술 연구는 활발하게 이루어지고 있지만, 현재 출판된
논문 수는 아직 많지 않다. (5)에서는 구리스 도포 불량 검출에 대한 자동 검사 시스템을 제안하였다. 베어링에 도포된 구리스 상태를 촬영하고, 이를 기반으로 합성곱 신경망(Convolutional
Neural Network) 모델을 훈련하여 구리스 도포 불량을 검출하였다. (6)에서는 풍력 터빈에서 구리스가 도포된 베어링의 고장 발생을 없애기 위하여 새로운 정보 신경망 모델링 접근법을 제시하였으며, 심층 신경망 내에서 물리
정보 계층과 데이터 기반 계층을 병합하도록 설계되었다. (7)에서는 심층 잔류 신경망(ResNet)을 사용하여, 정확한 구리스 수명 평가 및 베어링 상태를 모니터링 하였다.
최근 빠르고 정확한 검출 엔진으로 모바일 기기에서도 사용할 수 있는 MobileNet 인공지능 엔진이 각광을 받고 있다. MobileNet은 Google에서
개발한 경량화된 딥러닝 모델로, 컨볼루션 신경망(Convolutional Neural Network, CNN)의 일종으로, 모바일 기기 등의 제한된
자원을 가진 환경에서도 빠른 속도와 높은 정확도를 보이는 것이 특징이다(8). (9)에서는 딥 러닝 방법을 사용하여 표면 결함을 실시간으로 정확하게 탐지하는 것을 제안하였다. 이를 위해, 싱글샷 멀티박스 검출기(SSD) 네트워크가
메타 구조로 채택되어 기본 컨볼루션 신경망(CNN) MobileNet과 결합한 MobileNet-SSD를 사용하였다. 제안된 방법은 충전 라인에서
용기의 밀봉면에 파손, 움푹 패임, 버 및 마모와 같은 대표적인 결함의 검출에 적용되었다. 또한 자동차 차체 도장과정에서 발생하는 페인트 결함 도포를
검출하는 연구에서도 MobileNet 모델을 사용하여 차체 페인트 결함을 검출하도록 구현하였다(10). 이러한 연구에서도 MobileNet 모델을 이용한 불량품 검출 방법이 기존의 방법보다 높은 검출 정확도를 보인 것으로 나타났다.
본 연구에서는 머신비전과 딥러닝을 결합시켜 액션로더(액추에이터로 구성된 시스템)와 기계 부품 이미지를 카메라로 실시간 취득하여 학습된 머신이 취득한
이미지의 불량품 검출이 가능한 결과를 알려주는 검출시스템을 개발한다. 현재 생산공정에서 액션로더(액추에이터로 구성된 시스템) 제조에서 생기는 불량품
검출을 위해 작업자가 눈으로 보고 불량품을 검출하고 있다. 본 연구에서는 작업자의 눈에 의존하는 검사 방법을 머신비전과 딥러닝 기반의 검사시스템을
통해 정확하게 불량품을 검출함으로써 인력 감소와 검사 속도를 향상시키려고 한다.딥러닝 엔진으로는 MobileNet을 이용하여 생산제품 이미지에서 구리스
도포 불량을 분류하는 방법을 제안한다.
2. AI기반 비전검사 시스템 S/W 구성
2.1 자동구동 액추에이터
전기자동차의 판매 증가와 함께 차량의 고급화 및 디자인 요소가 중요해짐에 따라 기존 고정식 자동차 문손잡이가 자동구동 액추에이터 방식으로 바뀌고 있다.
다음 그림1은 현재 생산되고 있는 자동구동 자동차 문손잡이를 보여준다.
그림. 1. 자동구동 자동차 문손잡이
Fig. 1. Automatic actuated car door handle
전동식 액추에이터는 액추에이터를 통해 모터의 회전 운동을 직선 또는 반회전을 포함한 위치 변환을 포함하는 장치이다. 직선 운동 또는 반회전 모션 구동
장치인 액추에이터(기어, 스크류)와 모터를 결합하여 고정밀 직선 왕복운동 및 반 회전 구동 조건을 구현함에 있어 탁월한 제어 성능을 지니고 있다.
특정 신호에 따라 작동 및 제어가 가능해 스마트 액추에이터로 불리기도 하며 현재 내연기관 기반 고급 자동차 및 전기자동차에 활발히 적용되고 있다.
이러한 히든 타입의 오토 플러시 도어 핸들이 많이 적용되고 있는 이유는 내연기관 차량에서의 연비 개선과 전기기반 차량에서의 1회 충전 주행거리 향상에서
비롯된다. 기존 도출형 도어 핸들은 상대적으로 공기저항계수가 히든타입도어 핸들에 비해 높기 따문에 연비 및 주행거리 최적화를 위해서는 기존 도출형
도어 핸들에 대한 공기저항 계수가 최소화된 제품이 지속적으로 요구가 된다.
기어의 원활한 회전을 위하여 구리스를 공급하여 분사한다. 그림2는 액션로더 생산공정에서 웜기어와 휠기어에 구리스가 도포된 사진이다.
그림. 2. 구리스 도포
Fig. 2. Grease application
문제는 액션로더 생산시 휠기어와 웜기어사이에 분사하는 자동 구리스 장치의 부정확도에서 불량품이 생긴다. 구리스가 정해져 있는 위치가 아닌 다른 곳에
분사되거나, 정해져있는 곳에 충분히 도포가 되지 않았을 때 액션로저가 제대로 작동을 하지 못하기 떄문이다. 액션로더 생산시에 생기는 구리스 도포의
문제를 해결하기 위해 비전을 통한 AI 알고리즘 기반의 검출 시스템을 구현한다.
2.2 딥러닝 구현
산업 현장에서 불량품인식을 위하여 수집하는 데이터에는 정상 데이터 이미지와 불량 데이터 이미지가 공존하고 있다. 본 연구에서는 불량 데이터 이미지를
찾아내는 방법으로 CNN을 사용한다. 특히 그 중에서도 컴퓨터 성능이 제한되거나 배터리 퍼포먼스가 중요한 곳에서 사용하기 위해 설계된 CNN(Convolution
Neural Network)구조인 MobileNet을 채택하였다. MobileNet을 채택한 또다른 이유는 산업현장에 대규모 메인프레임을 가져다 놓고
생산 할 수 없는 제한 사항을 고려한 것이다.
a. 딥러닝 기반의 CNN 구조 및 하급 모델 적용
• 검사체인 콘솔 박스의 검사 영역별 ROI(Region Of Interest)에 개별적 CNN 모델 생성 후 이를 결합한다.
• 복수의 ROI(Region of Interest)를 지정하여 실시간 계측이 확보된 복수의 결함을 검사한다.
• 선행 특허와 주요 차별 점: 개별ROI 결과의 OK/NG 확률을 조합한 후, 전체적으로 판별하는 DNN을 후반부에 추가한다.
• MobileNet은 13개의 깊이별 분리형 컨볼루션(DSC)과 9개의 표준 컨볼루션을 가진 22개의 컨볼루션 레이어를 가지고 있으며, 배치 정규화와
ReLu 비선형성으로 구성한다.
• DSC는 깊이별 컨볼루션(DW)과 점별 컨볼루션(PW)의 두 부분으로 구성하여 특징 추출에 대한 전반적인 효과는 거의 동일하지만 DSC 매개 변수의
수를 크게 감소시켜 계산 발생률을 감소시킨다.
그림3은 저자가 제안하였던 향상된 MobileNet 기반 모델이고, 본 연구에서 사용된다(11). 모델의 세부 파라미터 설계는 표1에서 보여준다. 본 논문에서는 지면 관계상 향상된 MobileNet 기반 모델은 다루지 않는다.
그림. 3. 향상된 MobileNet 기반 모델
Fig. 3. Improved MobileNet-based model
표 1. 예측 파라미터
Table 1. Parameters of the prediction source
|
Network layer
/Step size
|
Convolutional kernel size
|
Input size
/Prediction box
|
|
Conv5 dw/s1
|
$3 x 3 x 256 dw$
|
$38 x 38 x 256$
|
|
Conv5 /s1
|
$1 x 1 x 256 x 256$
|
$38 x 38 x 256/3$
|
|
Conv11 dw/s1
|
$3 x 3 x 512 dw$
|
$19 x 19 x 512$
|
|
Conv11/s1
|
$1 x 1 x 512 x 512$
|
$19 x 19 x 512/6$
|
|
Conv13 dw/s2
|
$3 x 3 x 1024 dw$
|
$10 x 10 x 1024$
|
|
Conv13/s1
|
$1 x 1 x 1024 x 1024$
|
$10 x 10 x 1024/6$
|
|
Conv14_2/s2
|
$1 x 1 x 512$
|
$5 x 5 x 512/6$
|
|
Conv15_2/s2
|
$1 x 1 x 256$
|
$3 x 3 x 256/6$
|
|
Conv16_2/s2
|
$1 x 1 x 128$
|
$2 x 2 x 256/6$
|
|
Conv17_2/s2
|
$1 x 1 x 64$
|
$1 x 1 x 128/6$
|
b. CNN 분류기 기반의 결함 인식 방법
• CNN 분류기를 활용한 부품 결함 분류문제는 그림5와 같이 입력 이미지, 이미지 채널 분리, CNN 기반의 분류기, 결함 종류 출력의 4단계로 나타낸다.
• 3색 컬러 조명시스템으로부터 입력된 부품 이미지는 각 R, G, B 컬러 채널 이미지로 분리한다.
• CNN 분류기는 분리된 각 컬러 채널 이미지를 입력으로 하며, 합성곱층(Convolution layer)을 통하여 부품 이미지의 특징을 추출한다.
• CNN 분류기의 완전연결층(Fully connected layer)에서 앞서 추출된 특징의 연관도를 분석한다.
• 소프트맥스층(Softꠓmax layer)에서는 완전연결층의 분석결과를 토대로 각 결함에 대한 확률값이 출력한다.
• 마지막으로 출력된 확률값이 최대인 결함 종류가 입력된 부품 이미지의 결함 종류로 결정한다.
그림. 4. CNN 분류기 기반의 결함 분류 시스템 단계
Fig. 4. CNN Classifier-Based Fault Classification System Steps
c. 입력이미지 변환에서 분류 정확도 향상을 위한 지역 히스토그램 스트레칭 단계 추가
• 부품영역 추출 : 하이라이트 이미지 → 수직 및 수평 투영 → 부품영역 추출
• 색상 개선 : 히스토그램 영역 구분 → 히스토그램 스트레칭 → 컬러 채널 병합
2.3 데이터 증강과 전이학습
2.3.1 데이터 증강
산업현장의 대부분 생산 공정에서는 정상적인 제품이 많기 때문에 정상 이미지 데이터에 비해 불량 이미지 데이터가 상당히 적은 편이다. 예를 들어 1,000개
중에 한 개 정도 생산될 수 있는 제품에서 불량품 한 개의 데이터 이미지를 얻는 것은 대단히 제한적이다. 따라서, 본연구에서는 이러한 문제를 해결하기
위해 데이터 증강(Data Augmentation)과 전이학습(Transfer learning) 방법을 사용한다.
데이터 증강이란 수집한 이미지 데이터 셋(set)을 여러 가지 방법으로 증강하여 실질적인 학습 데이터셋의 규모를 키우는 방법이다. 데이터 증강은 컴퓨터
비전 성능을 향상시키기 위한 기술의 일종이다. CNN 모델을 학습 할 때 데이터 증강은 많은 도움이 되며, 다음과 같은 방법을 많이 사용한다. 대칭(Mirroring),
무작위 삭제(Random Cropping), 회전(Roatation), Shearing(전단 가공), 국소겹침(Local Wraping), 컬러이동(Color
Shifting)
2.3.2 전이학습
딥러닝에서 가장 강력한 아이디어 중에 하나는, 한 작업에 대해 학습을 이미 한 경우에, 그 지식을 다른 종류의 작업에 적용할 수 있는 것이다. 예를
들어, 신경망이 고양이와 같은 사물을 인식하도록 학습되었다면 이 작업을 X-ray를 분류하는데 적용할 수 있다는 뜻이다. 인터넷상에 공개된 대용량
데이터셋을 컴퓨터비전 전문가들이 그들의 알고리즘들을 통해 사전 훈련시켜 놓은 ImageNet, MS-COCO, Pascal 등과 같은 사전훈련 모델들을
다운로드 받아 사용할 수 있다.
전이 학습은 방대한 양의 데이터로 이미 학습된 인공지능을 유사하지만 다른 분야에 적용하는 방법이다. 현재 컴퓨터 비전과 자연어 처리 등의 다양한 인공지능
분야에서 최고 성능을 얻으며 주류로 떠오르고 있다. 전이 학습의 강점은 데이터가 부족한 분야에도 높은 성능을 얻을 수 있다.
3. AI기반 비전검사 시스템 H/W 구현
3.1 H/W 시스템 구성
컴퓨터비전을 이용한 액션로더의 구리스도포검사 구성은 컴퓨터 비전용 소프트웨어와 반송 시스템, 분리 시스템, 컴퓨터 비전 카메라, 컴퓨터비전 조명으로
구성한다. 그림5는 비전 기반의 AI 검사 시스템의 전체 시스템 블록다이어그램을 보여준다.
그림. 5. AI 비전 기반의 검사를 위한 전체 블록다이어그램
Fig. 5. Overall block diagram for AI-based examination
• 컴퓨터비전 소프트웨어 - 검사 대상에 따라 검사항목 및 양품/불량 판정에 대한 기준을 설정하고, 카메라를 통하여 취득한 영상을 기준으로 판정하는
역할을 수행한다.
• 이송 시스템 - 검사 대상이 되는 제품을 규격 및 형상, 재질에 따라 카메라가 영상을 취득하기 가장 알맞은 위치로 이송하고 카메라가 영상을 취득한
후 판정에 따른 불량처리 및 회수에 대한 역할을 담당한다.
• 분리 시스템 - 컴퓨터 비전 소프트웨어에 의한 양품과 불량품 판정에 따라서 검사가 완료된 제품을 분리한다.
• 컴퓨터비전 카메라 - 자동화 설비에 최적화된 16K TDI급 고해상도 Line Scan 카메라와 F-Mount Line Scan 전용 고해상도/저왜곡
렌즈(Tele-centric)를 적용한다.
• 컴퓨터비전 조명 - 이동하는 제품의 속도, 형상에 따라 비교적 높은 광량이 요구되며, 이에 따른 발열문제 해결과 검사 대상을 카메라가 명확히 인식할
수 있는 영상을 제공해 줄 수 있는 조명을 사용한다.
3.2 비전시스템 통합 제작
실시간 비전검사 시스템의 DATA를 제품생산 시스템에 연계하는 시스템이 필요하다. 본 연구에서는 AI기반 비전검사 시스템과 자동조립제어용 PLC 연계하기
위하여 이더넷(Ethernet)을 활용한다.
검사제품유무확인/비전검사요청 시그널은 제품생산 PLC에서 비전검사 PC로 송출한다. 비전검사 결과 데이타 전송은 비전 PC에서 제품생산PLC로 송출한다.
비전검사 결과에 따라 불량시 설비 정지되는 PROOF 장치를 적용한다. 적용PLC및 INTERFACE 방식은 미츠비시 MELSEC/이더넷을 활용하였다.
그림6과 그림7은 비전검사시스템과 생산시스템이 연결된 PLC 프로그램 화면과 MMI 화면을 각각 보여준다. 그림 8의 PLC 프로그램은 비전검사 시스템에 의한 공정과 자동조립 생산 공정과의 연계를 위해 사용한다. 그림 9의 MMI 화면은 현재 조립공정에서 운전중인 생산현황, 운전현황, 기계위치, 이상정보 등의 조립공정을 보여준다.
그림. 6. PLC 프로그램 화면
Fig. 6. Screen of PLC program
그림. 7. PLC MMI 제어화면(화면 샘플)
Fig. 7. Control Screen of PLC MMI(Sample Display)
4. 불량품 검출 실험
학습에 사용한 컴퓨터와 현장에 설치하여 검사용으로 사용한 컴퓨터 사양이다. MobileNet 사용으로 학습은 성능이 우수한 컴퓨터로 하였고, 현장설치
검사용 컴퓨터는 저성능으로 가능하도록 하였다.
|
|
학습용 컴퓨터
|
검사용 컴퓨터
|
|
OS
|
Window 10
|
Window 10
|
|
CPU
|
I9
|
I3
|
|
GPU
|
두 개의Geforce Titan X 12G
|
없음
|
|
RAM
|
64G
|
8G
|
4.1 ROI (Region of Interest)
영상처리에서 가장 중요한 것은 정확성과 처리속도라고 할 수 있다. 정확성을 높이기 위해서는 관찰하려는 대상에 초점이 맞추어져 있어야한다. 원하는 피사체(대상)를
따로 분리하여 영상처리를 하고 싶은 경우 사용하는 방법이 'ROI 설정'이다. CNN의 고속처리를 위해서는 실제로 불량을 생성하는 부분을 집중해서
관리 할 필요성이 있다. 그러한 이유로 본 과제에서는 하나의 이미지에서 다음 그림8과 같이 세 개의 ROI를 설정하여 사용한다.
그림. 8. 세 개의 ROI 설정
Fig. 8. Three ROI setting
4.2 빅데이터 생성
그림9는 지그설비에 각각 다른 방향에 카메라 세 대를 설치하여 연결된 모습을 보여준다. 컴퓨터와 연결된 카메라를 통하여 실시간으로 구리스 도포 이미지를
획득하였다.
그림10은 세 개의 카메라로 얻어진 영상을 보여주는 MMI(Man- Machine Interfave) 화면을 보여준다. 첫 번째 이미지는 기어를 넣기 전
이미지이고, 두 번째 이미지는 기어 이미지이고, 세 번째 이미지는 기어가 장착된 이미지이다. 첫 번째 이미지와 세 번째 이미지는 각각 세 개의 ROI
이미지를 가지고, 두 번째 이미지는 하나의 ROI 이미지만 사용한다. MMI화면에서 총 ROI는 7개이다. 현재의 이미지 상태는 정상품 판정을 받아
‘OK’로 판정 받았다.
그림. 9. 실시간 이미지 획득
Fig. 9. Real-time Image acquisition
그림. 10. 이미지 획득 MMI 화면
Fig. 10. MMI screen of Image acquisition
그림 11은 획득한 구리스 정상도포 이미지와 불량도포 이미지에대하여 구현된 검사 시스템을 보여준다. 옵션 설정 화면에서 왼쪽 하단의 행렬(Matrix)는 조명100개를
지원하기 위해서 만든 표이다.
그림. 11. 인공지능 기반의 검사 시스템
Fig. 11. AI-based inspection system
그림12는 카메라 1화면을 보여준다. 3182번째 이미지를 검사하는 과정을 보여준다. 카메라 화면은 중간에 있는 MMI 화면의 버튼을 사용하여 카메라1,
2, 3을 선택할 수 있다.
그림. 12. 카메라 1 화면
Fig. 12. MMI screen of camera 1
4.3 정상 이미지와 불량 이미지 획득
본 연구에서는 정상 이미지 100장과 비정상 이미지 8장을 사용하여 전이학습을 통한 Mobilenet 엔진을 사용하였다. 다음 그림이 실험에서 사용된
비정상 이미지 8장이다. 또한, 비정상 이미지 8장에 데이터 증강법을 사용하였다. 데이터 증강을 통해 정상(100장), 비정상(8장) 이미지 갯수를
9배로 확대하였다. 구리스가 정상적으로 도포되지 않은 비정상 상태는 8장의 이미지에서 크게 벗어나지 않은 상태이고, 있을 수 있는 비정상 상태에 대하여
전이학습과 데이터증강을 통해 충분히 예측할 수 있다.
그림13은 구리스가 정상적으로 도포된 이미지를 보여준다.
그림. 13. 정상 이미지
Fig. 13. Normal Image
그림. 14. 비정상 이미지
Fig. 14. Abnormal Image
그림14는 구리스가 정상적으로 도포되지 않은 이미지를 보여준다.
4.4 비전검사 시스템과 생산장비와의 통신
Mobilenet 기반의 인공지능 검사시스템과 현장 기계인 PLC와의 통신을 위한 IO(Input Output)와 이더넷(Ethernet)을 이용한다.
통신은 TCP/IP로 Mitsubishi PLC 통신방식인 Melsec을 사용하였다. 그림15는 PLC와 연결된 검출 시스템인 PC와 인터페이스 되어있는 모습을 보여준다.
그림. 15. PLC와 PC의 인터페이스
Fig. 15. PC interface with PLC
검사기 파트와 인공지능판단 파트는 별도로 구성되어 있어 프로세서간 IPC 통신을 한다. 본 연구에서는 Json File을 이용한 통신을 사용하고 있으며,
전체 통신 계통도는 그림16과 같다. Json File은 자바스크립트 언어로부터 파생되어 자바스크립트의 구문 형식을 따르지만 언어 독립형 데이터 포맷이다. 특징으로는 매우 유연하게
정보를 저장,구조화 할 수 있다.
그림. 16. 비전검사 시스템과 생산장비와의 통신
Fig. 16. Communication between vision inspection system and production equipment
인공지능 판단 시스템의 동작순서는 다음과 같다.
a. 생산장비에서 PLC를 통해 산업용 카메라로 이미지 촬상 지시한다.
b. 검사기에서 이미지 촬상 후 인공지능 판단 시스템으로 Json File로 검사 지시한다.
c. 인공지능 판단 시스템은 검사 후 File로 결과 전송한다.
d. 검사기는 결과를 분석하여 생산장비의 PLC로 전송한다.
e. 생산장비의 PLC는 이를 바탕으로 정상인 경우 장비 생산을 계속하고 불량인 경우 장비를 멈추고 알람을 생산 작업자에게 알려준다.
4.5 검사시스템 결과
사용된 프레임워크는 텐서플로우(Tensorflow)와 케라스(Keras)이며, 구현 언어는 파이썬(python)이다. 데이터 학습은 Epochs 50회,
Batch Size 16, Iteration 337회 하였다. 전체 이미지 해상도는 1280 x 1024 이고, ROI 이미지 해상도는 224 x
224 이다.
직관적으로 모델의 성능을 알기 위하여 식(1)과 같이 정확도(Accuracy) 지표를 사용하였다.
여기서, TP (True Positive)는 실제 True인 정답을 True라고 예측한 것이고, TN (True Negative)은 실제 False인
정답을 False라고 예측한 것이다. FP (False Positive)는 실제 False인 정답을 True라고 예측한 것이고, FN (False
Negative)은 실제 True인 정답을 False라고 예측한 것이다.
데이터증강을 통해 얻은 이미지에서 테스트에 사용된 데이터는 모두 182장이며, 이 중 한 장의 데이터에서 검출을 못하였다. 결과로서, TP=167,
FN=0, FP=1, TN=14, Accuracy 99.45\%를 얻었다.
불량품의 개수가 정상품의 개수 보다 상대적으로 적기 때문에 도메인의 편중을 고려하기 위하여 식(2)와 같이 손실(Loss) 지표를 사용하였다.
여기서, $y_{i}$는 예측값이고 $t_{i}$는 실제값이다. 그리고 N 은 훈련 샘플의 개수이다.
그림17은 실험결과로 얻은 정확도와 손실을 보여준다.
그림. 17. 검사 결과
Fig. 17. Result of inspection
학습을 위해 사용한 데이터 수가 충분하지 않아도, 검사결과 검사정확도는 99.45\%이며 속도는 0.05초이다. 이러한 결과는 숙련된 작업자의 눈에
의존하는 검사방법에 비하여 높은 정확도를 보여주 며, 제안된 MobilNet 엔진으로 현장사용이 충분히 가능하다는 것을 보여준다.
5. 결 론
본 연구에서는 액션로더 제조에서 생기는 불량품 검출을 위해 머신비전과 딥러닝 기반의 검사시스템을 개발하였다. 액션로더 제조에서 생기는 불량품은 휠기어와
웜기어 사이에 분사하는 구리스 불량도포 혹은 미도포에 기인한다. 이러한 불량품 검출을 위해 머신비전과 딥러닝을 결합시켜 액션로더의 기계 부품 이미지를
생산과정에서 카메라로 실시간 취득하여 학습된 머신이 취득한 이미지의 불량품 검출 결과를 알려주었다. 딥러닝 엔진으로는 MobileNet을 이용하여
생산제품 이미지에서 구리스 도포 불량을 분류하는 방법을 제안하였다. 부족한 불량 이미지 데이터를 위해 전이학습과 데이터 증강 기법을 사용하였다. 제안된
시스템은 이미지에서 불량 부분을 정확하게 분할하고, MobileNet 모델을 이용하여 분할된 부분에서 불량을 검출하였다. 실험 결과, 제안된 방법은
데이터 증강 기법을 사용하여 부족한 불량 이미지 데이터에서도 현장에서 사용할 수 있을 정도의 충분히 높은 검출 정확도를 보여 주었다. 또한, 작업자가
눈으로 보고 불량품을 검출하는 부정확도와 검출 시간을 줄였다. 결과로서, 제안된 액추에이터 생산 공정의 자동화 구축을 통해 제조현장의 인건비 상승과
가격경쟁력을 확보하였다. 다른 생산현장에서도 불량률 개선을 위해서는 제안된 연구에서처럼 제조과정에서 모니터링되는 빅데이터 활용을 통한 AI기반 생산제조시스템
구축이 필요하다.
Acknowledgements
This results was supported by "Regional Innovation Strategy (RIS)" through the National
Research Foundation of Korea(NRF) funded by the Ministry of Education(MOE) in 2023.(2021
RIS-003)
References
C. E. Hachem, G. Perrot, L. Painvin, R. Couturier, Feb 2021, Automation of Quality
Control in the Automotive Industry Using Deep Learning Algorithms, International Conference
on Computer
M. Le, V. S. Luong, D. K. Nguyen, V. Dao, N. H. Vu, H. H. T. Vu, Dec 2021, Remote
Anomaly Detection and Classification of Solar Photovoltaic Modules Based on Deep Neural
Network, Sustainable Energy Technologies and Assessments, Vol. 48
J. Jiang, P. Cao, Z. Lu, W. Lou, Y. Yang, May 2020, Surface Defect Detection for Mobile
Phone Back Glass Based on Symmetric Convolutional Neural Network Deep Learning, MDPI
Applied Sciences (Open Access) https://www.mdpi.com/2076-3417/10/10/3621, Vol. 10,
No. 10
J. Yang, S. Li, Z. Wang, G. Yang, Jun 2019, Real-Time Tiny Part Defect Detection System
in Manufacturing Using Deep Learning, IEEE Access (Open Access), Vol. 7
P. K. Sahu, R. N. Rai, T. C. A. Kumar, Apr 2022, Grease Contamination Detection in
the Rolling Element Bearing Using Deep Learning Technique, International Journal of
Mechanical Engineering and Robotics Research, Vol. 11
Y. A. Yucesan, F. A. C. Viana, 2020, A Physics-informed Neural Network for Wind Turbinr
Main Bearing Fatigue, International Journal of Prognostics and Health Management,
Vol. 11, No. 1, pp. 1-7
Z. Jiang, S. H. Hong, B. Albia, A. A. Hood, A. J. Hall, J. Cornelius, Y. Wang, 2023,
A multi-sensor feature fusion network model for bearings grease life assessment in
accelerated experiments, Neural Computing and Applications, Vol. 35, pp. 5923-5937
D. Sinha, M. El-Sharkawy, Oct 2019, Thin MobileNet: An Enhanced MobileNet Architecture,
IEEE 10th Annual Ubiquitous Computing, Vol. electronics & mobile communication conference
(uemcon), pp. 280-285
Y. Li, H. Huang, Q. Xie, L. Yao, Q. Chen, Sep 2018, Research on a Surface Defect Detection
Algorithm Based on MobileNet-SSD, MDPI Applied Sciences (Open Access) https://www.mdpi.com/2076-3417/8/9/1678,
Vol. 8, No. 9
J. Zhang, J. Xu, L. Zhu, K. Zhang, T. Liu, D. Wang, X. Wang, 2020, An improved MobileNet-SSD
algorithm for automatic defect detection on vehicle body paint, Multimedia Tools and
Applications, Vol. 79, pp. 23367-23385
B. Ao, D. H. Kim, February 2022, Convolutional Neural Network-based Moving Pad Detection
and Landing for a Drone, Journal of Korean Institute of Intelligent Systems, Vol.
32, No. 1, pp. 27-37
저자소개
He received his BS, MS and PhD degrees from the Department of Electrical Engineering,
Hanyang University, Korea, 1n 1995, 1997 and 2001, respectively.
From 2001 to 2003, he was a Research Associate under several grants in the Department
of Electrical and Computer Engineering, Duke University, NC, USA.
In 2003, he joined Boston University, MA, USA as Visiting Assistant Professor under
several grants in the Department of Aerospace and Mechanical Engineering.
In 2004, he was engaged in Post-doctoral Research at the School of Information Science
and Technology, University of Tokyo, Japan.
Currently, he is a Professor with the Division of Electronic and Electrical Engineering,
Kyungnam University, South Korea.
His research interests include swarm intelligence, self-organization of swarm system,
mobile robot path planning, decen- tralized control of autonomous vehicles, intelli-
gent control and adaptive non-linear control.