3.1 데이터 집합

모델의 학습과 성능 평가를 위하여 한국에서 판매되는 두 종류의 아날로그 전력 계량기 이미지들로 데이터 집합을 생성하였다. 생성한 데이터 집합은 이미지와 이미지 속에 숫자 영역을 경계 상자로 지정하여 얻은 위치 정보가 포함된 Pascal VOC 형식⁽¹⁰⁾의 XML파일의 쌍으로 구성되며, 각 파일의 이름에는 숫자 영역에 표시된 네 자리 숫자를 포함한다. 각 이미지의 해상도는 2160x2160이며, RGB 컬러 이미지이다. 데이터 집합의 이미지는 모두 12000장이며, 한 종류의 계량기당 6000장이다. 계량기에 표시되는 숫자는 0000~0999 사이의 네 자리 숫자이며, 각 숫자별로 6개의 다른 시점에서 촬영된 이미지들이다. 이 후 논문에서는 두 종류의 계량기 데이터 집합을 구분하기 위해 meter1과 meter2로 지칭하겠다.

그림. 1. 데이터 집합의 계량기 이미지 샘플 (위: meter1, 아래: meter2)

Fig. 1. Sample of meter images in the dataset (top: meter1, bottom: meter2)

3.2 시스템 구조

계량기 이미지에서 카운터 숫자를 인식하기 위해서는 먼저 숫자 영역을 찾는 과정이 필요하다. 숫자 영역은 계량기 이미지 속의 다른 텍스트와 달리 검정색 상자로 둘러싸여 있어 상대적으로 구별하기 수월하나 그림 1의 meter2에 속한 계량기는 숫자 영역 외에 크기나 모양이 비슷한 또 다른 검정색 상자가 있어 잘못 감지할 소지가 있다. 또한 촬영 시점에 따라서 숫자 영역은 모양이 일정하지 않다. 따라서 검정색 상자 안에 흰색의 숫자가 4개 포함된 모양을 학습하여 하나의 객체로 식별하는 작업이 필요하다. 우리는 이 작업에 객체 감지 모델을 활용한다. 객체 감지 모델은 입력된 이미지에서 식별한 객체를 둘러싼 경계 상자의 위치와 함께 경계 상자가 그려진 이미지를 출력한다. 객체 감지의 결과로 얻은 경계 상자의 위치로 입력 이미지에서 숫자 영역을 잘라내어 광학 문자 인식의 입력으로 한다. 광학 문자 인식은 이미지에서 텍스트를 인식하기 위한 작업으로 입력된 이미지에서 문자열을 출력한다.

그림. 2. 카운터 숫자의 인식 과정

Fig. 2. Counter number recognition process

3.3 YOLO 모델 구조

본 논문에서는 숫자 영역을 찾기 위한 객체 감지 모델로 YOLO⁽¹⁾를 사용한다. 우리가 사용한 모델은 원래의 YOLO에서 입력층의 크기와 각 계층의 필터수를 축소한 네트워크 구조를 가지는 모델이다. 원래의 YOLO에 비해 정지 화상에서의 객체 감지 성능은 떨어지지 않으면서 훈련 시간이 적게 드는 장점이 있다. 우리가 사용한 YOLO는 416⨯416 크기의 입력층을 가지며 9개의 합성곱 계층과 6개의 풀링 계층으로 구성되며, 1~6번째의 합성곱 계층 뒤에는 풀링 계층이 연결된다. 1~8번째 합성곱 계층은 활성화 함수로 leaky ReLU를 사용하며, 마지막 합성곱 계층은 linear를 사용한다. 마지막 계층의 필터는 30개이며, 이는 한 개의 클래스를 분류하기 위한 개수로 숫자 영역만을 감지하기 위하여 공개된 축소화한 YOLO에서 마지막 계층의 필터수를 조정하였다. YOLO를 제안한 Redmon외 3인의 연구⁽³⁾에서의 YOLO 신경망은 입력층의 크기가 448⨯448이며, 필터의 수는 약 8천개이다. 이에 비해 우리가 사용한 축소화한 YOLO는 약 3천개의 필터를 가진다. 원 논문에서의 YOLO 모델이 숫자 영역에 보다 더 근접하게 경계상자를 그리지만, 축소화한 YOLO만으로도 인식에 필요한 숫자 영역을 충분히 얻을 수 있으며, 신경망의 규모가 반 이하라는 점은 컴퓨팅 자원의 사용을 적게 사용한다는 이점이 있다. 이러한 이유로 우리는 축소화한 YOLO를 사용하였다.

그림. 3. YOLO 모델 구조

Fig. 3. YOLO model structure

3.4 CRNN 모델 구조

본 논문에서는 객체 감지의 결과로 얻어진 숫자 영역에서 숫자를 인식하기 위하여 CRNN⁽⁴⁾을 사용한다. CRNN은 합성곱 신경망에 순환 신경망을 연결한 구조이다. CRNN은 7개의 합성곱 계층, 4개의 풀링 계층과 2개의 양방향 LSTM⁽¹¹⁾ 계층으로 구성된다. 모든 합성곱 계층은 활성화 함수로 ReLU를 사용한다. 1,2,4,6번째 합성곱 계층 뒤에 풀링 계층이 연결되며, 5,6번째 합성곱 계층에서는 배치 정규화를 한다. 마지막 합성곱 계층의 feature map은 feature sequence로 변환되어 양방향 LSTM 계층의 입력된다. 2개의 양방향 LSTM 모두 256개의 은닉층을 가진다. 입력층은 계량기 숫자 영역의 크기를 고려하여 128⨯32로 지정하였으며, 빈칸과 0~9, 총 11개의 문자를 인식하도록 출력층의 크기를 32⨯11로 지정하였다.

그림. 4. CRNN 모델 구조

Fig. 4. CRNN model structure

4.1 실험 환경 및 모델 훈련

INTEL i7-8700 3.2GHz CPU, 8GB의 시스템 메모리에 NVIDIA gtx-1080 ti GPU(3584개의 cuda코어, 11GB의 메모리)가 2개 장착된 머신에서 실험을 진행하였다. YOLO⁽³⁾와 CRNN 모두 TensorFlow⁽¹²⁾라이브러리로 모델을 구현하였다. 데이터 집합의 12000개의 샘플 중 1200개를 모델 훈련에 사용하였고 나머지 10800개를 성능 평가에 사용하였다. YOLO와 CRNN을 별도로 훈련하였고 예측 단계에서 훈련된 두 모델을 연결하였다.

그림. 5. 훈련 이미지 전처리 (좌: YOLO, 우: CRNN)

Fig. 5. Training image preprocessing (left: YOLO, right: CRNN)

YOLO 모델을 훈련하는 과정에서 시간을 절약하기 위하여 입력층의 크기에 맞게 이미지 크기를 2160⨯2160에서 416⨯416로 축소한 이미지들과 이에 맞게 값이 수정된 축소한 이미지와 쌍을 이루는 XML파일들을 훈련 데이터를 구성하였다. CRNN은 선명한 글자로 훈련하기 위해 축소한 이미지가 아닌 원본에서 경계 상자 영역을 잘라내어 입력층의 크기에 맞게 크기를 조정한 이미지들과 이미지 파일 이름의 앞 4글자를 레이블로 사용하여 훈련 데이터를 구성하였다. CRNN의 훈련에는 손실함수로 CTC(Connectionist Temporal Classification)⁽¹³⁾를 사용하며 YOLO의 손실함수는 수식(1)⁽³⁾과 같다. 전처리된 훈련 데이터로 두 모델을 훈련하는데 사용한 최적화 알고리즘은 Adam optimizer이며, 두 모델 모두 동일하게 learning rate는 0.0001, batch size는 12로 하여 400세대 훈련하였다.

4.2 성능 평가 도구

모델의 성능을 평가하기 위한 도구로 AP(Average Precision)를 사용하였다. 정확한 인식을 위해서는 경계 상자 내부에 4개의 숫자가 모두 있어야 한다. 따라서 객체 감지 모델이 감지한 경계 상자 영역과 실제 경계 상자 영역의 IoU(Intersection over Union)⁽¹⁰⁾가 0.7이상인 것을 정확히 감지한 것으로, 경계 상자가 둘 이상이거나 없는 것은 잘못 감지한 것으로 간주하였다. 또한 인식 성능은 CRNN 모델이 출력한 문자열과 실제 이미지의 텍스트가 일치하면 정확히 인식한 것으로, 한 글자라도 틀리면 잘못 인식한 것으로 간주하였다.

4.3 객체 감지 모델 성능 비교

우리는 자동차 번호판 인식에 관한 Li 외 2인의 연구에서 검증된 객체 감지 모델인 Faster-RCNN⁽²⁾보다 계량기에서 숫자영역을 감지하는 문제에 YOLO가 더 적합하다는 점을 검증하기 위하여 두 모델의 성능을 비교하였다. 두 모델 모두 동일하게 learning rate는 0.0001, batch size는 12로 하여 400세대 훈련하였으며, 훈련에 사용된 이미지의 해상도는 2160×2160이다.

두 모델 모두 meter1과 meter2로 각각 훈련하여 다른 데이터 집합에 교차검증 하였을 때는 감지가 되지 않았으며, 표 1에서 보이는 결과와 같이 YOLO⁽³⁾가 Faster-RCNN에 비하여 모든 데이터 집합에 있어 더 나은 감지 성능을 보였고, 감지 속도 역시 평균적으로 두 배에 가깝게 빨랐다. 이는 구조가 단순하다는 점에서 기인한 결과라 판단되며, GPU를 사용하지 않은 제한적인 성능을 가지는 머신에서 시스템을 구동한다면 감지하는데 걸리는 시간의 차이가 더 커질 것이라 예상된다. 이런 점에서 볼 때, YOLO가 더 적합한 모델이라 할 수 있겠다.

4.4 YOLO 학습

YOLO⁽³⁾의 감지 성능을 최대로 얻기 위한 적합한 훈련 세대를 찾기 위하여 100세대마다 감지 성능을 측정하였다. 100세대를 훈련하였을 때는 경계상자를 그리지 못하였고, 200세대부터 점차 증가하여 400세대에 이르러 99.84%의 감지 성능을 보였으며, 이후로는 더 이상 증가하지 않았다.

해상도가 2160×2160인 1200장의 이미지로 400세대 훈련을 하였을 때, 49.68시간이 소요되었다. 학습에 걸리는 시간을 단축할 방법으로 YOLO의 입력층과 동일하게 훈련에 사용할 이미지의 크기를 416×416으로 축소하여 같은 양을 훈련하였다. 그 결과 3.2시간이 걸렸으며, 감지 성능은 소폭 감소하였지만 훈련 시간을 크게 줄일 수 있었다.

4.5 인식 성능 평가

우리는 두 모델을 각각 자체의 성능을 테스트하였고, 또한 두 모델을 연결한 전체 시스템의 인식 성능을 테스트하였다. 표 6은 전제 이미지가 아닌 숫자영역만을 잘라낸 이미지로 CRNN⁽⁴⁾을 실험한 결과이다. 테스트한 10800개의 숫자영역 이미지에서 10658개의 텍스트를 정확히 인식하였으며 98.68%의 성능을 보였다.

표 5는 YOLO⁽³⁾와 CRNN을 연결한 모델의 성능을 평가한 결과이다. YOLO는 10800개의 테스트 이미지 중 10780개의 이미지에 정확히 숫자 영역을 감지하였으며, CRNN은 이들 중 10619개의 텍스트를 정확히 인식하였다. 결과적으로 시스템 전체의 성능은 98.32%을 보였다. CRNN의 성능이 숫자 영역만을 가지고 테스트한 결과보다 소폭 감소한 이유는 CRNN에서 인식할 수 있는 숫자 영역을 YOLO에서 감지하지 못했기 때문이다. 이를 개선하기 위해서는 YOLO가 감지하지 못한 이미지들로 추가적인 학습을 한다면 성능을 더 높일 수 있을 것이라 기대한다.