1. 서 론

전기 설비란 송배전 및 전기 사용을 가능하게 하는 다양한 기계, 기구 등으로, 생활에 안정적인 전력 공급을 위한 필수 요소이다. 전기 설비들은 전기안전성 확보를 위해 보호 및 감시장치 등을 시설하여 직류 누설전류, 절연저항과 같은 설비 상태를 모니터링하는 경우가 많으며, 이러한 다양한 상태 정보를 디스플레이 장치를 통해 보여주거나 통신을 통해 외부에 제공해주고 있다. 하지만, 전기 설비가 통신 기능을 제공하지 않거나 여건상 통신 환경을 구축하기 어려운 상황, 혹은 통신 기능에 오류가 발생한 경우, 사람이 직접 육안으로 상태 정보를 확인해야 하므로 이러한 상태 정보 제공이 원활하지 않을 수 있다. 그 결과 중요한 상태 정보가 누락될 수 있고, 최악의 경우 비상 제어 수행에 문제가 발생할 수 있다. 특히 원격감시 제어 시스템처럼 통신 의존도가 높은 상황에서는 통신 기능 오류로 인한 상태 정보 누락 자체를 인지하지 못할 가능성이 있어 그 피해는 더 커질 수밖에 없다. 따라서, 전기 설비의 통신이 원활하지 않은 상황에서도 이러한 설비의 정보들을 추출하고 제공해줄 방법이 필요하다.

최근, 보안상 이슈로 전기 설비 주변에 CCTV들이 설치되어 있다. CCTV는 365일 24시간 동작하고 있어, 설치 환경에 따라서는 항상 전기 설비의 디스플레이 정보를 영상으로 얻을 수 있다. 본 논문에서는 CCTV 영상을 통해 전기 설비의 상태 정보를 추출하는 방법을 제안한다. CCTV 영상에서 설비의 디스플레이로부터 정보를 추출함으로 앞서 이야기한 원활하지 않은 통신으로 인해 발생하는 문제점을 해결하고자 한다.

CCTV 영상에서 전기 설비 상태 정보를 추출함에 있어 중요하게 고려할 것은 영상 품질이다. 일반적으로 CCTV에서는 영상을 저해상도로 촬영한다. 이러한 저해상도 영상을 입력으로 정보를 추출하는 모듈을 수행할 경우, 낮은 정보 추출 성능을 얻게 된다⁽¹⁾. 이는 영상 해상도가 낮아 정보 추출 모듈이 정상적으로 동작하지 않기 때문이다. 즉, 영상으로부터 정확한 정보를 추출하기 위해서는 영상 품질을 개선할 필요가 있다.

C본 논문에서는 학습 기반 이미지 초해상화(super-resolution)를 통해 저해상도 영상을 고해상도 영상으로 품질을 개선한 후, 문자 인식기를 통해 정보를 추출하는 방법을 제안한다. 본 논문에서는 이미지 초해상화를 위해 현재 우수한 성능을 보이고 있는 Enhanced Super-Resolution Generative Adversarial Networks (ESRGAN)⁽²⁾을 사용하였다. ESRGAN은 생성적 적대 신경망(Generative Adversarial Network) 기반의 초해상화 모델로, 영상의 디테일한 부분을 잘 살리면서 초해상화를 수행하는 특징이 있어 작은 글자를 초해상화하기에 적합하다.

C또한, 본 논문에서는 ESRGAN을 학습함에 있어 기존 초해상화 데이터셋들이 실제 전기 설비 디스플레이 영상 품질 향상에 적합하지 않음을 실험적으로 보인다. 이를 통해 전기 설비 디스플레이 영상 품질 향상을 위해서는 전기 설비 디스플레이에 적합한 데이터셋이 필요함과 동시에 적절한 초해상화 모델이 필요함을 확인한다. 실험을 위해 전기 설비의 상태 정보가 담긴 영상들로 데이터셋을 구축하고, 비교 모델과의 초해상화 및 문자 인식 결과를 비교한다.

2. 관련 연구

다양한 신경망과 함께 딥러닝을 활용하여 저해상도의 이미지를 고해상도 이미지로 변환하는 이미지 초해상화 연구가 활발히 진행되고 있다^(3,4). 간단한 합성곱 신경망을 활용한 SRCNN 초해상화 모델을 시작으로 복잡한 합성곱 신경망을 활용하는 VDSR, SRResNet, EDSR 등이 제안되어왔다^(5-8). 이러한 합성곱 신경망 기반의 초해상화 모델은 주로 PSNR, SSIM 등의 정량적 평가 지표를 사용하여 고해상도 이미지를 복원했는지 평가한다. 이로 인해 사람이 보기에는 흐릿해 보이는 영상도 평가 지표 상으로는 높은 점수를 받을 수 있었다. 이러한 단점을 극복하고자 SRGAN이 제안되었다⁽⁷⁾. SRGAN은 생성적 적대 신경망⁽⁹⁾을 활용하여 학습하는 초해상화 모델이다. 두 신경망은 서로 적대 학습하며, 학습된 생성기를 통해 생성된 결과물은 정량적 평가 지표로 낮은 수치를 얻었지만, 인지적으로 뛰어남을 보였다. SRGAN 이후 생성적 적대 신경망을 활용하여 EnhanceNet, ESRGAN, SRFeat, CinCGAN 등으로 연구되어왔다^(10-12).

일반적으로 이미지 초해상화 모델은 학습 데이터에 크게 영향을 받아 기학습된 초해상화 모델을 다른 응용 도메인에 그대로 적용하면 낮은 성능을 보인다⁽¹³⁾. 따라서, 많은 연구들이 응용 도메인에 맞도록 데이터를 구축하고 있다. 이러한 연구로 원격 탐사 위성 영상 품질 개선, CCTV 영상 품질 개선, 군사용 SAR 영상 품질 개선, 저해상도 얼굴 인식 개선 등의 연구가 있고, 텍스트 영상 분야에서는 차량 번호판 품질 개선, TextZoom 데이터셋 구축 등이 연구 중에 있다^(14-19). 아직 초해상화를 활용하여 전기 설비에 부착된 디스플레이 영상 품질을 개선하고자 하는 연구는 없었으며, 본 논문에서는 위 응용 도메인에 적합한 데이터 수집 및 초해상화 모델들에 대해 살펴본다.

3. 영상 초해상화를 통한 디스플레이 정보 추출

본 논문에서 제안한 전기 설비 정보 추출은 그림<1>과 같이 이뤄진다. 먼저, CCTV로부터 저해상도 영상을 얻은 후, 여기서 이미지 프로세싱을 거쳐 디스플레이 부분만 추출한다. 다음으로 추출된 영상을 초해상화 모델을 통해 고해상도 이미지로 변환한다. 이를 통해 저해상도 영상을 고해상도 영상으로 품질을 개선하여 향후 문자 인식이 더 잘 수행될 수 있도록 한다. 그 뒤, 변환된 고해상도 이미지를 문자 인식기에 입력하여 인식된 문자 정보를 추출한다.

그림 1 제안한 방법의 전체 흐름도

Fig. 1 Overall process of the proposed method

본 논문에서 ESRGAN⁽²⁾을 초해상화 모델로 사용한다. ESRGAN (Enhanced SRGAN)은 기존 초해상화 모델인 SRGAN을 세 가지 측면에서 개선한 모델이다. SRGAN은 생성적 적대 신경망을 활용하여 초해상화를 수행한다. 생성적 적대 신경망은 학습 데이터와 유사한 가공의 데이터를 만들어내는 생성 모델의 한 종류로, 임의의 노이즈를 입력받아 학습 데이터의 분포와 유사한 분포를 갖는 데이터를 생성할 수 있다⁽²⁰⁾. 이를 위해 판별자와 생성자라는 역할을 도입한다. 판별자의 학습 목표와 생성자의 학습 목표는 각각 식(1), 식(2)와 같으며, 이는 판별자의 판별성능 최대화와 최소화라는 두 상반된 목표를 의미한다. 이 때, G는 생성자, D는 판별자, x는 학습 데이터, z는 생성 데이터를 생성하기 위해 생성자에 입력으로 주어지는 임의의 노이즈이다.

적대 학습은 이러한 판별자와 생성자가 교대로 학습하며 진행된다. 먼저 판별자는 학습 데이터와 생성 데이터를 입력받아 이들을 구별하도록 훈련한다. 다음으로 생성자는 임의의 노이즈를 입력받아 생성 데이터를 생성하고 이를 판별자에게 넘겨 학습 데이터 즉, 실제 데이터로 판별받도록 훈련한다. 생성자 학습이 진행되는 동안 판별자는 학습을 멈춰 생성 데이터가 학습되는 상황을 방지한다. 결과적으로 생성자는 판별자로부터 실제 데이터로 판별받기 위해 더 정교한 생성 능력을 훈련하게 된다^(21,22). Goodfellow는 실제 분포와 생성 분포가 유사해지는 과정을 Kullback-Leibler Divergence와 Jensen-Shannon Divergence를 통해 설명하였다⁽⁹⁾. 실제 구현에서는 두 분포의 차이를 최소화하기 위해 이진 교차 엔트로피 손실 등을 사용할 수 있다. 그림<2>는 생성적 적대 신경망의 구조를, 그림<3>은 적대 학습 과정을 보여준다.

그림 2 생성적 적대 신경망의 구조

Fig. 2 Structure of GAN

그림 3 생성적 적대 신경망의 학습

Fig. 3 Training of GAN

SRGAN은 초해상화 작업에 생성적 적대 신경망의 적대 학습 원리를 적극 활용한다. 실제 고해상도 이미지와 예측한 고해상도 이미지를 픽셀 대 픽셀로 비교한 차이만을 학습에 활용한 기존 합성곱 기반 초해상화 모델들과 달리, 적대 학습 원리에서 발생하는 두 신경망 사이의 경쟁적 요소를 활용하여 고해상도 생성 이미지를 실제 데이터로 판별받도록 훈련한다. 또한 고해상도 학습 이미지의 특징맵과 고해상도 생성 이미지의 특징맵을 비교하여 둘 사이의 오차를 학습한다. 특징맵을 추출하는 역할은 합성곱 신경망 기반의 특징 추출기가 담당한다. 그림<4>는 SRGAN의 구조를, 그림<5>는 SRGAN의 적대 학습 과정을 보여준다.

ESRGAN은 기본적으로 SRGAN 구조를 가지고 있으며, 기울기 소실 문제를 완화하기 위해 ResNet에서 제안한 잔차 학습과 이전 계층의 정보 소실을 완화하기 위해 DenseNet에서 제안한 조밀한 연결 구조를 폭넓게 적용하여 신경망의 깊이를 더욱 깊게 하고 비선형성을 높여 풍부한 특징 추출이 가능하도록 하였다. 또한, 학습 과정에서 고해상도 학습 이미지의 정보를 활용하기 위해 판별자에 고해상도 학습 이미지와 고해상도 생성 이미지를 동시에 입력하여 상대적으로 비교한다. 마지막으로 ESRGAN은 보다 풍부한 특징 정보를 활용하기 위해 활성화 계층을 여러 번 통과하기 전으로 특징 추출 시점을 앞당겼다.

그림 4 SRGAN의 구조

Fig. 4 Structure of SRGAN

그림 5 SRGAN의 적대 학습

Fig. 5 Adversarial Learning of SRGAN

고해상도로 변환된 영상에서 정보를 추출하기 위해 본 논문에서는 EasyOCR 문자 인식기를 사용하였다. 널리 사용되는 오픈소스 OCR 엔진인 Tesseract와 EasyOCR의 사전 비교 결과, 디스플레이 문자 인식에 있어 EasyOCR이 더 나은 성능을 보여주었다. 따라서 본 논문에서 정보를 추출하고 문자 인식 점수를 계산하기 위한 도구로 EasyOCR이 적합하다고 판단하였다. EasyOCR은 이미지를 읽어 인식한 문자의 위치 정보와 문자값을 출력하며, 영어, 중국어, 한국어 등 80개 이상의 언어를 지원한다. 내부적으로는 영상에서 문자 객체를 찾아내는 검출기, 검출된 객체가 실제 어떤 문자인지 인식하는 인식기로 구성되어 있다. 특히 검출 모듈로 네이버 Clova AI의 CRAFT 모델을 사용한다. 일부 7-세그먼트 글꼴의 경우 EasyOCR에서 인식률이 낮게 나오는 경향이 있어, 미리 7-세그먼트 숫자 데이터를 학습시킨 합성곱 분류 신경망을 보조적으로 활용하였다.

4. 실 험

4.2 초해상화 테스트

먼저 정보 추출 성능을 평가하기에 앞서, 저해상도의 테스트 데이터를 입력으로 각 모델들이 생성한 초해상화의 결과를 살펴보고자 한다. 직류 누설전류 감시장치, 직류 전원 공급장치 등의 디스플레이로부터 얻은 상태 정보 숫자 영상 5종에 대한 초해상화 결과는 그림<6>과 같다.

먼저 초해상화를 수행하지 않는 이미지 결과에서 볼 수 있듯이 초해상화를 수행하지 않고서는 정보를 추출하기 힘든 이미지가 있음을 볼 수 있다. 반면 초해상화를 수행한 이미지들은 수행하지 않는 이미지들보다 품질이 좋은 결과를 얻는 것을 볼 수 있다. 이를 통해 설비 디스플레이에서 정보를 추출하기 위해서는 초해상화가 필요함을 알 수 있다.

초해상화 모델을 수행한 이미지들 모두 유사한 결과를 내는 것을 볼 수 있다. 하지만, 디스플레이 데이터셋으로 학습한 모델의 예측 결과물이 지각적 품질 면에서 가장 우수한 것을 볼 수 있다. 이를 통해 전기 설비 디스플레이 영상 품질 향상을 위해서는 디스플레이에 적합한 데이터셋으로 학습할 필요가 있음을 보여준다.

그림 6 학습 데이터셋에 따른 초해상화 이미지

Fig. 6 Super-resolved image according to training dataset

표 3 초해상화에 따른 문자 인식 점수

Table 3 Character recognition score according to SR model

모델	점수
No SR	0.39
ESRGAN (DIV2K)	0.45
ESRGAN (ICDAR2015)	0.41
ESRGAN (SVHN)	0.47
SRGAN (Display)	0.49
ESRGAN (Display)	0.50

4.3 정보 추출 성능 평가

표<3>은 비교 모델과 제안한 방법의 정보 추출 성능을 보여준다. 전반적으로 초해상화 적용 그룹의 문자 인식률이 높은 것을 확인할 수 있다. 초해상화를 적용하지 않았을 때와 디스플레이 데이터를 학습했을 때 문자 인식 결과에 큰 차이가 있었다. 점수 상승폭은 0.11점으로 추출 성능이 22% 개선되었다. DIV2K를 학습한 모델에 비해서는 0.05점이 높아져 10% 개선되었다. ICDAR2015를 학습한 모델에 비해서는 0.09점이 높아져 18% 개선되었다. SVHN을 학습한 모델에 비해서는 0.03점이 높아져 6% 개선되었다. SRGAN에 비해서는 0.01점이 높아져 2% 개선되었다. 이를 통해 ESRGAN이 SRGAN보다 디스플레이 영상에서 정보 추출에 더 적합함을 볼 수 있다.

그림<7>은 직류 누설전류 감시장치, 직류 전원 공급장치 등의 디스플레이로부터 얻은 또 다른 상태 정보 숫자 영상 6종에 대한 초해상화 결과 및 문자 인식 결과를 보여준다. 초해상화를 적용하지 않은 경우, 문자 영역은 검출되더라도 문자 인식에서 실패하는 경우가 많았다. 반면, 초해상화를 적용한 결과에서는 문자 인식이 잘 되는 것을 보여준다. DIV2K를 학습한 모델은 배경이 밝은 디스플레이 영상에 대해 문자 영역 검출이 다소 떨어지는 경향을 보였으나, 디스플레이 데이터를 학습한 모델은 배경이 밝은 디스플레이 영상에서도 문자 영역 검출이 잘 되었으며 문자 인식률 또한 앞서는 경향을 보였다. ICDAR2015를 학습한 모델의 경우 다른 모델에 비해 배경이 밝은 디스플레이 영상에 대해 문자 인식이 다소 떨어지는 경향을 보였으며, SVHN을 학습한 모델의 경우 어두운 배경의 밝은 문자에 대해 문자 인식이 다소 떨어지는 경향을 보였으나, 디스플레이 데이터를 학습한 모델은 전체적으로 안정적인 모습을 보여주었다.

그림 7 초해상화 이미지 및 문자 인식 결과

Fig. 7 Super-resolved image and its OCR result according to training dataset

4.5 전기설비 상태정보 추출

제안한 방법을 직류 누설전류 감시장치 KA-DLC-30에 적용하였다. 해당 장치의 모드버스 통신 기능을 중지한 상태에서 디스플레이 영상만을 사용해 상태정보 추출을 시도하였다. 그림<8>은 누설전류 감시장치와 디스플레이 확대 모습을 보여준다. 디스플레이는 4개의 숫자를 표시하며, 소수점과 단위(mA) 표기 등으로 구성된다. KEC에서 제시하는 누설전류 기준값은 1mA이다. 실험을 위해 그림<9>와 같이 임의의 누설전류를 측정하여 디스플레이에 다양한 숫자가 표시되도록 하고, 문자 인식을 진행하였다. 초해상화를 적용하지 않았을 때는 영상의 낮은 해상도로 인해 문자 인식이 어려운 반면, 제안한 방법을 적용했을 때는 개선된 영상 품질에 따라 문자 인식 성능이 향상되어 상태정보가 잘 추출되었다. 디스플레이에 표시된 실제 누설전류 측정값은 왼쪽에서부터 0.5, 37.5, 44.3, 38.8이며, 단위는 mA이다. 추출한 값에 스케일을 적용하면 실제 누설전류 측정값과 동일한 값을 얻을 수 있다.

그림 8 누설전류 감시장치 및 디스플레이 확대 사진

Fig. 8 IMD and its display(zoomed)

그림 9 초해상화에 따른 IMD 문자 인식 결과

Fig. 9 OCR result of IMD according to SR

5. 결 론

본 논문에서는 직류 누설전류 감시장치 등 저압 직류 전기 설비의 안전 상태 정보를 나타내는 저해상도 디스플레이 영상에서의 정보 추출을 위해 ESRGAN 기반의 이미지 초해상화를 사용하여 고해상도 영상으로 품질을 개선한 후, 문자 인식기를 통해 정보를 추출하는 방법을 제안하였다. 제안하는 방법과 비교 모델을 사용한 영상 품질 개선 실험 결과, ESRGAN 모델의 디스플레이 데이터 학습을 통해 더 높은 문자 인식률을 얻을 수 있었다. 학습에 사용된 데이터셋의 종류 및 수량에 따라 복원된 영상의 문자 인식률이 달라지는 것을 확인하였다.

본 논문에서는 전처리 단계에서 낮은 해상도를 높은 해상도로 변환하는 이미지 초해상화만을 적용하였으나, 실제 환경의 영상에는 낮은 해상도 뿐만 아니라 조명, 이물질에 의한 잡음, 카메라 이미지 프로세서에서의 처리, 영상 압축 등 다양한 열화 원인이 존재하므로 이러한 열화를 극복하기 위한 추가적 연구가 필요하다. 또한, 보다 높은 성능을 위해서는 신경망 구조, 업스케일 방법 및 손실 함수에 대한 개선, 양질의 데이터셋 확보, 다양한 배율에 대한 초해상화 등이 고려되어야 할 것이다.

마지막으로, 제안한 기술을 직류 누설전류 감시장치에 적용하여 전기 설비로부터 안전 상태 정보 추출이 가능함을 보였다. 이로부터 통신이 원활하지 않은 상황에서 CCTV 영상으로부터 안전 상태 정보를 추출하여 통신 이상시 긴급 상황에 대응한 전기재해 예방에 기여할 것으로 기대된다.