1. 서 론

영상 신호는 다양한 원인에 의해서 손상될 수 있다. 영상 신호에 불규칙한 잡음이 더해져서 생기는 손상, 영상을 촬영할 때 발생하는 움직임에 의한 motion blur, 영상이 전체적으로 흐릿해지는 Gaussian blur, 영상의 일부분이 손실되는 왜곡 등의 다양한 원인으로 영상 신호가 손상될 수 있다. 이렇게 손상된 영상을 복원하기 위해서 다양한 기법들이 연구되고 있다. 영상의 잡음을 제거하기 위한 denoising 기법, motion blur 혹은 Gaussian blur에 의해서 발생한 손상을 복원하기 위한 deblurring 기법 혹은 일부 손실된 부분을 복원하는 inpainting 기법 등에 대한 연구가 진행되어 왔다^[1-21].

영상 복원을 위해서 iterative 기법을 이용한 최적화가 많이 연구되었는데^[1-3], 최근에는 딥 러닝을 사용한 영상 복원 기법이 그 성능의 우수함으로 많이 연구되고 있다^[7-21]. 딥 러닝 기법은 물체 인식 등의 분야 뿐 만 아니라 다양한 영상 처리 분야에 적용되어 우수한 성능을 보이는 것이 입증되었는데, 영상 복원 분야에서도 다양한 딥 러닝 기법이 연구되고 있다. 특히 영상의 손상 원인을 알 수 없는 blind image restoration에서 딥 러닝 기법은 기존의 복원 기법에 비해서 우수한 복원 성능을 보이는 것이 입증되고 있다.

본 논문에서는 딥 러닝 기법을 사용하여 다양한 원인으로 손상된 영상을 복원하는 기법을 연구한다. 가산 잡음, motion blur 혹은 Gaussian blur 등의 다양한 원인에 의해서 손상된 영상을 손상 원인을 알 수 없을 때 복원하기 위한 효율적인 방법을 연구한다. 이를 위하여 영상 복원을 위한 개선된 구조의 deep neural network을 제안하고 이를 최적화하기 위한 딥 러닝 방법을 연구한다. 영상 복원을 위한 deep neural network으로는 ResNet 혹은 U-Net 등이 많이 사용되는데^{[14,18, 22-24]}, 본 논문에서는 ResNet 구조에서 수렴 성능을 향상시키기 위해서 사용되는 short cut 구조를 U-Net 구조에 적용하여 수렴 성능을 높이는 구조를 제안한다. 다양한 손상 및 영상에 대한 실험 결과 제안하는 구조를 사용한 경우에 기존의 deep neural network을 사용한 경우에 비해서 우수한 영상 복원 성능을 보임을 입증한다.

2. 영상 손상 및 복원

다양한 원인에 의해서 손상된 영상 신호 $y$는 다음 식 (1)과 같이 원 영상 $x$가 특정한 blur kernel $h$와 convolution 연산 후에 가산 잡음 $n$이 더해진 것으로 나타낼 수 있다^[3,5].

식 (1)에서 blur kernel $h$에 의해서 영상 blurring 정도와 형태가 결정되는데 blur kernel의 특성에 따라서 motion blur 혹은 Gaussian blur 등의 손상 형태가 결정된다. Blur kernel을 모르는 상태에서 손상된 영상으로부터 원영상 $x$를 추정해야 하는 blind deblurring 문제는 무수히 많은 $x$와 $h$로부터 최적의 해를 추정해야 하는 severely ill-posed problem이다^[3,5]. 가산 잡음 $n$에 의해서 손상된 영상을 복원하는 denoising에 대한 다양한 연구도 진행되어 왔다^[7]. 그림 1에 가산 잡음에 의해서 영상이 손상되는 경우와 motion blur 혹은 Gaussian blur에 의해서 영상이 손상되는 등의 다양한 원인에 의해서 손상된 영상을 도시하였다.

그림 1. 다양한 원인에 의해 손상된 영상 (위 영상 : 원영상, 아래 왼편부터 : 가산 잡음에 의해서 손상된 영상, Gaussian blur에 의해서 손상된 영상, motion blur에 의해서 손상된 영상)

Fig. 1. Images degraded by various factors (Top image: original image, from the bottom left: image damaged by additive noise, image damaged by Gaussian blur, image damaged by motion blur)

3. 딥 러닝을 이용한 영상 복원

손상된 영상을 복원하기 위한 다양한 방법이 연구되어 왔는데, 최근에는 딥 러닝 기법을 사용한 영상 복원 방법이 많이 연구되고 있다^[7-21]. 딥 러닝을 사용하여 영상을 복원하기 위해서는 최적의 구조를 갖는 deep neural network과 이를 학습하기 위한 효율적인 딥 러닝 방법을 연구해야 한다.

영상 복원을 위한 deep neural network으로는 ResNet 구조 혹은 U-Net 구조의 deep neural network이 많이 사용된다^{[14,18, 22-24]}. ResNet은 layer 수가 증가할 때 수렴 성능이 저하되는 문제를 해결하기 위하여 기존의 경로에 short cut을 추가한다. 그림 2에 도시한 것과 같이 ResNet 구조에서는 기존의 layer를 거치는 경로 이외에 추가적인 경로인 short cut을 추가한다. 이러한 short cut은 각 layer의 weight를 학습할 때 다양한 경로를 제공하여 각 layer가 안정적으로 학습되도록 함으로써 layer 수가 증가할 때 발생할 수 있는 vanishing gradient 문제 등의 성능 저하 문제를 크게 감소시킬 수 있다^[22,23]. 반면에 그림 3에 도시한 U-Net은 auto encoder 구조에 skip connection을 추가함으로써 auto encoder의 수렴 성능을 향상시키는 구조를 갖는다^[24]. Auto encoder 구조는 영상의 특성을 추출하는 encoder 부분과 추출된 특성 벡터들로부터 영상을 복원하는 decoder 부분으로 구성된다. Encoder 부분은 다수의 contractive stage가 직렬로 연결된 형태를 갖는데 각 stage를 거칠 때마다 특성 벡터의 크기는 줄어들고 channel 수는 늘어나는 구조를 갖는다. Decoder 부분에서는 다수의 expansive stage가 직렬로 연결된 형태를 갖는데 encoder에서 추출된 특성 벡터를 이용하여 영상을 복원한다. Expansive path의 각 stage를 거치면서 크기는 커지고 layer 수는 줄어들어서 마지막에는 원 영상과 같은 크기를 갖는 영상을 복원하게 된다. Contractive path의 encoding 과정에서 손실될 수 있는 영상의 특성은 skip connection을 이용하여 expansive path의 decoding 과정에 전달됨으로써 skip connection이 없는 auto encoder에 비해서 수렴 성능을 향상시킨다. U-Net에 손상된 영상이 입력될 때 딥 러닝 과정에서 contractive path에서 추출된 특성 벡터가 원 영상의 특성 벡터에 최대한 근접하도록 훈련되고 추출된 특성 벡터가 expansive path를 거치며 원 영상에 최대한 가깝게 복원되도록 U-Net이 학습된다.

그림 2. ResNet

Fig. 2. ResNet

그림 3. U-Net

Fig. 3. U-Net

4. Image restoration을 위해서 제안하는 deep neural network

영상 복원 혹은 영상 인식 등을 포함한 영상 처리를 위한 딥 러닝 기법은 주로 CNN(convolutional neural network)을 사용한 기법이 주로 연구되어 왔는데 최근에는 transformer 구조를 사용한 딥 러닝 기법이 많은 주목을 받고 있다. 영상 복원 분야에서도 transformer 구조를 사용한 딥 러닝 기법이 연구되고 있는데^[19-21], transformer 구조는 CNN 구조와 완전히 다른 접근 방법을 사용한 방법이고 우수한 성능을 보이지만 전체적인 복잡도는 크게 증가한다. 본 논문에서는 영상 복원을 위해서 CNN 구조를 사용할 때 영상 복원 성능을 극대화하기 위해서 기존의 구조를 개선하는 방법을 연구한다. 딥 러닝을 이용하여 영상을 복원할 때 영상 복원 성능을 극대화하기 위하여 먼저 3장에서 설명한 U-Net의 구조를 개선한 구조를 제안한다. 그림 4에 기존의 U-Net의 구조를 개선하기 위해서 contractive path와 expansive path의 각 stage에서 사용되는 새로운 구조를 제시하였다. 제안하는 U-Net은 ^[18]에서 제안한 구조를 개선하였는데, ResNet에서 사용되는 short cut 구조를 U-Net의 contractive path와 expansive path의 각 stage에 적용하여 딥 러닝 과정에서 수렴 성능을 향상시킨다. Short cut을 U-Net에 적용하기 위한 다양한 구조에 대해서 성능을 분석하여 그중에서 우수한 성능을 보이는 구조를 정리한 ResN 구조를 그림 4에 제시하였다. 제안하는 구조에서는 contractive path와 expansive path의 각 stage에 ResN 블록이 적용되어 수렴 성능을 향상시킨다. 그림 4에서 제시하는 것과 같이 전체 구조에서의 ResN 블록의 위치 및 사용 방법, ResN 블록의 내부 구조 및 ResN 블록에서 사용되는 정규화 (normalization) 방법에 따라서 제안하는 구조는 다양하게 구성될 수 있다. 특히 contractive path에 사용하는 ResN을 병렬 구조로 연결하여 contractive path의 각 stage 당 2 배로 증가하는 channel 수에 대응하면서 short cut 구조를 유지할 수 있는 구조도 제시하였다.

Deep neural network은 학습이 진행됨에 따라서 각 계층별로 입력의 데이터 분포가 달라지는 internal covariance shift 현상이 발생하게 된다. 이러한 현상은 딥 러닝의 수렴 성능에도 영향을 미치게 되는데 데이터를 학습시키는 단위인 batch 별 평균과 분산을 이용하여 internal covariance shift 현상을 개선하기 위해서 제안된 방법이 batch normalization 방법이다^[25]. Batch에 속해있는 데이터의 평균과 분산을 구하고 정규화를 통하여 분포를 조정한다. 식 (2)와 (3)을 이용하여 평균 $\mu_{i}$과 표준 편차 $\sigma_{i}$을 계산하고 식 (4)와 (5)를 이용하여 데이터 분포를 개선하는데 $S_{i}$는 평균과 분산이 계산되는 데이터 집합을 의미한다. Batch normalization에서 $S_{i}$는 batch에 속하는 데이터 집합을 의미한다. 식 (4)의 $\epsilon$은 정규화할 때 분모가 0이 되는 것을 방지하기 위해서 사용하며 식 (5)의 $\gamma$와 $\beta$ 값은 scale과 shift를 위해서 사용되는데 back propagation에서 학습되고 활성 함수의 종류에 맞게 데이터 분포를 변화시킬 수 있다.

이러한 batch normalization 방법을 이용하여 internal covariance shift 현상을 개선하면 deep neural network의 계층이 깊어질 때 학습이 어려워지는 점을 개선할 수 있다. Batch normalization 기법이 제안된 이후로 다양한 normalization 기법이 제안되었다^[26-29]. 식 (2)와 식 (3)의 평균과 분산이 계산되는 데이터 집합 $S_{i}$에 의해서 각 normalization 기법을 구분할 수 있다. 그림 5에 각 normalization 기법에 따른 집합 $S_{i}$를 비교하였다^[28]. Layer normalization은 각 channel에 대한 평균과 분산을 구하기 때문에 $S_{i}$가 batch의 크기와 무관한 특성이 있다^[26].

Instance normalization은 mini-batch 내의 영상 한 장씩 만을 사용하고 영상 스타일 변환에 주로 이용된다^[27]. Group normalization 방법은 layer normalization과 같이 batch와 독립적으로 정규화를 진행하는데 채널 내의 데이터를 일정 크기의 그룹으로 나누어서 정규화를 수행한다^[28]. Group normalization은 작은 batch size에 대해서도 잘 동작하는 장점이 있다. 지금까지 설명한 normalization 방법은 activation layer의 전 단계에서 사용되는데, normalization layer와 activation layer를 통합하여 최적화하는 방법이 제안되었다. 식 (6)을 사용하는 EvoNorm 기법은 다른 normalization 기법과 유사한 형태로 계산되지만 sigmoid 연산을 같이 수행하여 별도의 activation layer를 사용할 필요가 없다^[29].

식 (6)에서 scale과 shift를 위해서 사용되는 $\gamma$, $\beta$와 $v_{1}$은 back propagation 과정에서 학습되고, $s^{2}$와 $\sigma$는 각각 분산과 sigmoid 함수를 의미한다.

그림 4. 제안하는 U-Net 구조

Fig. 4. Proposed U-Net structure

그림 5. Normalization에 사용되는 데이터 집합

Fig. 5. Dataset used for normalization

지금까지 설명한 normalization 기법을 제안하는 구조의 ResN 블록에 적용하였을 때의 성능을 분석하였는데 normalization 기법 중에서 batch normalization, group normalization 기법 및 normalization 기법과 activation 기법을 통합한 EvoNorm 기법이 제안하는 구조에 적용하였을 때 우수한 성능을 보이는 것을 확인하였고 성능 분석 결과를 5장에 제시하였다.

5. 성능 평가

본 논문에서 제안하는 deep neural network의 영상 복원 성능을 분석하기 위하여 다양한 원인으로 손상된 영상을 딥 러닝 기법을 이용하여 복원하고 성능을 평가하였다. 모션 블러로 손상된 영상의 복원 성능 평가를 위하여 사용되는 GoPro 영상과^[16] 가우시안 블러로 손상된 영상 및 가산 잡음에 의해서 손상된 영상을 사용하여 deep neural network을 학습하고 성능을 평가하였다.

다양한 종류의 손상에 대응할 수 있는 딥 뉴럴 네트워크를 학습시키기 위하여 GoPro 영상과 표준 편차 1∼5의 값을 갖는 가우시안 커널에 의해서 블러되고 표준 편차 2 값을 갖는 가산 잡음에 의해서 손상된 영상 및 표준 편차 5∼50 값을 갖는 가우시안 가산 잡음에 의해서 손상된 영상 등 세 종류의 원인으로 손상된 총 3,074 개의 영상으로 구성된 training 영상을 이용하여 원영상과 복원 영상의 MAE(mean absolute error) 값을 최소화하도록 딥 뉴럴 네트워크를 최적화하였다. Pytorch를 이용하여 제안하는 deep neural network과 기존의 deep neural network을 각각 구현하였고^[14,30], ADAM optimizer^[31]를 사용하여 각각의 deep neural network을 learning하였다. 3,074개의 training 영상의 256×256 image patch를 사용하였고 총 300 epoch의 training 중에서 초기 150 epoch는 10-4의 learning rate가 사용되었고 다음의 150 epoch에서는 learning rate가 선형적으로 0까지 감소하도록 하였다. Training된 deep neural network의 성능 평가를 위하여 다양한 원인으로 손상된 test 영상(GoPro 영상 175개(GoPro), 가우시안 블러에 의해서 손상된 영상 130개(Gauss), 가산 잡음으로 손상된 영상 108개(Noise))에 대한 각 deep neural network의 영상 복원 성능을 평가하였다.

제안하는 구조는 그림 4에서 제시하는 것과 같이 contractive path와 expansive path의 각 stage의 구조 및 ResN 블록 구조와 사용하는 normalization 기법의 조합에 따라서 다양한 구조를 가질 수 있다. 영상 복원 성능을 측정하기 위해서 PSNR(peak signal to noise ratio)과 SSIM(structural similarity index measure)이 주로 사용되는데 PSNR은 원 영상과 복원된 영상의 정량적인 차이를 나타내고 SSIM은 시각적인 화질 차이를 나타내기 위해서 사용된다^[32]. 표 1에는 다양한 조합에 따른 영상 복원 성능을 PSNR과 SSIM를 이용하여 분석한 결과를 제시하였다.

제안하는 deep neural network과 기존의 deep neural network의 영상 복원 성능을 표 2와 그림 6에서 비교하였다. 기존의 deep neural network으로는 영상의 가산 잡음 제거를 위해서 제안된 DnCNN^[7], ResNet 구조를 기본 구조로 갖는 DeblurGAN^[14]과 기존의 U-Net^[24]에 대한 영상 복원 성능을 구하고 제안하는 구조의 영상 복원 성능과 비교하였다. 표 2에서 제시하는 것과 같이 제안하는 구조의 deep neural network은 모든 종류의 영상 손상에 대한 복원에서 기존의 구조에 비해서 우수한 결과를 보이는 것을 알 수 있다. 그림 6에는 GoPro 영상, Gaussian blur에 의해서 손상된 영상과 가산 잡음에 의하여 손상된 영상에 대해서 기존의 deep neural network과 제안하는 deep neural network으로 복원된 영상을 일부 확대한 사진을 제시하였는데 제안한 deep neural network을 사용하여 복원된 영상이 기존의 deep neural network을 사용하여 복원된 영상에 비해서 세밀한 부분도 잘 복원하는 것을 알 수 있다.

그림 6. 영상 복원 성능 비교 (위부터 : 원본 영상, 손상된 영상, DnCNN^[7]을 이용하여 복원된 영상, DeblurGAN^[14]을 이용하여 복원된 영상, 기존의 U-Net^[24]을 이용하여 복원된 영상, 제안하는 구조를 이용하여 복원된 영상)

Fig. 6. Comparison of image restoration performance (From the top: original image, damaged image, image restored using DnCNN, image restored using DeblurGAN, image restored using the conventional U-Net, image restored using the proposed structure)

6. 결 론

본 논문에서는 다양한 원인으로 손상된 영상을 복원하기 위해서 개선된 구조의 딥 뉴럴 네트워크를 제안하였다. 영상 복원에 많이 사용되는 U-Net의 구조를 개선하였는데, ResNet 구조에서 수렴 성능을 높이기 위해서 사용되는 short cut 구조를 기존의 U-Net 구조에 효율적으로 적용함으로써 전체 수렴 성능을 높이는 구조를 제안하였다. 영상 복원 성능을 분석하기 위하여 motion blur, Gaussian blur 및 가산 잡음으로 손상된 영상을 딥 러닝 기법을 이용하여 복원하고 성능을 평가한 결과 제안하는 deep neural network이 기존의 deep neural network에 비해서 우수한 영상 복원 성능을 보이는 것을 확인하였다.