1. 서 론

저해상도 영상에서 고해상도 영상을 추정하는 것을 초해상도(super resolution)라고 한다. 초해상도는 컴퓨터 비전 분야에서 중요한 연구이며 다양한 응용 분야에 사용된다[1,2,3]. 특히 최근 TV 시장에서는 제조사들이 4K, 8K 등의 기기들을 제조하여 공급하고 있지만, 고해상도의 컨텐츠는 여전히 공급이 부족한 실정이다. 그러므로, 기존의 다양한 저해상도의 컨텐츠에 대해서 초해상도 적용을 한다면, 새로운 고해상도의 컨텐츠 제작 없이 기존의 저해상도 컨텐츠를 복원하여 고해상도 컨텐츠 공급이 가능하다.

초해상도 문제는 주어진 저해상도 영상에 대해 다양한 고해상도 영상이 존재하기 때문에 그림 1과 같이 정의하기 어려운(ill posed) 문제이다. 이 문제를 극복하기 위해 최근에는 심층 컨볼루션 신경망(deep convolutional neural network)에 기반을 두어 저해상도 영상과 고해상도의 쌍으로 이루어진 영상으로부터 매핑 함수를 학습하여 해결하고자 하였고[4,5,6], 심층 컨볼루션 신경망에서 최적의 고해상도 영상을 결정하기 위해 흐릿하고 지나치게 부드러운 결과를 만드는 기존의 픽셀 단위 평균 제곱 오차 (mean square error) 손실을 대체하는 목적 함수가 설계되었다⁽⁴⁾. 또한, 픽셀 공간이 아닌 특징 (feature) 공간에서 초해상도 모델을 최적화하기 위해 지각 손실 (perceptual loss)이 도입되었다⁽⁵⁾. 네트워크가 고해상도 영상의 자연스러움을 강조하여 학습할 수 있도록 적대적 손실 (adversarial loss)을 사용함으로써 전반적인 재구성된 영상의 시각적 품질이 크게 향상되었다⁽⁶⁾.

초해상도 연구에서 큰 발전이 있었지만 세밀한 질감 (texture)과 가장자리 (edge)의 복원은 여전히 해결해야 할 문제로 남아있다. 그림 1에서 같이 단일 영상의 저해상도 영상에 대해 다양한 고해상도 영상이 존재할 수 있다. 고해상도 영상의 경우 고주파 성분을 많이 가지고 있고, 공간적으로 함께 고려해야 할 요소들이 존재하기 때문에 추가적인 정보 없이 세밀한 부분을 복원하기 어렵다.

본 논문은 심층 컨볼루션 신경망을 활용하여 초해상도 문제를 해결하고자 한다. 제안하는 방법은 저해상도 영상을 고해상도 영상의 전환으로써 정의하여, 각각 서로 다른 데이터 영역에서의 변환을 목적으로 한다. 따라서 저해상도 영상의 데이터들로부터 고해상도 영상의 데이터로의 변환을 이루기 위해 심층 컨볼루션 신경망을 활용하며, 최근에 획기적인 연구가 이루어지고 있는 조건부 적대적 생성 네트워크 (conditional generative adversarial network)를 활용한다⁽⁷⁾. 적대적 생성 네트워크 (generative adversarial network)의 생성기 (generator)는 임의의 노이즈 (noise) 혹은 잠재적 변수 (latent variable)를 입력으로 받아 학습 영상의 분포를 반영한 실제와 비슷한 영상을 출력으로 내보내게 된다⁽⁶⁾. 그러나 조건부 적대적 생성 네트워크의 경우 특정 조건이 주어졌을 때 영상의 분포를 표현하게 되며, 이때 저해상도의 영상을 조건으로 하여 고해상도 영상의 분포를 추정할 수 있게 한다⁽⁷⁾. 조건부 적대적 생성 네트워크의 경우 학습을 진행할 때, 배치 정규화 (batch normali- zation)를 사용함으로써 학습의 수렴을 용이하게 하였다. 그러나 이러한 정규화 과정을 거침으로써 영상의 공간적인 특성과 특성 공간 (feature space)에서의 정보를 손실하게 하는 결과를 초래하였다. 특히 단일 영상 초해상도 문제의 경우 저해상도 영상의 공간적인 정보가 매우 중요하게 사용될 수 있다. 또한, 저해상도 영상에서의 질감 정보와 가장자리 정보 같은 고주파 성분의 정보 역시 중요하게 사용되므로 높은 화질의 고해상도 영상을 획득하기 위해서는 이러한 정보를 보존할 필요가 있다.

그림. 1. Ill-posed 문제 예시 영상

Fig. 1. Ill-posed problem example

2. 본 론

2.1 단일 영상 초해상도 복원

단일 영상 초해상도 (single image super resolution) 복원은 하나의 영상으로부터 고해상도 이미지를 복원하는 것이다. 앞서 언급하였듯이 저해상도 영상을 고해상도로 복원할 때, 목표로 하는 고해상도의 영상이 유일하지 않을 수 있다. 이러한 어려움을 타개하기 위해 단일 영상 초해상도는 대부분 그림 2와 같은 구조를 따라서 연구가 이루어지고 있다.

그림. 2. 단일 영상 초해상도 복원 구조

Fig. 2. Single image super resolution structure

우선 목표가 되는 고해상도의 영상을 원본 영상(ground truth)로 정의하고, 이를 저해상도의 영상으로 만들기 위해 흐림, 다운 샘플링 (down sampling), 노이즈 등을 추가하여 저해상도 이미지를 생성한다. 그리고 심층 신경망 학습을 통해 저해상도 영상을 원본 영상으로 복원시키도록 모델을 설계한다. 저해상도 영상을 생성할 때 사용한 다운 샘플링 기법 등에 따라 초해상도 복원의 성능이 달라질 수 있지만, 본 논문에서는 일반적으로 사용되는 ‘bicubic’ 다운 샘플링 기법을 사용하여 성능을 측정한다.

2.3 조건부 적대적 생성 네트워크

저해상도 영상으로부터 고해상도 영상을 변환하기 위한 네트워크로써, 조건부 적대적 생성 네트워크를 통해 저해상도의 입력 영상으로부터 고해상도의 영상을 추정하게 된다.

우선 일반적인 적대적 생성 네트워크는 데이터 분포를 입력받아 실제에 가깝게 데이터를 생성하는 생성기 $G$와 입력받은 데이터가 진짜 데이터인지, 생성모델 $G$로부터 만들어진 것인지를 판별하는 판별기 $D$로 이루어져 있으며, 모두 비선형적으로 매핑하는 함수일 수 있다. 이에 목적함수 $L_{GAN}(G,\:D)$는 아래와 같은 수식으로 표현된다.

(2)

$$ \begin{aligned} L_{G A N}(G, D) &=\min _{G} \max _{D} V(D, G)=\\ \mathbb{E}_{x} &[\log D(x)]+\mathbb{E}_{z}[\log (1-D(G(z)))] \end{aligned} $$

식(2)에서 $x$는 데이터, $z$는 임의의 노이즈 변수를 의미한다. 판별기 $D$의 목적은 입력 데이터가 원본인지, 생성기 $G$가 생성한 데이터인지 판별하는 것이므로 어떤 데이터에 대해 정확한 라벨 (label)을 붙이는 것이다. 생성기 $G$의 목적은 판결기 $D$가 실수하게 만드는 것, 즉 어떤 데이터가 주어졌을 때 $D$가 원본이라고 판별할 확률과 $G$로부터 나온 데이터라고 판별할 확률을 모두 높이는 것이다. 이렇게 두 개의 네트워크 $G$와 $D$가 적대적 학습을 통해 서로 다른 목표를 갖고 학습된다.

조건부 적대적 생성 네트워크는 생성기 $G$와 판별기 $D$에서 추가적인 정보 $y$라는 조건이 붙으면 조건부 생성모델을 만들 수 있다. 이때, $y$는 클래스 라벨이나 다른 분포의 데이터 등이 될 수 있고, 이 $y$를 $G$와 $D$의 입력 레이어에 추가로 같이 넣어줄 수 있다. 생성기 $G$에서는 노이즈 $z$와 조건 $y$가 합쳐진 형태가 되고, 판별기 $D$에서는 데이터 $x$와 조건 $y$가 입력으로써 들어간다. 이를 수식으로 나타내면 아래와 같다.

(3)

$$ \begin{aligned} L_{C G A N}(G, D) &=\min _{G} \max _{D} V(D, G)=\\ & \mathbb{E}_{x}[\log D(x \mid y)]+\mathbb{E}_{z}[\log (1-D(G(z \mid y)))] \end{aligned} $$

데이터 $x$와 쌍을 이루는 조건 $y$데이터로부터 조건부 적대적 생성 네트워크가 구성된다. 적대적 생성 네트워크와 다르게 생성기 $G$에서 노이즈 $z$와 조건 $y$가 입력으로 들어가게 되고, 판별기 $D$에서 데이터 $x$와 쌍으로 이루어진 조건 $y$가 입력으로 들어가게 된다. 이를 통해 조건부 적대적 생성 네트워크의 생성기 $G$는 데이터 $x$와 조건 $y$의 쌍에 일치하는 영상을 생성하려고 하고, 판별기 $D$는 입력과 출력 영상이 조건을 만족하게 하는 쌍으로 올바르게 이루어지는지 판별해야 한다. 즉, 조건부 적대적 생성 네트워크는 특정 조건을 기반으로 해당 조건을 만족하는 영상을 사용자가 획득할 수 있다.

본 논문에서는 이를 바탕으로 단일 영상으로부터 초해상도 복원을 위한 조건부 적대적 생성 네트워크를 설계한다. 이에 목적 함수는 아래와 같은 수식으로 표현된다.

(4)

$L_{our}(G,\:D)=\vec{E}_{x}[\log D(H | L)]+E_{z}[\log(1-D(G(z | L)))]$

식(4)에서 $L$은 입력 저해상도 영상이고 $H$는 그에 해당하는 고해상도 영상을 의미한다. 따라서 제안된 목적 함수는 조건부 적대적 생성 네트워크를 통해 입력 저해상도 영상 $L$을 그에 해당하는 고해상도 영상 $H$로 매핑시키는 함수 $F*$를 학습하도록 한다.

그림. 3. 단일 영상 초해상도 복원을 위한 공간 적응적 비 정규화 구조

Fig. 3. Spatially adaptive de-normalization structure for single image super resolution

2.4 단일 영상 초해상도 복원을 위한 공간 적응적 비 정규화 기법

2.3절에서 제안한 조건부 적대적 생성 네트워크를 통해 입력을 조절하여 결과물의 방향성을 조절할 수 있다. 조건부 적대적 생성 네트워크의 구조에서는 배치 정규화 레이어를 사용함으로써 학습의 수렴 속도를 빠르게 하였다. 심층신경망에서는 일반적으로 배치 정규화 레이어가 중요하며 이 배치 정규화의 유무에 따라 성능의 큰 차이를 일으킬 수 있다. 이때, 배치 정규화 레이어란 이전 은닉 레이어의 특성 벡터의 평균과 분산을 계산한 다음 정규화 시켜주는 과정이다. 그러나 초해상도 복원과 같이 생성기 $G$가 복잡한 구조적 특징과 고주파 성분들을 포함해야 할 때에 이러한 배치 정규화는 오히려 고해상도 영상 생성에 악영향을 끼친다. 본 논문에서는 단일 입력 저해상도 영상에 의존하여 학습을 진행하게 되는데 이때, 배치 정규화 과정을 통해 공간적인 손실과 입력 저해상도 영상에 포함된 중요한 고주파 성분의 손실을 초래하여 결국 올바른 추론을 끌어내지 못하게 된다. 이를 해결하기 위해 공간 적응적 비 정규화(spatially adaptive de-normalization)⁽⁸⁾를 활용하고, 이를 바탕으로 저해상도 영상의 중요 성분을 보존하고 공간적 손실을 최소화한다.

그림 3에서 나타나듯이, 생성기 $G$로부터의 특성 공간을 $H$라고 하면, 공간 적응적 비 정규화 기법 $S$는 $\gamma$와 $\beta$의 요소 (element wise) 곱이나 요소 합의 형태로 나타낼 수 있다. 이를 수식으로 표현하면 다음과 같다.

그림. 4. 제안하는 공간 적응적 비 정규화를 통한 단일 영상 초고해상도 복원의 전체 구조

Fig. 4. The overall structure of single image super-resolution via spatially adaptive de-normalization

(5)

$S(L,\: T)=\gamma(L)\times_{e\le ment}\dfrac{T-\mu_{T}}{\sigma_{T}}+_{e\le ment}\beta(L)$

$\mu_{T}$와 $\sigma_{T}$는 각 특성 공간 채널의 요소들을 모두 고려한 평균 (mean)과 표준편차 (standard deviation)이며, $\times_{e\le ment}$와 $+_{e\le ment}$는 각각 요소별 곱과 요소별 합을 나타낸다. 이때, 요소별 곱과 요소별 합은 각 채널의 요소별로 연산을 하고, $T$와 $\gamma$, $\beta$는 모두 같은 채널 깊이를 가지는 텐서이기 때문에 요소별 곱과 요소별 합이 가능하다. 또한, 그림 3에서 나타난 것과 같이 공간 적응적 비 정규화 기법은 특성 공간 $T$를 정규화 과정을 거친 후, 추가로 입력 저해상도 영상의 특성 공간의 정보를 $\gamma$와 $\beta$의 형태로 각각 요소별 곱, 요소별 합으로 합쳐준다. 이전에 설명하였듯이 일반적인 배치 정규화 과정으로 인해 공간적인 특징 정보들과 고주파의 정보들이 손실되는데 이러한 기법을 통해 생성기 $G$의 디코더에 다양한 공간적 특성을 가지는 특징을 반영할 수 있다. 이는 흡사 영상 피라미드 (image pyramid) 형태와 같이 여러 크기에 걸쳐서 영상을 분석하며 각 크기의 특징들을 파악하는 것과 같다. 이를 통해서 계층적 구조의 형태를 취할 수 있고, 이는 영상의 넓은 범위에서의 구조적 특징과 영상의 좁은 범위에서의 세밀한 특징 모두를 아울러 초해상도 복원이 가능함을 의미한다. 그림 4에 제안하는 방법의 전체 네트워크 구조를 표현하였다. 전체 네트워크에서 저해상도 이미지는 입력으로서, 인코더에서는 원래의 크기 입력, 디코더에서는 앞서 언급한 바와 같이 계층적 형태의 이미지 크기로 변환하여 입력으로 사용한다. 이후 판별기에서 생성된 고해상도 이미지와 원본의 고해상도 이미지를 활용하여 진짜인지 가짜인지 결정을 하게 된다.

3. 실험 및 결과

본 논문은 Intel core i7 CPU와 GTX 2080ti 11GB GPU가 설치된 환경에서 진행되었으며, 제안한 방법과 비교를 위한 방법들 모두 PyTorch를 통해 구현하였다. 각 실험결과의 비교를 위해 2017 CVPR의 New Trends in Image Restoration and Enhancement workshop에서 공개되었던 DIV2K dataset⁽⁹⁾을 활용하였으며, 가장 보편적 선형보간법인 쌍선형 보간법(bilinear interpolation)과 조건부 적대적 생성 네트워크 기반의 초해상도 복원⁽⁷⁾, 적대적 생성 네트워크를 이용한 초해상도 복원⁽⁴⁾을 선정하여 비교 실험하였다. 객관적 성능 지표를 확인하기 위해 피크 신호 대 잡음 비 (PSNR: Peak Signal-to-noise ratio)와 영상의 구조적 유사도 (SSIM: structural similarity index measure)를 활용하였다. 이들 지표는 일반적으로 영상의 유사도를 판별하기 위한 객관적 지표로 사용되고, 구체적으로 피크 신호대 잡음 비는 영상 픽셀 간의 크기(intensity)를 비교하고, 구조적 유사도는 영상 내에서 구조적 유사도를 비교한다.

단일 영상 초고해상도 복원을 위한 공인 데이터 세트는 DIV2K dataset이며 해당 데이터 세트는 총 1000쌍의 영상데이터들로 구성되어 있다. 이 중 800쌍은 학습용 데이터 세트로 사용하고 100쌍은 검증용 데이터 세트, 100쌍은 테스트용 데이터 세트로 구분되어 있다. 기존의 방법들과 본 논문에서 제안하는 방법의 비교를 위해 각각 100 epoch의 학습을 진행하였으며 최적화 방법은 Adam 방법을 사용하여 학습률을 조정하였다.

그림 5는 각각의 단일 영상 초고해상도 복원 기법들의 결과를 나타낸다. Pix2Pix의 경우 조건부 적대적 생성 네트워크 기반의 초해상도 복원으로써 입력 조건하에 비교적 고해상도의 이미지를 잘 복원하였으나, 공간적인 정보와 특성 공간의 특징을 상당히 손실하였다. 따라서 Pix2Pix의 경우 원본의 고해상도 영상과 비교적 유사한 색감을 나타내면서 비슷해 보이나 실제로 불가사리의 세밀한 텍스쳐 영역과 성게의 가시와 같은 가장자리 부분의 손실이 많은 것을 볼 수 있다. SRGAN (super- resolution generative adversarial network)의 경우 GAN 기반의 일반적인 방법으로써 이미지를 사실적으로 표현하는데 중점을 두었다. 그렇기 때문에 Pix2Pix보다 텍스쳐와 가장자리의 정보를 비교적 온전히 보존하여 사실적으로 보여지고 있지만, 영상에서 격자무늬가 생성되어 이미지의 색감이 변하였고 결과적으로 영상의 화질이 떨어져 보인다. 이와 달리 제안하는 방법은 조건부 적대적 생성 네트워크 기반의 방법으로써 영상의 공간적인 특성과 특성 공간의 특징을 잘 보존할 수 있게 공간 적응적 비 정규화 기법을 사용하였다. 이를 통해 입력 영상의 특성 공간을 디코더의 특성 공간 각 레이어에 다양하게 계층적 으로 결합하여 공간적인 정보를 결합하여 줌으로써 조건부 적대적 생성 네트워크에서의 생성기에서 각 공간의 다양한 특성을 학습할 수 있었다. 이 때문에 모든 영역에서의 텍스쳐나 가장자리가 가장 잘 복원이 된 것으로 나타났으며 특히 확대하여 보았을 때도 숲과 구조물, 구조물의 가장자리 등이 원본 고해상도 영상과 비교하여 가장 좋은 화질을 나타내었다. 이는 표 1의 정량적 실험결과에서도 확인할 수 있다. DIV2K 데이터 세트에서 평균적인 PSNR과 SSIM을 기록하였고, 제안한 방법, Pix2Pix, 쌍선형 보간법, SRGAN의 순으로 정량적 지표가 높게 나타났음을 볼 수 있다. 특별히 SRGAN의 경우 격자무늬가 생성되어 PSNR과 SSIM의 정량적 지표가 낮게 나타났고, 제안한 방법은 가장 높은 수치를 기록한 것을 볼 수 있었다. 이는 정량적으로도 제안한 방법이 가장 높은 품질의 초해상도 영상을 나타냈음을 의미한다.

그림. 5. DIV2K 데이터 세트에 대한 실험결과

Fig. 5. Experimental results on DIV2K dataset

4. 결 론

본 논문에서는 단일 영상에서 공간 적응적 비 정규화를 통한 초고해상도 영상의 복원 기법을 제안하였다. 기존의 초고해상도의 문제를 저해상도와 고해상도의 도메인 변환을 통해 해결하는 것으로 연결하였으며, 조건부 적대적 생성 네트워크를 활용하였다. 또한, 배치 정규화 레이어를 사용하는 구조로 인하여 발생하는 공간적 정보 손실과 영상의 특징 손실을 방지하기 위해 공간 적응적 비 정규화 기법을 적용하였다. 결과적으로 영상 내에서 세밀한 텍스쳐와 가장가리를 보존한 초고해상도 복원을 달성하였고 이는 기존의 방법들보다 정성적, 정량적으로 높은 성능 수치를 나타내었다. 하지만 제안하는 방법은 여전히 세밀한 텍스쳐와 가장자리의 복원이 원본 고해상도 영상과 일치하지 않기 때문에 추후 성능지표를 더 높일 수 있도록 입력 영상의 계층적 정보를 분석하여 적응적으로 적용할 수 있도록 고도화하는 방법을 연구하고자 한다.