2.1 웨이블릿 평면 추출

본 논문에서는 영상의 웨이블릿 분해를 위해 ‘à trous’ 알고리즘을 이용하였다. 서론에서 언급한 것과 같이 ‘à trous’ 알고리즘은 Mallat 방법과 달리 데시메이션을 하지 않는다. 웨이블릿 분해 대상이 되는 영상을 $I$라고 할 때, 웨이블릿 분해는 다음 식과 같이 순차적으로 진행된다.

여기서 $I_{j}$는 원본 영상 $I$의 j번째 스케일 영상이고, 필터링은 다음과 같은 $B_{3}$ 큐빅 스플라인 마스크를 적용한다.

웨이블릿 평면은 $w_{j}=I_{j}-I_{j+1}$으로 구할 수 있으며, 이 때 원본 영상은 다음 식과 같이 $n$개의 웨이블릿 평면들과 잔차(residual) 영상의 합으로 나타낼 수 있다^[9].

본 논문에서는 dyadic 분해를 사용하므로 스케일이 하나 증가하면 영상의 해상도는 반으로 줄어들게 된다. 따라서 원본 영상은 $I_{1}$보다 두 배 높은 해상도를 갖고, $I_{2}$와 비교하면 네 배 높은 해상도를 갖게 된다. 스케일에 따른 웨이블릿 분해에 따라 해상도는 달라지지만 앞에서 언급한 것과 같이 ‘à trous’ 알고리즘은 분해된 영상들이 원본 영상과 같은 크기로 유지된다.

2.2 영상 합성 방법

고해상도 컬러 영상을 합성하기 위해 저해상도 다중분광 영상(LM: Low-resolution Multispectral image), 고해상도 흑백 영상(HP: High-resolution Panchromatic image)과 더불어 고해상도 흑백 영상을 열화시켜 생성한 저해상도 흑백 영상(LP: Low-resolution Panchromatic image) 등 세 가지 영상을 사용한다. LP영상을 생성하기 위해서는 HP영상을 1/4로 데시메이션 한 후, 다시 4배로 업샘플링(upsampling)하고 bicubic 보간(interpolation)을 적용한다. AW 방법과 SW 방법에서는 LM영상과 HP영상만 사용하지만 본 논문에서는 LP영상의 웨이블릿 평면을 추가적으로 포함함으로써 중첩되는 고주파 성분을 제거할 수 있도록 한다. 고해상도 다중분광 영상(HM: High-resolution Multispectral image)은 다음 식과 같이 LM에 HP, LM, LP의 웨이블릿 평면들의 가중 합으로 합성한다.

위의 식은 R, G, B 및 근적외선 영상 각각에 대해 독립적으로 적용된다. 가중치 $\alpha ,\:\beta ,\:\gamma$는 각 분광 영상에 대해 정해지는 값으로서 최소제곱법(LS: least squares)을 이용하여 구할 수 있다^[10]. 최소제곱법으로 가중치를 구하기 위해서는 식 (4)에서 HM영상의 참값이 필요하지만 HP와 같은 해상도의 HM영상의 참값은 존재하지 않는다. 따라서 LM영상을 HM영상으로 두어 최소제곱법을 적용하여야 하고 이를 위해서는 식 (4)에 있는 영상들의 해상도를 모두 1/4만큼 열화시켜 다음 식으로 주어지는 가중치를 구한다.

위 식에서 LLM, LLP 영상들은 각각 LM영상과 LP영상을 데시메이션, 업샘플링, bicubic보간의 과정을 거쳐 해상도를 1/4로 열화시킨 영상들이다. 식 (5)에서와 같이 저해상도에서 구한 가중치는 식 (4)에서 구해야 할 가중치와는 차이가 있고 이를 보상해주기 위해 스케일링 인자 $s$를 곱한다.

본 논문에서 스케일링 인자는 실험을 통해 정하였으며 s=0.65일 때 가장 좋은 성능을 나타내었다.

가중치를 구하기 전 다음과 같은 전처리 과정을 거치게 된다. 먼저, 128×128 크기의 저해상도 다중분광 영상을 4배 업샘플링한 후 bicubic 보간을 적용하여 고해상도 흑백 영상의 크기와 같은 512×512로 만든다. 이렇게 생성된 RGB 컬러 영상으로부터 명도(intensity) 성분을 추출하고, 히스토그램 정합 과정을 거쳐 고해상도 흑백 영상의 명도와 유사한 분포가 되도록 한다. 영상을 융합하는 과정을 그림 1에 블록다이어그램으로 나타내었다.

식 (5)의 가중치는 전체 영상에 대해 하나의 가중치를 구하여 영상을 합성할 수도 있고 또는 지역적 특성을 반영하기 위해 픽셀별로 다른 가중치를 구하여 영상을 픽셀별로 융합할 수도 있다. 각 픽셀별로 다른 가중치를 구하여 영상을 합성하기 위해서는 그림 2와 같이 구하고자 하는 픽셀을 중심으로 하는 작은 영역의 패치에 대해서 최소제곱법으로 가중치를 구한다. 로컬 영역의 패치에 대해 가중치를 구하면 로컬 영역별로 다르게 나타나는 색상이나 주파수 특성을 반영하게 되어 융합 영상의 품질을 향상시킬 수 있다.

3.1 실험 위성 영상

본 논문에서 제안하는 웨이블릿 기반의 영상 융합 방법을 IKONOS위성 영상^[11]과 QuickBird위성 영상^[12]에 대해 실험하였다.

IKONOS는 1m 해상도의 panchromatic 센서와 4m 해상도의 다중분광 센서를 탑재하고 있다. QuickBird영상은 흑백 영상의 경우 직하 영상은 0.61m, 30도 각도에서는 0.73m의 공간 해상도를 가지며, R, G, B, 근적외선 등 다중 분광 영상은 직하 영상일 경우 2.44m, 30도 각도일 경우는 2.69m의 공간 해상도를 갖는다. 두 위성 영상 모두 다중분광 영상이 흑백 영상보다 4배 낮은 해상도를 갖는다. 즉, HP영상은 LM영상보다 네 배 높은 해상도를 가지며, 실험에 사용된 영상의 크기는 각각 512×512와 128×128이다.

영상 융합 알고리즘을 이용하여 합성된 R, G, B HM영상들로부터 생성된 고해상도 컬러 영상의 객관적인 평가를 위해서는 생성된 영상과 비교할 수 있는 원본 다중분광 영상이 필요하다. 128×128 크기의 다중분광 영상을 참값 영상으로 활용하기 위해서는 128×128 크기의 다중분광 영상을 추정하는 실험이 되어야 한다. 따라서 512×512 HP영상과 128×128 LM영상을 1/4크기로 줄인 후, bicubic 보간을 이용하여 원래의 크기로 만들어 실험에 사용한다. IKONOS영상을 예로 들면, 흑백 영상과 다중분광 영상의 원래 해상도는 각각 1m, 4m인데, 실험을 위해서 4m, 16m로 만들게 된다.

가중치 계산을 위해서는 모든 영상의 크기를 최종 합성하고자 하는 영상의 크기로 만들어야 한다. 따라서 모든 영상을 512×512 크기로 만들어야 하는데, 128×128 크기의 영상을 512×512 크기로 만들 때는 앞에서와 같이 4배로 업샘플링 후 bicubic 보간을 적용한다.

3.2 평가척도

합성된 영상의 품질을 평가하기 위해서는 여러 가지 객관적인 척도를 사용할 수 있는데, 본 논문에서는 PSNR(Peak Signal-to-Noise Ratio), CC(Correlation Coefficient), MSSIM(Mean Structural SIMilarity), UIQI(Universal Image Quality Index), QNR(Quality Non-requiring Reference), RMSE(Root Mean Squared Error), ERGAS, SAM(Spectral Angle, Mapper) 등의 다양한 평가척도를 사용하였다^[13,14].

PSNR은 영상 처리 분야에서 광범위하게 사용되는 평가척도로서 비교하고자 하는 두 영상의 평균 제곱 오차 (MSE: Mean Squared Error)와 최대 밝기값(L)을 사용하여 다음 식으로 계산할 수 있다. 값이 클수록 품질이 우수한 것으로 판단할 수 있다.

MSSIM은 구조 정보를 고려하여 두 영상을 비교하는 SSIM(Structural SIMilarity)의 평균값으로 계산되며, SSIM은 다음 식과 같이 세 가지 값의 곱으로 나타난다.

위 식에서 세 가지 값들은 두 영상 $\mathbf{x},\: \mathbf{y}$에 대한 휘도(luminance), 콘트라스트(contrast), 구조 변화를 나타내는 값들이다. CC는 합성된 영상과 비교 영상 간의 스펙트럴(spectral) 특징값들의 유사한 정도를 계산하며, UIQI는 합성된 영상에 원본 영상으로부터 변환된 데이터가 포함된 양을 계산하는 척도이다. QNR은 비교 영상을 필요로 하지 않는 평가척도로서 스펙트럼 왜곡과 공간 왜곡의 두 요소가 결합되어 있는 형태이다. CC, MSSIM, UIQI과 QNR은 1에 가까울수록 합성된 영상의 품질이 우수하다고 볼 수 있다. RMSE는 합성된 영상과 비교 영상 간의 픽셀별 차이를 계산하는 일반적인 값으로서 양수로 나타난다. ERGAS는 합성된 영상을 각 주파수 밴드별로 계산한 RMSE를 포함하는 척도로서 mean shift와 dynamic range 변화를 반영한다. SAM은 두 영상 픽셀 벡터 간의 스펙트럴 각도를 측정한다. RMSE, ERGAS, SAM은 0에 가까울수록 합성된 영상이 우수하다고 판단할 수 있다.

3.3 실험결과

표 1과 표 2에 IKONOS 영상 28개와 QuickBird 영상 10개에 대한 실험결과를 나타내었다. PSNR, CC, MSSIM, UIQI, QNR, RMSE, ERGAS, SAM 등 여덟 개의 평가척도를 계산하였으며, 비교를 위해 IHS^[1], AWLP(Additive Wavelet Luminance Proportional)^[5], IAWP(Improved Additive Wavelet Proportional)^[6]의 결과를 함께 표시하였다. 평가 결과는 유효숫자 세 자리로 나타내었으며, 평가척도별 가장 좋은 성능을 굵은 글씨로 표시하여 구별하였다.

실험결과, 로컬 패치에 대해 픽셀별로 가중치를 최소제곱법으로 구하는 방법(Local LS)이 가장 우수한 결과를 나타내는 것으로 확인되었다. 여러 크기의 로컬 패치 크기에 대해 실험하였으며 표 1과 표 2에는 그림 2에서 정사각형의 한 변의 길이가 33, 41, 47에 대한 결과를 나타내었다. 실험결과, 영상 융합 성능은 로컬 패치의 크기에 대해서는 그다지 민감하지 않은 것으로 나타났다. 제안하는 알고리즘과 기존 알고리즘으로 합성한 영상의 시각적 비교를 위해, 그림 2의 QuickBird 영상으로 실험한 결과의 오른쪽 상단과 하단을 확대하여 그림 3과 그림 4에 나타내었다.

Global LS 방법은 AWLP 방법에 비해서는 두 배, IHS 방법에 비해서는 20배 정도까지 많은 계산량을 요구하는 것으로 나타났다^[10]. 또한 Local LS방법은 가중치를 구해야 하는 영상의 크기는 줄어드나 픽셀별로 가중치를 구해야 하므로 Global LS에 비해 계산량이 늘어나게 된다. 그러나 일반적으로 위성영상 융합은 실시간으로 수행해야 하는 과정은 아니므로 계산량의 증가가 큰 문제가 되지는 않는다.