2.2 ์ฌ์ ํ์ต ๋ชจ๋ธ
์์์ฑ์ ๋ฐ ์ดํด์ํ ๋คํธ์ํฌ์ ์ฑ๋ฅ์ ๋ณด์ฅํ๋ ์ํธ ๋
๋ฆฝ์ ์ธ ํ์ต๋ฒ์ ๋ณด์ฌ์ฃผ๊ธฐ ์ํด ์์์ฑ์, ์ดํด์ํ, VGG, ํ๋ณ์, ์ด 4๊ฐ์ ์ฌ์ ํ์ต๋
๋คํธ์ํฌ๋ฅผ ์ฌ์ฉํ๋ค. ์์์ฑ์ ๋ฐ ์ดํด์ํ ๋คํธ์ํฌ๋ ์ด๋ฏธ์ง๋ฅผ ๋ณต์ํ๊ธฐ ์ํด, VGG ๋ฐ ํ๋ณ์ ๋คํธ์ํฌ๋ ์์ค์ ๊ณ์ฐํ๊ธฐ ์ํด ์ฌ์ฉํ๋ค.
๊ทธ๋ฆผ. 2. ์์์ฑ์ ๋คํธ์ํฌ ๊ตฌ์ฑ๋(BigColor)
Fig. 2. configuration of colorization network: BigColor
์์์ฑ์ ๋คํธ์ํฌ๋ BigGAN(14)์ ์ฌํ์ต์ํจ BigColor ๋ชจ๋ธ์ ์ฌ์ฉํ๊ณ , ์ถ๊ฐ์ ์ธ ํ์ต์ ์งํํ์ง ์๋๋ค. ๊ตฌ์กฐ๋๋ ๊ทธ๋ฆผ 2์ ๊ฐ๊ณ , ๋ถ๋ฅ๊ธฐ๋ฅผ ํตํด ํด๋์ค ์ ๋ณด๋ฅผ ์๋ฒ ๋ฉํ์ฌ ํด๋น ๊ฐ์ฒด์ ๋ํด ์์ฐ์ค๋ฌ์ด ์์์ ์ ํํ๋๋ก ํ์ตํ๋ ๋ชจ๋ธ์ด๋ค. ์ดํด์ํ ๋คํธ์ํฌ๋ EDSR-64(10)์ ์ฌ์ฉํ๊ณ , ๋ฏธ์ธ ์กฐ์ ์ ํตํด ์์์ฑ์ ๋คํธ์ํฌ์ ์ํธ ๊ฐ์ญ ์์ด ๋
๋ฆฝ์ ์ธ ์ญํ ์ ํ๋๋ก ํ์ตํ๋ค. ๊ตฌ์กฐ๋๋ ๊ทธ๋ฆผ 3๊ณผ ๊ฐ๊ณ , 16๊ฐ์ ์์ฐจ ๋ธ๋ก์ ํฌํจํ๋ฉฐ ๋ชจ๋ธ๋ช
์ 64๋ ๊ฐ ์ปจ๋ณผ๋ฃจ์
์ธต์ ์ฑ๋์ ์๋ฏธํ๋ค. ์ฌ์ ํ์ต๋ VGG ๋คํธ์ํฌ๋ VGG Loss๋ฅผ ๊ณ์ฐํ๊ธฐ
์ํด(15), ํ๋ณ์ ๋คํธ์ํฌ๋ GAN Loss๋ฅผ ๊ณ์ฐํ๊ธฐ ์ํด ์ฌ์ฉํ๋ค. ์ด ๋, BigColor๊ฐ ์๋ BigGAN์์ ์ฌ์ฉ๋ ํ๋ณ์ ๋คํธ์ํฌ๊ฐ ์ฌ์ฉ๋๋๋ฐ,
์ด๋ ์ด๋ฏธ์ง ๋ณต์ ๋ชจ๋ธ๋ก ์ฌ์ฉํ๋ BigColor ๋ชจ๋ธ์ ๊ณผ์ ํฉ๋์ด ๋ชจ๋ ๋ถ๊ดด๊ฐ ๋ฐ์ํ๋ ๊ฒ์ ๋ฐฉ์งํ๊ธฐ ์ํจ์ด๋ค.
๊ทธ๋ฆผ. 3. ์ดํด์ํ ๋คํธ์ํฌ ๊ตฌ์ฑ๋ (EDSR-64)
Fig. 3. configuration of super-resolution network (EDSR-64)
2.3 ๋ถ๋ฆฌ๋ ์์คํจ์
์ผ๋ฐ์ ์ธ ์์์ฑ์๊ณผ ์ดํด์ํ์ ์ข
๋จ ํ์ต์ ๊ทธ๋ฆผ 1์์ ์๋จ๊ณผ ์ค๋จ ๋ถ๋ถ๋ง์ ์ฌ์ฉํ์ฌ ๊ฐ ์ด๋ฏธ์ง์ ๋ํด์ ๋ชจ๋ ์์ค์ ๊ณ์ฐํ๊ณ ์ญ์ ํ๋ฅผ ์ํํ๋ค. ์์คํจ์๋ ์ (1)๊ณผ ๊ฐ๋ค.
$N_{1}$, $N_{2}$๋ ๊ฐ๊ฐ Network 1, 2์ด๋ฉฐ, $x$, $y$, $L$, $n$์ ๊ฐ๊ฐ ์
๋ ฅ, ๋ชฉํ, ์์คํจ์, ์์คํจ์์ ๊ฐ์๋ฅผ
์๋ฏธํ๋ค. ๊ทธ๋ฌ๋, ์ด๋ฌํ ์์ฐจ ์ฐ๊ฒฐ ๋ฐฉ์์ผ๋ก ํ์ต์ ์งํํ ๊ฒฝ์ฐ, ์ญ์ ํ ๊ณผ์ ์ค ์ฑ์๊ณผ ์ดํด์ ๋คํธ์ํฌ์ ์์ค์ ๊ตฌ๋ถํ ์ ์์ด์ ๊ฐ๋ณ ๋คํธ์ํฌ์
๊ณ ์ ์ญํ ์ ์ ๋๋ก ์ํํ์ง ๋ชปํ๊ฒ ๋๋ค. ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด์ ๊ทธ๋ฆผ 1์ ํ๋จ์ ์ ์ ๋ถ๋ถ์ ์ถ๊ฐํ์ฌ ์์คํจ์๋ฅผ ๋ถ๋ฆฌ ์ ์ฉํ๋ค.
์ด๋ฏธ์ง ๋ณต์์ ์ฌ์ฉ๋๋ ๋ํ์ ์ธ ์์คํจ์๋ก L1 Loss, GAN Loss, ๊ทธ๋ฆฌ๊ณ VGG Loss๊ฐ ์๋ค. L1 Loss๋ ๊ฐ ํฝ์
๊ฐ์ ๊ฑฐ๋ฆฌ์ ์ค์ฌ์ฃผ๋
์์คํจ์๋ค. L1 Loss์ ์์ (2)๊ณผ ๊ฐ๋ค.
$h$, $w$๋ ๊ฐ๊ฐ ์ด๋ฏธ์ง์ ๋์ด์ ๋์ด, $p_{ij}$๋ ๊ฐ ํฝ์
์ ์๋ฏธํ๋ค. ์์ฐ๊ณ ์์์ ํธ์ฐจ๊ฐ ์ ์ ๊ฐ์ฒด์ ๋ํด์๋ ๋ฌธ์ ๊ฐ ์์ง๋ง, ํธ์ฐจ๊ฐ
ํฐ ๊ฐ์ฒด์ ๋ํด์๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํ ์ ์๋ค. ์๋ฅผ ๋ค์ด, ์ฌ๊ณผ๋ฅผ ๋ณด๊ณ L1 Loss๋ฅผ ํตํด ํ์ตํ๋ฉด, ๋นจ๊ฐ์(R)๊ณผ ์ด๋ก์(G)์ฌ์ด์์ ํผ๋์ ์ผ์ผํฌ
์ ์๊ณ , ์์คํจ์๋ฅผ ์ต์ํํ๊ธฐ ์ํด ๋ฎ์ ์ฑ๋์ ์์์ผ๋ก ํ๊ทํ๋๋ก ํ์ต๋ ์ ์๋ค. GAN Loss๋ ์ด๋ฏธ์ง์ ๊ฐ์ฐ์ฑ์ ์ฆ๊ฐ์์ผ ์์ฐ์ค๋ฌ์ด ์ด๋ฏธ์ง๋ฅผ
๋ง๋ค๋๋ก ํ๋ ์์คํจ์๋ค. GAN Loss์ ์์ (3) ๋ฐ (4)๊ณผ ๊ฐ๋ค.
$D$๋ ํ๋ณ์, $G$๋ ์ด๋ฏธ์ง ๋ณต์ ๋คํธ์ํฌ, $c$๋ ์๋ฒ ๋ฉ ๋ฒกํฐ๋ฅผ ์๋ฏธ ํ๋ค ํฝ์
๊ฐ์ ๊ฑฐ๋ฆฌ๋ณด๋ค๋ ์ด๋ฏธ์ง๊ฐ ์ผ๋ง๋ ์์ฐ์ค๋ฝ๊ณ ํ์ค์ฑ ์๋๋์
์ง์คํ๊ธฐ ๋๋ฌธ์ ์์ฐ์ค๋ฌ์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค์ด์ผํ๋ ์์์ฑ์์ ์ ํฉํ ์์คํจ์๋ค. VGG Loss๋ VGG ๋คํธ์ํฌ๋ฅผ ํต๊ณผ์์ผ ๋์ค๋ ํน์ง๋งต ๊ฐ์ ๊ฑฐ๋ฆฌ๋ฅผ
์ค์ฌ์ฃผ๋ ์์คํจ์๋ก์จ ์ (5)์ ๊ฐ๋ค.
$\phi_{j}$๋ ์ฌ์ ํ์ต๋ $j$๋ฒ์งธ ๊ณ์ธต๊น์ง์ VGG ๋คํธ์ํฌ์ด๋ฉฐ, $C_{j},\: W_{j},\: H_{j}$๋ ์์๋๋ก VGG ๋คํธ์ํฌ์
$j$๋ฒ์งธ ๊ณ์ธต ์ถ๋ ฅ ํน์ง ๋งต์ ๋ํ ์ฑ๋, ๋์ด, ๋์ด๋ฅผ ์๋ฏธํ๋ค. ํฝ์
๊ฐ์ ๊ฑฐ๋ฆฌ๋ณด๋ค๋ ์ฌ๋์ด ๋๋ผ๋ ๊ตฌ์กฐ์ ์ธ ํน์ฑ(์ฃ์ง, ์ง๊ฐ ๋ฑ)์ด๋ ์ถ์์ ์ธ
์๋ฏธ์ ์ง์คํ๋ ์์คํจ์์ด๊ธฐ ๋๋ฌธ์, GAN Loss์ ๋ง์ฐฌ๊ฐ์ง๋ก ์์์ฑ์์ ์ ํฉํ๋ค. VGG16 ๋คํธ์ํฌ์์, ์ธต ๋ฒํธ $j$๊ฐ ์์์๋ก ์ฃ์ง์
๊ฐ์ ๋ฎ์ ์์ค์ ํน์ง์ ์ง์คํ๊ณ , ํด์๋ก ์ถ์์ ์ด๊ณ ์๋ฏธ๋ก ์ ์ธ ๋์ ์์ค์ ํน์ง์ ์ง์คํ๋ค.
๋ณธ ๋
ผ๋ฌธ์์๋ ์์ฐจ์ ์ธ ๋คํธ์ํฌ์์ ์์ ๊ฐ์ ๊ฐ ์์คํจ์์ ์ญํ ์ด ๊ฐ์ญ์์ด ๋
๋ฆฝ์ ์ผ๋ก ์ํ๋์ด, ๊ฐ๊ฐ์ ๋คํธ์ํฌ์ ์ฑ๋ฅ์ ๋ณด์ฅํ๋ ํ์ต๋ฒ์ ์ ์ํ๋ค.
๊ทธ๋ฆผ 1์์์์ ๋ ๊ฐ์ง ๋คํธ์ํฌ๋ฅผ ์์ฐจ์ ์ผ๋ก ํต๊ณผํ๋ ์
๋ ฅ 1์ ์ถ๋ ฅ์ ๋ํด์๋ ์์์ฑ์์ ์ ํฉํ GAN Loss์ VGG Loss๋ฅผ ์ฌ์ฉํ์ฌ ์ดํด์ํ
๋คํธ์ํฌ๊ฐ ์์์ฑ์ ๋คํธ์ํฌ๋ฅผ ๋ณด์ํ๋๋ก ํ์ตํ๋ค. ์ดํด์ํ ๋คํธ์ํฌ๋ง ํต๊ณผํ๋ ์
๋ ฅ 2์ ์ถ๋ ฅ ๋ํด์๋ ์ดํด์ํ์ ์ ํฉํ L1 Loss๋ฅผ ์ฌ์ฉํ์ฌ,
์ดํด์ํ ๋คํธ์ํฌ์ ๋ณธ๋ ์ฑ๋ฅ์ ๋ณด์ฅํ๋๋ก ํ์ตํ๋ค. ์์ผ๋ก ํํํ๋ฉด (6), (7) ๋ฐ (8)๊ณผ ๊ฐ๋ค.
$N_{1}$, $N_{2}$๋ ๊ฐ๊ฐ Network 1, 2์ด๋ฉฐ, $x$, $y$, $L$์ ๊ฐ๊ฐ ์
๋ ฅ, ๋ชฉํ, ์์คํจ์๋ฅผ ์๋ฏธํ๋ค. $n$๊ณผ $m$์
๊ฐ๊ฐ $Loss_{1}$๊ณผ $Loss_{2}$๋ก ๋ถ๋ฆฌ๋ ์์คํจ์์ ๊ฐ์์ธ๋ฐ, ์ฌ๊ธฐ์ $n$์ GAN Loss๊ณผ VGG Loss๋ก 2์ด๋ฉฐ, m์ L1
Loss๋ฅผ ์ฌ์ฉํ๋ฏ๋ก 1์ด๋ค. ์ด๋ฌํ ๊ณผ์ ์ ํตํด ์ดํด์ํ ๋คํธ์ํฌ ๋ณธ๋์ ์ญํ ์ด ๋ถ๊ดด๋์ง ์๊ณ , ์์์ฑ์ ๋คํธ์ํฌ๋ฅผ ๋ณด์ํ๋๋ก ํ์ตํ๋ค.