손희수
(Heusu Son)
1
변성우
(Sung-Woo Byun)
1
이석필
(Soek-Pil Lee)
2†
-
(Dept. of Computer Science, SangMyung University, Korea)
-
(Dept. of Electronic Engineering, SangMyung University, Korea)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Illegal copying contents, Near-duplicate videos, Feature extraction, Near-duplicate video retrieval
1. 서론
빠른 기술의 발달과 인터넷의 사용증가로 인하여 영상 데이터 뿐 만 아니라 다양한 데이터들이 디지털화 되고 있다. 디지털미디어들이 다양해지면서 전송과
저장, 편집과 같은 다양한 기능들을 이용하기가 더욱 편리해지고, 그러면서 디지털미디어들의 증가량도 더욱 가속화되어가고 있다. 하지만, 디지털미디어에
적용할 수 있는 기술들이 편리해진 동시에 그것들은 더욱 불법복제의 위험에 노출되어 진다. 따라서 디지털콘텐츠의 불법적인 유포나 복사와 같은 위험으로부터
디지털저작물들의 저작권들을 보호할 필요성이 증가하고 있다. 현재 디지털 불법 콘텐츠들을 검출하고, 대응 및 예방하기 위한 다양한 방법들이 존재한다.
(1,2) 그 중 DRM 과 Watermarking은 불법 복제 콘텐츠에 대응하는 대표적인 메커니즘이다.
DRM은 디지털 콘텐츠의 지적재산권의 관리와 투명하고 신뢰성 있는 유통 환경을 보장해 주는 기술 및 서비스 체계라고 할 수 있다. DRM을 구성하는
가장 기본적이고 핵심적인 요소는 사용자(User), 콘텐츠(Contents), 사용권한(Permission), 사용조건(Condition)으로 네
가지 이다. DRM 기술은 이 핵심 요소들 간의 연관성을 통해 콘텐츠의 생명주기가 사라지지 않는 한 지속적으로 보호 될 수 있어야 하고, 시스템적으로
처리 가능하도록 하여야 하며, 명시된 권리에 따라서 통제될 수 있음을 주장한다. 하지만 국내에서는 DRM 시장은 많은 공급자에 하나의 DRM이 표준
형태로 자리 잡고 있지 못하며, 이러한 상황은 DRM의 상호호환성 결여로 인한 사용자의 불편과 사전적 보호기술인 DRM을 사용하였음에도 불구하고,
불법복제를 확실하기 막을 수 없다는 실효성의 문제가 대두되기도 한다.
(7) 또한 콘텐츠에 접근하기 위해서 사용자의 인증정보가 필요하므로 프라이버시에 대한 문제도 존재한다.
(6)
또 다른 방법으로, 워터마킹 기술은 멀티미디어 콘텐츠에 소유권자의 저작권 정보를 워터마크로 삽입하고 불법 복제된 콘텐츠에서 워터마크를 다시 추출함으로써
소유권을 주장할 수 있도록 하는 기술로서 저작권자 또는 판매권자의 정보를 멀티미디어 콘텐츠 내에 삽입하여 추후 발생하게 될 지적 재산권 분쟁에서 정당함을
증명하는데 사용된다.
(7) 워터마킹 기술이 실질적으로 적용되기 위한 몇 가지 요구사항들은 (1) Imperceptibility, (2) Robustness, (3) Payload
size, (4) 원본의 사용여부, (5) Multiple watermarks, (6) Security 등이 있다. 워터마크의 요구사항에 있어 Robustness는
중요한 요소이지만 이를 공격하는 방식들은 더욱더 많아지고 교묘해지고 있는데 공격들의 종류로는 크게 신호 감쇄, 검출 실패, 위조 공격, 특정 환경조성
등이 있다. 하지만 여전히 워터마킹 기술은 잡음이나 신호처리와 같은 외부의 공격으로 인해 변형되거나 파괴되기 쉽다는 단점이 있다. 따라서 DRM의
단점인 다른 매체들 간의 상호호환이 불편하다는 점, 워터마킹 기법의 단점인 신호처리 등의 외부 공격에 대해 강인하지 않다는 것을 보완하여 외부의 공격에도
강인한 불법콘텐츠 검출방법이 필요하다.
본 논문에서는 기존 방식들의 단점을 보완하여 외부의 공격에도 강인한 불법콘텐츠 검출방법을 제안한다. Near-duplicate 비디오 검색 방법은
주어진 쿼리 비디오에 대해 비디오 데이터 셋에서 검색 및 연산을 통해 유사한 데이터를 검출해내는 방법이다. 이 기술은 비디오 검색, 비디오 저작권
보호, 비디오 추천, 비디오 모니터링 등의 다양한 분야에서 연구가 진행되고 있다
(3,8). 본 논문에서 Near-Duplicate 비디오 검출을 위해 추출한 특징으로는 가장 일반적으로 사용되는 이미지의 전역 특징인 HSV 히스토그램,
지역 특징인 LBP 히스토그램 특징을 사용하였다
(3). 고 차원의 특징 벡터의 유사도 계산의 속도를 줄이기 위해 유클리디안 공간 기반의 Hashing 기법을 사용하였으며 기존 연구의 코사인 유사도 기반의
Hashing 기법
(4)와 속도 비교 실험을 하였다. 워터마킹 기술과의 불법 콘텐츠 검출 비교 실험을 위해 각 500개의 영상에 대한 500개의 키 프레임 이미지 셋을 구축하였으며,
3가지 외부 공격에 대한 검출 실험을 진행하였다. 실험 조건은 원본 그대로의 사용, 노이즈 삽입 후 사용, 텍스트 삽입 후 사용, 해상도 변경 후
사용으로 설정하였다.
본 논문의 구성은 다음과 같다. 2장에서는 데이터 추출 방식과 채택된 불법 콘텐츠 검출 방법에 대한 소개, 3장에서는 실험의 진행방식 및 실험결과
그리고 마지막 4장에서 결론으로 끝을 맺는다.
2. 불법 콘텐츠 검출 시스템
Near-Duplicate 비디오 검출은 일반적으로 1) 키 프레임 추출, 2) 특징 추출, 3) 해쉬 코드 인코딩, 4) 유사도 계산 과정으로 진행된다.
키 프레임 추출은 일정한 샘플링 주기를 통해 비디오에서 n개의 이미지를 추출하는 방법이다. 추출된 키 프레임은 고유의 특성을 정량화하기 위해 특징
벡터로 변환된다. 영상 내에 존재하는 정보를 추출하는데 사용되는 주된 특징으로는 형태(shape), 색상(color), 질감(texture) 등이
있다.
(9) 본 논문에서는 기존의 NDVR 연구에서 일반적으로 많이 사용되는 HSV, LBP 히스토그램을 사용한다.
2.1 HSV
HSV 색 공간 또는 HSV 모델은 색을 표현하는 하나의 방법이다. 구성요소인 색상(Hue), 채도(Saturation), 명도(Value)의 좌표를
써서 특정한 색을 지정한다. 유사한 것들로는 Gray 모델, RGB, CMYK, HSL(Light), HSI(Intensity) 등이 있다.
HSV 모델은 인간의 시각시스템과 유사한 컬러모델이라고도 한다. 따라서 많은 영상 검출 및 인지 시스템 연구, 실험에서 HSV 모델을 많이 사용한다.
영상처리 및 영상인식에서 HSV 모델을 사용할 때, 색상, 채도, 명도 각각은 0~255 사이의 값을 갖는다. HSV 모델을 사용한다며 서로 다른
영상 사이의 색상 차이를 계산 하는 방법은 다양하다. 대표적으로는 Euclidean 거리를 이용하는 방법이 있다. 앞서 언급했듯이 HSV 모델 성분에는
색상과 채도 성분뿐만 아니라 명도에 대한 성분 값도 가지고 있기 때문에 조도의 변화에 대한 영향을 줄여준다는 장점이 있다. 아래
그림. 1은 본 실험에서 사용된 키 프레임에서 추출한 HSV 특징의 히스토그램에 대한 예시이다.
그림. 1. HSV 특징 예시
Fig. 1. HSV feature example
2.2 LBP
LBP(Local binaray patterns)는 주로 이미지의 질감 표현 및 얼굴 인식 등에 활용되는 특징이다. 대표적인 LBP 특징의 종류로는
1) 33 사각 LBP, 2) 원형 LBP, 3) Uniform LBP, 4) Rotation-invariant LBP, 5)Uniform&Rotation-invariant LBP가 있다. 본 논문에서는 그 중 가장 간단한 초기 방법인 33 사각 LBP를 사용하였다.
LBP는 이미지의 지역적인 이진 패턴을 계산하는 방법이다. 3×3 사각 LBP에서는 중심에 위치하는 픽셀과 이웃하는 8개의 픽셀의 밝기를 비교한다.
그림. 2와 같이 중심 픽셀의 밝기 값 보다 크거나 같으면 1, 작으면 0으로 정한다. 정해진 값들을 왼쪽 가운데 위치한 픽셀부터 시계방향 순으로 나열하면
01110011(2) =115가 된다. 나올 수 있는 경우의 수는 00000000(2)~ 11111111(2)로 총 256가지가 있고, 따라서 하나의
영상의 질감을 256개의 숫자로 표현할 수 있다. LBP는 이웃한 픽셀과의 밝기를 비교하여 나타내는 특징이기 때문에 영상이나 이미지의 밝기에 변화가
있어도 연산 결과에 영향을 미치지 않는 다는 이유로 조도 변화에 강인한 특성을 가지고 있다.
그림. 2. 3×3 사각 LBP 계산 예시
Fig. 2. Example of Original 3× LBP calculation
그림. 3은 본 실험에서 사용된 키 프레임에서 연산한 LBP 특징의 히스토그램에 대한 예시이다.
그림. 3. LBP 특징 예시
Fig. 3. LBP feature example
2.3 Hashing 방법
특징 추출로부터 만들어진 특징 벡터는 으로 표현되며, 여기에서 i는 비디오의 키 프레임 인덱스, d는 특징의 차원 이다. 유사도를 계산하고 관련된
비디오를 검출하기 위해, 쿼리 비디오에 대한 키 프레임은 모든 비디오의 키 프레임들과 비교된다. 이 과정은 정확한 검출 결과를 제공할 수 있지만 많은
시간이 소요된다는 단점이 있다. 이러한 단점을 개선하기 위해서, 해싱 기술이 사용된다. 해싱 기술은 비디오간의 유사도 계산을 빠르게 하여 대규모의
검색을 가능하게 하는 이유로 많은 양의 멀티미디어 데이터 검색에서 해싱기술이 주목받고 있다. 본 연구에서 사용된 해싱 방법은 유클리디안 공간 기반의
해싱 방법을 사용하고
그림. 4는 그 예시를 나타낸다. hash 함수를 통해 생성된 특징 벡터들은 좌표축의 partition에
그림. 4(a)과 같이 할당된다.
그림. 4. Hashing 예제
Fig. 4. Hashing example
그림. 4(b)에 보인 것과 같이 서로 멀리 떨어져 있는 데이터의 값이 90°에 가까워질수록 같은 partition에 매칭 될 확률이 높아진다. partition의
거리를 L이라고 할 때,
그림. 5 ⅰ)와 같이 포인트들의 거리 d가 L/2보다 작다면, 같은 partition에 들어갈 확률이 1/2이고,
그림. 5 ⅱ)와 같이 포인트들의 거리가 2L 이라면, 0°부터 90° 사이에서 60°~90° 사이에서 같은 partition에 할당될 수 있으므로, 확률은 1/3이
된다. 따라서 hash 함수는 (L/2, 2L, 1/2, 1/3)―sensitive family를 가지게 된다. 위와 같은 과정을 거쳐 특징벡터들의
Hash code가 생성된다. 생성된 hash code들을 일정 공간으로 나누어 다른 hash code와 일치하는 구간이 있는 경우, 유사한 비디오일
가능성이 있는 Candidate pair로 분류하게 된다. 유사도 및 거리 계산의 대상의 범위를 Candidate pair로 한정하기 때문에, 계산
대상의 개체의 수가 줄어들어 계산 속도가 빨라지게 된다. 본 연구에서는 실험 데이터들 중 특징의 표준 편차가 적은 특징을 제거 하는 전처리 과정을
거쳤으며, 기존 연구에서 사용된 코사인 유사도 기반의 hashing 방법과의 검색 속도비교 실험을 하였다. 실험 데이터는 MNIST 데이터 셋을 사용하였으며,
1개의 쿼리 이미지에 대해서 55000개의 이미지 중 가장 유사한 이미지를 검색하는데 걸리는 시간을 비교하였다.
표 1에 나타난 것과 같이 결과는 비교되는 다른 방법들 보다 속도가 개선됨을 볼 수 있다.
그림. 5. Hash 함수 설명
Fig. 5. Hash function description
표 1. Hashing 함수에 따른 검색 속도 비교
Table 1. Comparison of searching speed by hashing function
|
None
|
제안된 hashing 방법
|
코사인 유사도 기반(4)
|
|
1263ms
|
27ms
|
83ms
|
3. 실험 및 실험 결과
본 논문에서는 공격이 발생할 수 있는 다양한 환경에서의 검출 율을 계산하기 위해, 네 가지의 다른 환경에서 실험을 진행하였다. 실험 조건은 1) 원본
그대로의 사용, 2) 노이즈 삽입 후 사용, 3) 텍스트 삽입 후 사용, 4) 해상도 변경 후 사용으로 설정한다. 네 가지 조건에서 기존에 불법 콘텐츠
검출을 위해 사용되었던 워터마킹 기법
(5)과의 검출 율 비교를 진행한다. 이전 연구에서 제안된 방법은 디지털 영상에 대한 2차원 이산 웨이블릿 변환의 주파수 특성을 이용하며, 전역적 데이터에
디지털 워터마크를 삽입하는 방법을 제안하였다. 디지털 워터마크를 삽입하는 방법은 간단한 양자화 인덱스 변조(Quantization Index Modulation,
QIM) 방법을 사용하였다. 두 방법의 검출율 비교를 위해서 실험 결과에서 정밀도(precision)-재현율(recall) 그래프를 사용하여 나타낸다.
통계적 분류 분야에서 정밀도와 재현율은 다음과 같이 정의된다.
정밀도는 불법 콘텐츠로 추정된 데이터 중 실제 불법 콘텐츠의 비율을 의미하고 재현율은 전체 불법 콘텐츠 중 불법 콘텐츠로 추정된 것들의 비율을 의미한다.
검출 율은 이 정밀도와 재현율이 교차하는 지점이 된다.
3.1 실험 데이터
실험에 사용될 데이터로 서로 다른 500개의 영상 데이터 셋을 구축하였다. 원본 데이터 셋 중 300개는 불법복제가 의심되는 디지털저작물로, 나머지
200개의 이미지는 보호가 필요 없는 일반 콘텐츠로 정의하고. 조사가 필요한 데이터 셋은 300개의 불법 복제 콘텐츠, 200개의 합법 콘텐츠로 정의한다.
원본을 그대로 하는 첫 번째 실험 조건과 노이즈를 추가한 두 번째 실험, 그리고 해상도를 변경한 네 번째 실험 조건에서는 500개의 데이터로 실험을
진행하였고, 텍스트가 추가된 세 번째 실험 조건에서는 100개의 데이터로 실험을 진행하였는데, 60개는 각각 디지털저작물과 불법복제 콘텐츠로 하고,
40개는 각각 일반 콘텐츠와 합법 콘텐츠로 한다. 실험에 사용된 데이터들은
그림. 6에서 보이는 것과 같다.
그림. 6. 데이터 예시 (a)원본 그대로 사용, (b)노이즈 삽입, (c)텍스트 삽입, (d)해상도 변경
Fig. 6. Data examples (a)Use original, (b)Add noise, (c)Add text, (d)Change resolution
3.2 원본 그대로의 불법적 사용
저작권 보호가 필요한 콘텐츠들의 대하여 원본 그대로 사용했을 때의 검출 율 비교 실험을 진행하였다. 사용된 데이터로는 저작권 보호가 필요한 300개의
영상데이터와 저작권 보호가 필요 없는 합법 영상 데이터 200개를 사용하였으며, 워터마킹 방법의 경우 300개의 영상 데이터에 사전에 워터마크를 삽입하여
진행하였다.
그림. 7은 검출 율 실험 결과를 나타낸다. 결과에 따르면 워터마킹 방법을 사용한 검출 방법의 경우 99%의 검출 율을 보였고, 제안된 방법은 100%의 검출
율을 보였다.
그림. 7. 원본이미지 실험 결과
Fig. 7. Original images experiment results
3.3 노이즈 삽입 후 불법적 사용
노이즈 삽입 후 불법적 사용은 워터마크를 파괴 또는 불법적 사용 검출을 피하기 위해 비디오 영상에 노이즈를 삽입한 후 사용 한 것을 의미한다. 위
실험과 동일하게 저작권 보호가 필요한 300개의 영상 데이터의 경우 워터마크를 삽입하였으며, 실험에 사용될 500개의 영상 데이터에 가우시안 노이즈를
발생시켰다. 가우시안 노이즈는 평균과 표준 편차에 따라 임의로 발생 시켰다. 실험 조건으로는 3단계로 나누어 평균은 0, 표준편차 3, 5, 10의
가우시안 노이즈를 발생시켰다.
그림. 8과 같이 각 실험 조건에 대하여 차례대로 워터마킹 방식은 약 83%, 75%, 70% 그리고 제안된 방법은 약 90%, 85%, 77% 의 검출 율을
보였다.
그림. 8. 노이즈가 추가된 이미지 실험 결과
Fig. 8. Noise added images experiment results
3.4 텍스트 삽입 후 불법적 사용
텍스트 삽입 후 불법적 사용에서는 기존의 저작물로 정의된 키 프레임 데이터 300개 중 60개의 이미지를 추출하고, 새로운 데이터 200개중 40개를
추출하여 총 100개의 이미지 파일을 입력데이터로 한다. 100개의 데이터는 전부 동일한 텍스트가 임의의 지점에 삽입되어있다.
결과는
그림. 9와 같이 워터마킹 방식은 약 87%, 제안된 방법은 약 95%의 정확성을 보인다.
그림. 9. 텍스트가 추가된 이미지 실험 결과
Fig. 9. Text added images experiment results
3.5 해상도 변경 후 불법적 사용
네 번째 실험인 해상도 변경 후 불법적 사용은 검색의 대상이 되는 영상 데이터 셋들의 해상도를 절반만큼 저하시켜 실험을 진행하였다. 실험에 사용될
데이터는 총 500개로 300개의 불법 콘텐츠와 200개의 합법 콘텐츠로 정의한다.
그림. 10과 같이 해상도가 저하된 조건에 대한 실험 결과는 워터마킹 방법을 사한 검출 방법의 경우 약 69%의 검출 율을 보였고, 제안된 방법은 약 93%의
검출 율을 보였다.
그림. 10. 해상도가 변경된 이미지 실험 결과
Fig. 10. Resolution changed images experiment results
4. 결 론
본 논문에서는 디지털저작물 중 디지털 콘텐츠들의 노출이 증가되면서 디지털 저작물들의 저작권 보호는 더욱 중요해졌다. 기존에는 디지털 저작물들의 저작권을
보호하는 여러 가지 메커니즘이 존재한다. 대표적으로 예시를 든 DRM과 워터마킹도 그 중 하나이다. DRM은 정당한 가치를 지불한 사람만이 콘텐츠에
접근할 수 있다는 안정성은 있지만, 콘텐츠의 유료화나 다른 매체들과의 호환성이 불가한 불편성에 있어서 상용화되기 힘들다는 단점이 있다. 또한 디지털
워터마킹 방식은 현재 디지털 저작물들의 보호 방식으로 가장 많이 쓰이고 있는 방식이지만 공격 방법이 매우 다양한 만큼 교묘해지고 있다. 점차 교묘해지는
공격에 쉽게 취약해지기 때문에 안전성면에서의 단점이 있다. 본 논문에서는 디지털저작물 중 이미지에 대한 불법 콘텐츠 검출방법을 제안하였다. 나아가
기존의 보호방법 중 대표적인 디지털 워터마킹 방식과 비교하여 외부의 공격에도 강인한 불법 콘텐츠 검출 방법을 제안하였다. 본 연구에서는 원본을 포함한
노이즈, 텍스트와 같은 외부의 공격이 발생한 4가지의 환경에서 제안된 방법과 워터마킹 방식 모두 실험을 진행하여 그 결과를 비교하였다. 도출된 결과로는
모든 환경에서 워터마킹보다 제안된 방법이 더 높은 정확성을 보였다. 향후에는 노이즈가 발생한 이미지에서의 검출 율을 보다 개선하여, 외부의 공격에도
강인한 불법 콘텐츠 검출 프로그램을 만들고 디지털 워터마킹 기법과의 복합사용을 통해 불법 콘텐츠 검출 효율을 더욱이 높일 것을 목표로 한다.
감사의 글
본 연구는 2018년도 상명대학교 교내연구비를 지원받아 수행하였음.
References
Ma Zhaofeng, Oh PK, 2017, Digital Rights Management: Model, Technology and Application,
China communication
Saraju P.Mohanty, Sengupta Andiron, Guturu Parthasarathy, Elias Kouglianos, 2017,
Everything You Want to Know About Watermarking, IEEE consumer electronics magazine
Hao Yanbin, Mu Tingting, Hong Richang, Wang Meng, An Ning, John Y. Goulermas, 2017,
Stochastic Multiview Hashing for Large-Scale Near-Duplicate Video Retrieval, IEEE
Transactions on Multimedia, Vol. 19, No. 1
, http://www.cs.jhu.edu/~vandurme/papers/VanDurmeLallACL10-slides.pdf
Kang I-Seul, Lee Yong-Seok, Seo Young-Ho, Kim Dong- Wook, 2017, An Empirical Digital
Image Watermarking using Frequency Properties of DWT, JBE, Vol. 22, No. 3
Song You-Jin, 2009, Anonymous DRM System for Super-Distribution, The e-business studies,
Vol. 10, No. 1, pp. 3-24
, http://uci.or.kr/G903:CD0-000000192
Lee Hyundeok, Bae Guntae, Byun Hyeran, 2011, Near-duplicate Video Detection and Clustering
using Block Difference, Journal of KISS : Software and Applications, Vol. 38, No.
9, pp. 477-484
Song Juwhan, 년도, Content-based Image Retrieval Using HSV Color and Edge Orientation,
The Journal of Korean Institute of Information Technology, Vol. 16, No. 5, pp. 113-118
저자소개
2015년~현재 상명대학교 컴퓨터 과학과 학·석사 통합 과정
[주관심분야] 멀티미디어처리, 음성신호처리
2014년 상명대학교 디지털미디어학과 이학사
2014년~현재 상명대학교 컴퓨터과학과 석·박사 통합과정
[주관심분야] 멀티미디어처리, 인공지능, 음성신호처리
1990년 연세대학교 전기공학과 공학사
1992년 연세대학교 전기공학과 공학석사
1997년 연세대학교 전기공학과 공학박사
1997년~2002년 대우전자 영상연구소 선임연구원
2002년~2012년 KETI 디지털미디어연구센터 센터장
2010년~2011년 미국 Georgia Tech. 방문연구원
2012년~현재 상명대학교 융합전자공학과 교수
[주관심분야] 멀티미디어 검색, 방송통신시스템, 인공지능