2.1 제안된 방법의 특징

오디오 핑거프린팅 기술은 원본 오디오에서 특징 값들을 추출하고 재가공하여 생성된 오디오의 핑거프린트를 해당 오디오의 저작권의 침해여부를 판별하기 위한 도구로 사용하는 기술이다. 따라서 이상적인 핑거프린트 시스템에 만족해야할 몇 가지 조건이 있다^[14]. 그 중 가장 기본적인 세 가지 조건은 아래와 같다.

강건성 (Robustness): 압축, 왜곡 및 간섭과 같은 외부 공격에도 불구한 정확한 식별 능력

정확성 (Accuracy): 정확한 식별, 잘못된 식별, 실패한 식별이 얼마나 되는가.

세분성 (Granularity): 짧은 시간 단위의 입력만으로 식별을 해내는 능력

복잡도 (Complexity): 효율적인 컴퓨팅 코스트

위 세 가지 조건들 중 본 연구에서는 다양한 공격들에도 불구하고 오디오를 정확하게 식별 할 수 있는 능력인 오디오 핑거프린트의 강건성과 정확성을 충족시키는 것에 우선적으로 초점을 맞추어 오디오 검출 과정이 진행된다.

오디오 핑거프린팅 기술과 관련된 대부분의 연구들은 오디오에 푸리에 변환을 수행 한 후 생성된 스펙트로그램에서 지역 최댓값을 구조를 특징 값으로 하여 구조를 분석하고 오디오 핑거프린트를 추출한다^[18-21]. 하지만 원본 오디오 데이터에 피치(음조)가 변화하는 조작이 발생하면 주파수 대역에서의 오디오 특징 값들은 불규칙한 이동을 보인다^[1]. 이러한 왜곡은 원본 오디오에서 추출된 핑거프린트의 일관성이 유지되지 못함을 의미하며, 오디오의 부정확한 매칭으로 이어진다. 반면에, fundamental frequency 대역에서 추출되는 오디오 특징값을 사용하면, 원본 오디오에 피치 변경과 같은 공격이 가해지더라도 fundamental frequency의 값은 전체적으로 y축에 대하여 평행하게 이동한다^[1]. 이러한 특성을 이용하여 피치 및 스피드 변화에 강인한 오디오 핑거프린팅 방법을 설계할 수 있다.

^[1]에서 이전에 제안했던 방법에는 앞서 언급한 피치 변경을 포함한 스피드 변경과 템포 변경, 노이즈 추가와 같은 공격들에 대하여 오디오 핑거프린트의 성능을 검증한다. 이와 같은 조작들은 fundamental frequency 대역에서 그 값들이 대체적으로 규칙적이게 이동한다. 하지만 오디오 데이터 전체에 대한 조작이 아닌 특정 주파수 대역에만 변화를 주는 공격에 대해서는 [그림 1]과 같이 그 변화가 불규칙하므로 이러한 특성을 적용하기가 힘들다.

본 연구에서는 low pass filter 와 high pass filter와 같은 특정 성분의 변화를 유도하는 공격들 대한 오디오 핑거프린트의 성능을 보강하기 위하여 새로운 오디오 핑거프린팅 방법을 제안한다. [그림 2]는 새로 제안된 오디오 핑거프린트를 추출하는 과정에 대한 간단한 도표이다. 본 논문에서는 음악에 주로 사용되는 피치의 범위를 고려하여 C3부터 C7까지의 주파수 값인 100Hz부터 2000Hz까지의 fundamental frequency를 오디오의 특징값의 범위라고 정의한다. 따라서 정의된 기본 주파수의 중간 값인 1000Hz를 차단 주파수로 하여 실험을 진행한다.

입력 오디오는 핑거프린트 추출 단계로 들어가 1000Hz를 기준으로 low pass filtering과 high pass filtering 처리가 되어 두 종류의 오디오 핑거프린트를 반환하게 된다. 생성된 오디오 핑거프린트는 [그림 3]과 같이 원본 오디오 데이터베이스에 저장된다.

라벨링이 되지 않은 오디오가 입력으로 들어오는 경우에도 동일한 오디오 핑거프린트 생성 과정을 거쳐 low 핑거프린트와 high fingerprint를 반환한다. 생성된 low fingerprint와 high fingerprint는 데이터베이스에 저장되어 있는 핑거프린트와의 유사도 검색을 통하여 일치조건을 충족하는 데이터의 오디오 정보를 반환하게 된다. 이때 유사도 계산 과정에서, low fingerprint는 데이터베이스에 미리 분류되어있는 low fingerprint에 대해서만 유사도 계산이 수행되며 high fingerprint의 경우도 동일하다.

그림. 1. fundamental frequency 대역에서의 특징 값 (위: 원본, 아래: high pass filter 적용)

Fig. 1. Feature points in fundamental frequency domain (left: original audio, right: high pass filtered audio)

그림. 2. 오디오 핑거프린트 생성 과정

Fig. 2. Process of generating audio fingerprint

그림. 3. 오디오 핑거프린트 매칭 과정

Fig. 3. Process of matching audio fingerprint

2.2 오디오 특징 값 추출

오디오 핑거프린트를 생성하기 위해서 적절한 오디오 특징값 추출방법이 필요하다. 본 연구에서는 ^[1]에서 정의된 것과 동일한 기본주파수 성분 기반의 오디오 추출방법을 사용한다. 해당 방법에 대하여 간략하게 설명하자면, 오디오 데이터의 fundamental frequency값은 normalized autocorrelation 에 의해 계산된다. 이 과정에서 불필요한 성분이 오디오의 무성음구간이 제거된다. 추출된 특징값들은 frame-fundamental frequency 표현기법인 FFMAP을 구성하게 된다.

2.3 유사도 계산 알고리즘

2.2절의 과정을 통해 생성된 FFMAP은 배열의 형태로 반환되어 최종적으로 frame의 개수를 배열의 길이로 가지는 피치배열인 핑거프린트를 얻게 된다. 원본 오디오들로부터 추출된 오디오 핑거프린트들은 [그림 3]와 같이 라벨링이 되지 않은 오디오들과의 매칭에 이용하기 위하여 데이터베이스에 저장된다. 핑거프린트간의 매칭에는 피어슨상관점수가 적용되며 표현식은 식(1)과 같다. 피어슨 상관점수는 x값에 따른 y값의 변화를 기반으로 한 상관점수이므로 변화가 발생하더라도 그 변화의 정도가 일정하다면 높은 상관 점수를 얻게 된다. Fundamental frequency 대역에서 오디오의 특징 값들은 특정 공격이 가해지면 y축을 기준으로 대체적으로 평행하게 이동하는 성질을 가지기 때문에 피어슨 상관점수 계산을 통해서 높은 값을 얻을 수 있음을 예측할 수 있다.

(2)

식(1)과 (2)에서 $\mu_{X},\:\mu_{Y}$는 모집단 $X$와$Y$의 평균을 의미하며 $\sigma_{X},\:\sigma_{Y}$는 $X$와$Y$의 표준편차, $m$은 모집단의 개체 수를 의미한다.

3.1 tempo modification

템포변경 공격은 원본 오디오의 빠르기에만 변화가 발생하는 공격이다. [그림 4]에서 그래프의 세로축은 각 알고리즘의 검출률을 나타내며, 가로축은 원본 오디오에 대한 조작된 오디오의 상대적 길이를 의미한다. 원본 오디오 데이터의 빠르기를 10%간격으로 최대 30%만큼 증감시킨 공격데이터에 대한 검출 성능을 조사한다.

템포공격 실험에는 모든 실험환경에 대해서 제안된 방법과 old-proposed 방법이 100%로 높은 검출률을 얻는다.

그림. 4. tempo 변경에 대한 검출률

Fig. 4. Precision according to tempo variation

3.2 pitch modification

피치변경 공격은 템포변경과 마찬가지로 원본 오디오의 피치 값이 최소 70, 최대 130%까지 변화하며, 그 간격은 10%이다. [그림 5]에서 그래프의 가로축은 원본 오디오에 대한 조작된 오디오의 상대적 음조 값을 나타내며, 10%는 반음으로 정의한다.

그림. 5. pitch 변경에 대한 검출률

Fig. 5. Precision according to pitch variation

제안된 방법과 old-proposed는 모든 실험환경에서 거의 흡사한 검출률을 기록하지만 변경되는 피치 값이 커질수록 새로 제안된 방법에서 조금 더 개선된 성능을 보임을 알 수 있다.

3.3 speed modification

스피드변경 공격은 원본 오디오에서 템포와 피치에 비례적으로 변화가 발생하는 공격이다. 스피드변경 공격은 제안된 방법과 old-proposed, Quad-based 세 가지 방법의 검출률을 모두 비교한다. [그림 6]에서 그래프의 가로축은 원본 오디오에 대한 조작된 오디오의 상대적 길이를 의미한다.

제안된 방법과 old-proposed의 성능은 전반적으로 비슷하지만, Quad-based 방법은 원본 데이터를 제외한 나머지 환경에서는 스피드변경의 정도가 강해질수록 검출성능의 폭이 크게 저하되는 것을 볼 수 있다. 특히 오디오의 스피드가 원본의 70%, 80%, 130%로 변경된 조건에서는 오디오 매칭이 전혀 진행되지 않는다.

그림. 6. speed 변경에 대한 검출률

Fig. 6. Precision according to speed variation

3.4 noise adding

노이즈삽입 공격은 원본에서 5~50dB 만큼 노이즈를 추가한 실험환경과, 스피드가 조작된 오디오에서 노이즈를 추가한 실험환경으로 크게 두 가지로 나뉜다. 조작된 오디오의 스피드는 95%와 105%로 한다.

그림. 7. noise 삽입에 대한 검출률

Fig. 7. Precision according to SNR variation

노이즈 삽입 환경에서는 세 가지의 오디오 핑거프린트 방법들이 대체적으로 모두 우수한 성능을 보임을 알 수 있다. 하지만 노이즈의 정도가 심한 5~10dB에서는 방법들 간의 검출률의 차이가 발생한다. 제안된 방법의 경우 오디오의 속도와 노이즈의 정도에 관계없이 모든 실험환경에서 매우 높은 검출률을 보이지만, Quad-base와 old proposed의 두 방법들은 오디오의 노이즈 삽입 정도가 심한 구간에서 비교적 저조한 성능을 보임을 알 수 있다. 이러한 추세는 그림 7의 원본에 노이즈가 삽입된 경우가 보다 그림 8과 그림 9의 오디오의 스피드가 조작된 조건에서 더욱 확연하게 드러난다.

3.5 filtering

필터적용 공격은 low pass filtering과 high pass filtering 두 가지로 나누어진다. 필터적용 공격을 제외한 모든 공격에서는 거의 모든 fundamental frequency의 값이 규칙적으로 이동하게 되지만 low pass filter와 high pass filter를 적용하는 공격은 특정 주파수 값에만 변화를 주게 된다. 이러한 점에서 새롭게 제안하는 방법과 old-proposed의 성능을 본격적으로 비교하기 위한 실험환경이다.

그림. 8. noise 삽입 및 speed 95%에 대한 검출률

Fig. 8. Precision according to SNR variation with 95% of speed

그림. 9. noise 삽입 및 speed 105%에 대한 검출률

Fig. 9. Precision according to SNR variation with 105% of speed

그림. 10. low pass filter 적용에 대한 검출률

Fig. 10. Precision according to low pass filtering

그림 10은 원본 오디오에 low pass filter를 적용시킨 환경에 대한 결과이다. 그래프의 가로축은 필터가 적용되는 차단주파수 값을 의미한다. old-proposed는 차단주파수의 범위가 800~ 1000Hz인 범위에서는 높은 검출률을 보이지만 차단주파수가 500Hz에 가까워 질수록 검출률이 큰 폭으로 떨어지게 된다. 또한 Quad-based는 해당 실험 환경에서 차단주파수의 값과 상관없이 전 구간에서 매우 낮은 검출률 또는 검출이 이루어지지 않음이 확인 된다. 제안된 방법은 차단주파수가 500Hz인 조건일 때를 제외하고는 모든 구간에서 90%가 넘는 높은 검출률을 기록한다.

그림. 11. high pass filter 적용에 대한 검출률

Fig. 11. Precision according to high pass fitering

그림 11은 원본 오디오에 high pass filter가 적용되는 환경이다. 마찬가지로 그래프의 가로축은 필터가 적용되는 차단주파수의 값을 의미한다. old-proposed의 성능은 조건 값에 관계없이 거의 모든 오디오에 대해서 검출이 이루어지지 않는다. Quad-based의 경우 500~900Hz를 차단 주파수로 가지는 환경에서는 높은 검출률을 보이지만 차단주파수 1000Hz인 조건에서 그 검출률이 큰 폭으로 감소하는 것을 확인할 수 있다. 모든 조건에 대하여 새로 제안하는 방법의 성능이 가장 우수함을 알 수 있다.