2.1 EmoDB/KEMDy19

EmoDB는 총 10명의 배우들이 독일어로 연기를 진행하는 데이터로 구성되어있다. 총 535개의 데이터로 7가지의 감정 카테고리(anger, boredom, fear, happiness, sadness, disgust, neutral)로 구성되어 있으며, 이 중 4가지의 감정 카테고리(anger, fear, sadness, disgust)를 가진 데이터만 사용하였다.

KEMDy19는 총 40명의 한국인 성우를 대상으로 남/여 성우가 2인 1조가 되어 감정 상황극을 진행하는 데이터로 구성되어있다. 해당 데이터 셋은 성우가 발화한 각 발화 세그먼트 별로 7가지의 감정 카테고리의 감정 레이블 중 1가지를 선택하고 각성도와 긍/부정도를 평가한 데이터와 심전도, 피부전도도 등의 신체 데이터를 포함하고 있다. 그 중 발화 세그먼트에 대한 관찰자의 감정 레이블 평가 파일만을 데이터로 사용하였고, 7가지의 감정 카테고리(fear, angry, sad, neutral, happy, disgust) 중 4가지의 감정 카테고리(fear, anger, sad, disgust)로 평가된 데이터만 사용하였다. 또한, 정확한 실험을 진행하기 위해 이중 레이블을 가진 데이터는 제거하였다. 이후에는 편의를 위해 EmoDB와 KEMDy19의 감정 카테고리 명칭을 (fear, anger, sadness, disgust)로 통일하였다.

2.2 데이터 전처리

음성 데이터에는 보통 노이즈나 비음성구간과 같은 불필요한 정보가 포함되어있다. 이러한 경우 정확한 분석에 방해가 될 수 있기에 해당 구간을 제거하고 음성 구간만을 추출하는 전처리 과정을 수행하였다. 음성구간은 비음성구간보다 에너지의 값이 크기 때문에 신호의 전반적인 에너지 값을 보여주는 절대 적분치(IAV : Integral Absolute Value) 특징 벡터를 사용해 구분해낼 수 있다. IAV 특징 벡터는 식(1)과 같이 나타낼 수 있다⁽⁸⁾.

$\bar{X}$는 측정된 신호이고, $N$은 샘플링 개수를, $i$는 샘플의 순서, $\triangle t$는 샘플링 시간 간격을 의미한다.

음성구간 추출은 IAV 특징 추출, IAV 임계값 선택, 신호 크기의 임계값 선택, 음성 구간 추출 순으로 진행한다⁽¹²⁾. 우선 음성 구간을 추출할 기준 값을 구하기 위해서 IAV 특징 벡터를 사용하여 IAV 임계값을 계산한다. IAV 임계값은 IAV 특징 벡터의 최댓값과 최솟값의 차에 최솟값을 더하는 방식으로 결정한다. 만약 최댓값의 0.7을 곱한 값이 최솟값보다 작을 경우, 최댓값에 0.8을 곱한 값을 IAV 임계값으로 설정한다. 신호 크기의 임계값은 IAV 임계값을 프레임 크기로 나눠준 값으로 설정한다. 마지막으로 프레임 단위로 수행하면서 IAV 임계값보다 큰 값을 가지는 구간이 나오면 해당 프레임 내에서 신호 크기의 임계값보다 커지는 지점을 시작 인덱스로 설정하고, 이후 IAV 임계값보다 작아지는 구간이 나오면 그 지점을 끝 인덱스로 설정한다⁽¹²⁾. 이러한 과정을 거쳐 시작 인덱스와 끝 인덱스 사이의 신호를 추출하면 오디오 데이터에서 음성구간만을 추출할 수 있다. 또한, 추출된 음성구간을 약 2초의 길이로 동일하게 분할하여 실험에 사용하였다.

2.3 유사 감정 그룹 선정

본 논문에서는 Russell의 Circumplex Model⁽⁹⁾을 바탕으로 Fig 1과 같이 유사 감정 그룹을 선정하였다.

Fig. 1을 바탕으로 동일 평면상에 존재하여 구분이 어려운 감정을 그룹화 하여 (fear, anger), (sadness, disgust) 2가지의 감정 그룹을 선정하였다.

3.1 Bhattacharyya distance

Bhattacharyya distance는 두 클래스 간의 유사성을 측정하는데 사용되는 지표이다. 두 클래스의 중첩 영역을 측정하며, 값이 클수록 두 클래스 간의 분리도가 크다는 것을 나타낸다. Bhattacharyya distance 계산을 위해 식(2)를 사용하였다⁽¹³⁾.

$M_{1},\: M_{2}$는 두 클래스의 평균이고, $\Sigma_{1},\:\Sigma_{2}$는 두 클래스의 공분산 행렬이다.

3.2 Mahalanobis distance

Mahalanobis distance는 데이터의 중심(평균 또는 중앙값)과 각 데이터 포인트 사이의 거리를 측정하는데 사용되는 지표이다. 데이터의 공분산 행렬을 사용하여 스케일링되어 특정 방향의 데이터 분산을 고려할 수 있다. Mahalanobis distance 계산을 위해 식(3)을 사용하였다⁽¹⁴⁾.

$A,\:B$는 두 클래스의 데이터이고, $\Sigma^{-1}$은 공분산 행렬의 역행렬이다.

3.3 Jensen-Shannon divergence

Kullback-Leibler divergence는 두 클래스의 유사도를 측정하는 척도로, 값이 클수록 두 클래스 간의 분리도가 크다는 것을 나타낸다. 그러나 Kullback-Leibler divergence는 non-symmetry한 값이기 때문에 두 클래스 간의 평균 발산을 측정하는 Jensen- Shannon divergence를 사용하여 두 클래스 간의 유사도를 symmetry한 값으로 측정할 수 있다. Jensen-Shannon divergence 계산을 위해 식(4)를 사용하였다⁽¹⁵⁾.

$P_{1},\:P_{2}$는 두 클래스의 데이터이고, $M$은 두 클래스의 데이터의 평균이다.

3.4 분리도 측정 방법 선정

3가지 분리도 측정 방법 중 가장 적합한 방법을 선택하기 위해 각 방법의 결과에서 상위 3가지 특징벡터를 선정하여 정확도를 측정하였다. 정확도 측정에는 SVM 분류기를 사용하였다. 그 결과, Bhattacharyya distance 방법을 기반으로 한 SVM 정확도가 다른 분리도 측정 방법을 기반으로 한 SVM의 정확도보다 전반적으로 높은 수치를 보였다. 따라서 Bhattacharyya distance 결과를 바탕으로 가장 효과적으로 유사 감정 그룹을 분류하는 특징 집합을 탐색하였다.

4.1 실험 방법

표 3에 제시된 Bhattacharyya distance의 결과를 기반으로, 다양한 특징 조합을 탐색하였다. 초기에는 상위 1개의 특징만을 조합하여 특징 집합을 구성하였다. 이후 상위 2개, 3개, 4개 등으로 점차 특징의 수를 늘려가며 여러 특징 집합들을 생성하였다. 이렇게 구성된 각각의 특징 집합을 SVM 분류기에 적용하여 감정 분류의 정확도를 측정하였다. 최종적으로, 가장 높은 분류 정확도를 보이는 특징 조합을 선별하여 해당 유사 감정 그룹 분류에 가장 효과적인 특징 조합을 파악하였다.

4.2 실험 결과

표 5와 표 6에서는 각 데이터베이스에 따른 감정 그룹별 특징 집합의 정확도 제시이다. 여기서 “featureset” 뒤의 숫자는 조합한 상위 특징의 개수를 나타내며, 이는 각 감정 그룹별의 정확도 변동성을 설명하는데 사용된다.

우선 EmoDB 데이터를 기준으로 할 때, (fear, anger) 그룹에서는 상위 2개, 3개, 4개의 특징 집합의 정확도는 동일하게 나타났다. 이 결과는 해당 실험 데이터의 수가 부족함으로 인한 것으로 분석된다. 반면, (sadness, disgust) 그룹에서는 상위 2개 및 3개 특징의 집합들이 다른 집합들에 비해 더 높은 정확도를 보였다. KEMDy19 데이터를 살펴보면, (fear, anger) 그룹에서는 상위 3개 및 4개의 특징 집합이 최고의 정확도를 기록했다. 또한, (sadness, disgust) 그룹에서는 상위 3개의 특징 집합이 가장 높은 정확도를 보였다.

이 결과들을 종합하여 감정 그룹별 최적의 특징 벡터를 도출할 수 있었다. EmoDB 데이터의 (fear, anger) 그룹은 데이터의 양이 부족한 관계로 최적의 특징 벡터를 정의하기 어려웠다. 따라서 해당 그룹의 결과는 최적 특징 벡터 선정에서 제외하였다. (sadness, disgust) 그룹에서는 (MFCC+Chroma)과 (MFCC+ Chroma+∆-MFCC) 특징 집합이 가장 적합하였다. KEMDy19 데이터의 (fear, anger) 그룹에서는 (MFCC+Chroma+∆-MFCC)과 (MFCC+Chroma+∆-MFCC+Flatness) 특징 집합이 가장 적합하고, (sad, disgust) 그룹에서는 (MFCC+Chroma+Contrast) 특징 집합이 가장 적합하였다.