Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 67, No. 11, p.1496-1505

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 29 May 2018Revised : Accepted : 1 October 2018

DOI :

http://doi.org/10.5370/KIEE.2018.67.11.1496

바이오센서 기반 특징 추출 기법 및 감정 인식 모델 개발

Development of Bio-sensor-Based Feature Extraction and Emotion Recognition Model

조예리 (Ye Ri Cho) ¹ 배동성 (Dong Sung Pae) ² 이윤규 (Yun Kyu Lee) ² 안우진 (Ahn Woo Jin) ² 임묘택 (Myo Taeg Lim) ² 강태구 (Tae Koo Kang) ³^†

(Dept. of Mechatronics, Korea University, Korea)
(School of Electrical Engineering, Korea University, Korea)
(Dept. of Human Intelligence and Robot Engineering, Sangmyung University, Korea)

^†Corresponding author, E-mail: tkkang@smu.ac.kr

License :

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.(www.kiee.or.kr).

Abstract

The technology of emotion recognition is necessary for human computer interaction communication. There are many cases where one cannot communicate without considering one's emotion. As such, emotional recognition technology is an essential element in the field of communication. n this regard, it is highly utilized in various fields. Various bio-sensor sensors are used for human emotional recognition and can be used to measure emotions. This paper proposes a system for recognizing human emotions using two physiological sensors. For emotional classification, two-dimensional Russell's emotional model was used, and a method of classification based on personality was proposed by extracting sensor-specific characteristics. In addition, the emotional model was divided into four emotions using the Support Vector Machine classification algorithm. Finally, the proposed emotional recognition system was evaluated through a practical experiment.

Key words

Emotion recognition, Physiological sensor, Support vector machine

1. 서론

현대 사회에서 다양한 분야에서 감정과 관련된 연구의 중요성이 강조되고 있다. 또한, 최근 인간공학 시스템이 많이 발달함에 따라서 사람의 감정과 같이 사람의 상태를 분석하는 연구가 활발하게 진행되고 있다^(1,²⁾. 인간공학은 인체공학, 생체역학, 인지공학, HCI(Human Computer Interface), 감정공학, UX(User Experience) 등으로 연구영역이 세분화 되고 측정, 실험, 분석, 설계, 평가의 관정에서 심층적이며 정교한 최신 기술들이 계속 접목되고 있다. 인간과 시스템 사이의 신체적, 인지적, 감성적 상호작용이 발생하는 영역으로서, 시스템 효율성과 더불어 사용성, 안정, 감성 품질을 향상하고 차별화된 사용 경험을 제공하는 사용자 친화적인 인터페이스 설계의 중요성이 증대되고 있다. 감정은 인식하는 방법에는 음성, 표정, 바이오센서를 이용하는 다양한 방법이 있다^(3-⁷⁾. 최근 주목을 받는 기계 학습 기술과 바이오센서를 결합하여 감정을 분석하는 연구도 활발하게 진행되고 있다^(8-¹⁰⁾. 감정을 표현하는 정도나 감정의 기준은 개인별로 차이가 있는 주관적이 지표라는 한계점을 가지고 있기 때문에 성격을 고려한 연구가 진행되고 있다⁽¹¹⁾.

본 논문에서는 감정을 인식하기 위해 PPG(Photo Plethysmo Graphy), EMG(Electromyogram) 두 가지 바이오센서를 사용하여 특징을 추출하고 감정 분류를 위한 data를 고안했으며, Arousal- valence 기반으로 구분한 2차원 감정 모델을 활용한 분류방식을 제안하였다. 또한 성격을 기반으로 한 감정 모델로 한 사람에게 특화된 감정모델을 제안하였다. 특징을 추출하는 주기를 짧게 지정하여 순간의 감정 변화에 대해서 측정이 가능한 모델을 제안하였다. 각 감정들은 SVM(Support Vector Machine)을 통해서 4가지 감정 패턴으로 분류하였다. 그 결과 4가지 감정에 대해서 평균 이상을 확률로 감정이 잘 인식할 수 있는 것을 확인하였다. 2장에서는 감정인식 시스템이 어떻게 구성되어있고 센서의 어떤 특징 정보를 사용해서 감정을 분류하는지에 대해서 3장에서는 2장에서 설명한 센서를 이용한 실험 환경과 실험의 결과에 4장에서는 결론에 관해서 서술한다.

2. 성격 기반 감정 인식 모델

2.1 감정 인식 시스템 개요

본 논문에서는 광혈류, 근전도와 같은 바이오센서를 이용하여 사람의 생체 신호를 측정한 후 각 센서에 대해서 특징을 추출하고 이를 기반으로 1차적으로 SVM을 이용하여 사람의 현재 감정 상태를 분류한다. 생체신호를 기반으로 분류한 감정에 대해서 성격 모델을 이용해서 성격에 대한 정보를 이용해서 2차 감정을 분류한다. 이렇게 최종적으로 나온 감정은 개인에 생체신호와 성격의 특성을 반영한 감정으로 단순 생체신호를 통한 특징 분류를 이용한 감정분류보다 더 정확한 감정이다. 그림. 1은 제안하는 성격 기반 감정 인식 시스템을 나타낸다.

그림. 1. 감정 인식 시스템 개요도

Fig. 1. Emotional recognition system overview

2.2 감정 모델 구성

사람의 감정 분류는 감정이 수치로 나타내기에는 어려움이 있기 때문에 객관적인 좌표로 표현함에 있어서 어려움이 있다. 감정에 대해서 정량적인 수치로 표현하기 위해서 차원적(Dimensional) 접근방법, 감정 변화 추정(Emotion Variation Detection) 등과 같이 다양한 모델이 있다. 감정에 대한 정량적인 표현을 위하여 Russell은 감정을 2개의 축으로 나눈 2차원 감정 모델을 제안하였다⁽¹²⁾. 감정을 분류하는 2개의 축 중 첫 번째는 각성(Arousal)으로 감정의 흥분 정도를 나타낸다. 이 값이 작을수록 차분한 감정을 나타내며 이에는 지루함, 졸림, 편안함 등이 있다. 반대로 이 값이 클수록 흥분한 감정을 나타내며 이에는 흥분, 분노, 공포 등이 있다. 두 번째 축은 정서가(Valence)로 감정의 긍정 혹은 부정의 정도를 나타낸다. 앞서 나온 감정에서 공포는 아주 부정적인 Valence를 나타내고 지루함은 중간의 Valence 행복은 긍정적인 Valence를 나타낸다. 이 모델을 사용하면 감정을 2차원의 평면에 표현할 수 있다. 이에 대한 내용은 그림. 2에 표현되어 있다.

그림. 2. Russell의 2차원 감정 모델 구성도

Fig. 2. 2 Russell's 2-Dimensional Emotional Model Diagram

또한 본 논문에서는 성격 모델로 five factor model을 사용한다. Five factor model은 성격을 5가지의 factor로 나누고 그와 감정을 연관지을 수 있는 세부적인 설명을 제공한다. 표 1은 Five factor model에 대한 설명이다⁽²¹⁾. Five Factor Model은 심리학자 P.T.Costa와 R.R.McCrae가 개발했으며 인간의 성격을 5가지 요인들로 설명하는 심리학적 모델이다. 각각의 요인들은 외향성, 우호성, 성실성, 신경성, 개방성과 같이 5개의 요소로 구성되어 있다. 각각의 요인들에 대해서 살펴보면 외향성은 개인이 열정적으로 타인을 찾고 환경과 상호작용하는 것을 확인하는 요인이다. 우호성은 대인 관계에서 보이는 질적인 측면을 확인하는 요인이다. 우호성의 반대 개념은 반사회성이나 경쟁성, 적대성, 공격성으로 나타난다. 성실성은 개인의 조직화된 정도를 확인하는 요인으로 점수가 높을수록 바람직하다고 여겨지지만 지나치게 높은 경우 괴팍스러운 성미, 일 중독과 같은 문제점이 나타날 수 있다. 신경성은 개인이 일상 속에서 발생하는 힘든 경험들에 부정적 정서를 얼마나 자주 경험하는지를 확인하는 요인이다. 신경성이 낮은 사람은 무던한 성격을 가진 사람이다. 마지막으로 개방성은 광범위한 주제에서 “새로운 것”에 대해 개인이 판단하는 경향을 확인하는 요인으로 외향성과는 달리 새로은 것이 꼭 위험하거나 흥분시키는 것일 필요는 없다. 5가지 이외에도 정직성-겸손의, 종교성, 성적요인과 같은 추가적인 요인들을 교려할 수 있지만 본 논문에서는 기본적인 5가지 요인에 대해서 고려를 하였다.

표 1. 성격의 5가지 요소

Table 1. Five elements of a personality

요소	설명
외향성	말이 많음, 에너지 넘침, 사교적인
우호성	대인 관계와 관련 있는 성향, 믿음직스러움, 친화력이 높음, 협동적인
성실성	체계적임, 질서 정연, 충실함
신경성	불안함, 감정적인 괴로움
개방성	창의적임, 창조적임

2.3 성격 모델 구성

사람의 감정은 단순 한가지의 요소에 대해서만 영향을 받지 않는다. 성격, 이전의 감정 등과 같이 다양한 요소에 대해서 영향을 받는다. 따라서 본 논문에서는 성격을 기반으로 감정을 분류하고 결과적으로 더 정확한 감정을 얻을 수 있다. 성격은 여러 가지로 정의가 되며 행렬 기반의 선형 시스템으로 구성되어 있다. 따라서 감정 기반 모델의 모든 과정은 성형 동역학 방정식으로 유도될 수 있다. 식(1)은 성격 기반 감정 모델을 통해서 감정을 구하는 과정, 식(2)는 최종 감정을 구하는 식이다.

(1)

X (k + 1) = A \cdot X (k) + B \cdot U (k)

(2)

Y (k + 1) = A \cdot X (k)

성격은 Five Factor Model에 의해서 외향적임, 배려&겸손, 성실성, 신경질적임, 마음이 열려있음 이 5가지 차원으로 분류가 된다^(13,¹⁴⁾. 그림. 3은 성격 기반 감정 모델을 나타낸다. 정확도를 위해서 다음과 같은 모델을 사용하지만, 반응과 내부자극은 노이즈로 작용하기 때문에 배제한다.

그림. 3. 성격 모델 구성도

Fig. 3. Composition of Character Model

2.4 바이오 센서의 특징과 특징 추출

바이오 센서는 사람의 신체 반응을 측정하는 센서로서 측정을 원하는 생체 신호에 따라서 해당 부위에 부착하여 측정한다. 생체 신호는 신경계의 영향을 받기 때문에 신호를 측정 후 분석하여 감정의 상태를 추론할 수 있다^(15-¹⁶⁾. 본 논문에서 제안하는 시스템은 감정의 변화를 측정하기 위하여 2가지 센서를 사용한다. 혈류량의 변화를 측정하는 광혈류 측정 센서(PPG), 사람의 목 뒤 근육에 부착하여 근육의 긴장도를 측정하는 근전도 측정 센서 (EMG)를 사용한다. 센서에서 얻은 신호에서 감정 정보를 반영하는 특징 정보를 추출하여 감정 분류의 인자로 사용한다.

2.4.1 광혈류 측정 센서(PPG)

광혈류 측정 센서(PPG)는 LED와 빛을 감지하는 빛 감지 센서로 규성되어 있다. 해당 센서를 손가락 끝에 부착하여 심장박동 시 혈류가 증가함에 따라 반사되는 빛의 양의 증감을 이용하여 심박을 추정한다. 그림. 4와 같이 검지 손가락에 착용하여 손가락 끝에 흐르는 혈류량을 통해서 신호를 측정하고 측정한 데이터는 다음과 같은 모습으로 나타난다.

그림. 4. 광혈류 센서와 측정 데이터

Fig. 4. Phoplethymography sensor and measurement data

광혈류 센서의 특징 추출 알고리즘은 시간 축과 주파수 축에서 여러 가지로 추출할 수 있다⁽¹⁷⁾. 광혈류 센서의 신호를 시간축에서 2차 미분한 신호는 심박수 신호로서 광혈류 신호를 2차 미분한 신호를 사용하였다. 본 논문에서는 심박수 (NN의 개수), 신호의 Peak값의 간격(NN간격 혹은 RR간격), NN간격의 표준편차(Standard Deviation of NN intervals), NN간격의 차이에 대한 제곱의 합의 평균(Root Mean Square of the Successive Differences), NN 간격이 50ms를 초과하는 것의 개수(pNN50), NN 간격이 15ms 미만인 경우(TINN) 6개의 특징 정보를 이용하였다. 표 2는 6개의 특징을 추출하는 수식을 서술하였다.

표 2. 광혈류 센서 특징 추출 알고리즘

Table 2. Phoplethymography sensor characterization algorithm

특징	수식 or 설명
심박수	NUumber of N(peak data)
NN간격	N_i+1-N_i
SDNN	$\sqrt[]{\frac{1}{N - 1} {(\sum_{i = 1}^{N} (N N_{\cap v a l -} N N_{m e a n}))}^{2}}$
RMSSD	$\sqrt[]{\frac{1}{N - 1} (\sum_{i = 1}^{N - 1} (N_{i + 2} - N_{i + 1}) - (N_{i + 1} - N_{i}))}$
pNN50	NUumber of (NN_i+1-NN_i) $>$ 50ms
TINN	NUumber of (NN_i+1-NN_i) $<$ 15ms

그림. 5는 6개의 특징을 추출 후 평온(파랑), 행복(검정), 슬픔(초록)에 대해서 값을 비교한 모습이다.

그림. 5. 광혈류 센서의 특징 추출

Fig. 5. Extracting the feature of a Phoplethymography sensor

2.4.2 근전도 측정 센서 (EMG)

근육은 수축과 팽창을 통해서 전기적 신호를 생성한다. 이런 전기적 신호는 근섬유막에서 발생하는 생리적 변화에 의해서 발생 된다. 따라서 근전도 측정 센서(EMG)는 측정하고자 하는 근육의 표면에 부착하여 근육에서 발생하는 전기신호를 측정한다. 본 논문에서는 근전도를 측정하기 위해서 승모근(Trapezius)에 부착하여 신호를 측정한다. 목 근육 중에서 승모근은 뇌 신경에 지배를 받는 근육으로 뇌 신경에 변화가 오면 승모근에도 변화가 오고 그것을 측정하여 사람의 감정 분석에 사용한다. 그림. 6과 같이 EMG 센서를 승모근에 부착하여 근전도를 측정하고 측정한 데이터는 다음과 같은 모습으로 나타난다.

그림. 6. 근전도 측정 센서와 측정 데이터

Fig. 6. Electromyography sensors and measurement data

근전도 센서의 특징 추출 알고리즘은 시간 축과 주파수 축에서 여러 가지로 추출할 수 있다⁽¹⁸⁾. 본 논문에서는 다양한 특징 정보 중에서 시간 축의 평균 절댓값(Mean Absolute Value), 수정 평균 절댓값 1(Modified mean absolute value type 1), 수정 평균 절댓값 2(Modified mean absolute value type 2) MAV1과 MAV2는 MAV의 확장 버전으로 표면 근전도 신호의 분석에 많이 사용된다. 이외에도 분산(Variance of EMG), 일시적 순간의 4제곱 절대 값(Absolute value of the 4th temporal moment), 평균 진폭 변경(Average amplitude change) 6개의 특징 정보를 이용하였다. 표 3은 6개의 특징을 추출하는 수식을 서술하였다.

표 3. 근전도 센서 특징 추출 알고리즘

Table 3. Electromyography sensor characterization algorithm

특징	수식 or 설명
MAV	$\frac{1}{N} \sum_{i = 1}^{N} \|x_{i}\|$
MAV1	$\begin{array}{l} \frac{1}{N} \sum_{i = 1}^{N} w_{i} \|x_{i}\| \\ w_{i} = \{\frac{1, if 0.25 N \leq i \leq 0.75 N}{0.5, other wise}\} \end{array}$
MAV2	$\begin{array}{l} \frac{1}{N} \sum_{i = 1}^{N} w_{i} \|x_{i}\| \\ w_{i} = \{\frac{1, if 0.25 N \leq i \leq 0.75 N}{\frac{4 i / N, else if i < 0.25 N}{4 (i - N) / N, other wise}}\} \end{array}$
VAR	$\frac{1}{N - 1} \sum_{i = 1}^{N} x_{i}^{2}$
TM4	$\frac{1}{N} \sum_{i = 1}^{N} x_{i}^{4}$
AAC	$\frac{1}{N} \sum_{i = 1}^{N - 1} \|x_{i + 1} - x_{i}\|$

그림. 7은 6개의 특징을 추출 후 평온(파랑), 행복(검정), 슬픔(초록)에 대해서 값을 비교한 모습이다.

그림. 7. 근전도 센서 특징 추출

Fig. 7. Extracting the feature of a Electromyography sensor

2.5 감정 분류 알고리즘

본 논문에서는 감정을 분류하는 데 있어서 2가지 알고리즘을 적용한다. 각 센서 신호의 특징을 추출 후 그 특징 정보를 바탕으로 SVM 분류 알고리즘을 사용하여 1차적인 감정을 분류한 후 성격 기반 감정 모델을 통하여 최종적인 감정을 분류한다.

2.5.1 SVM 기반 감정 분류

SVM(Support Vector Machine)은 러시아 사람인 Vapnik에 의해서 고안된 알고리즘이다. SVM은 지도학습을 통해 데이터를 분류하는 기법이다^(19-²⁰⁾. 분류 결과를 알고 있는 데이터 그룹들에 대하여 그룹과 그룹을 나누는 결정 경계(decision boundary)를 결정할 때, 판별경계(Hyper Plane)와 결정 경계와 학습 데이터 사이의 거리(margin)의 개념을 사용한다. Margin은 하나의 데이터 포인트와 판별경계 사이의 거리를 말한다. 분류에 있어서 일반화 오차가 발생하는데 SVM에서는 이 일정 정도의 오차를 margin으로 두면서 일반화 오류를 줄이고 데이터의 판별 도를 높일 수 있다. SVM에서는 이 margin이 클수록 분별을 잘하는 알고리즘이다.

(3)

d (x) = w^{T} x + b

여기서, w는 초평면의 법선 벡터가 되고 b는 원점에서 직선까지의 거리를 결정하는 값이 된다. 한점 x에서 결정 경계의 거리까지는 다음과 같은 식으로 계산할 수 있다.

(4)

d (x) = \frac{w^{T} x + b}{| w |}

위 결정 경계를 중심으로 d의 부호로 데이터를 구분할 수 있다. 이때 두 서포트 벡터로부터 판별경계까지의 거리는 다음과 같다.

(5)

b_{+} = \frac{w^{T} x_{+} + b}{| w |} = \frac{1}{| w |}

(6)

b_{-} = \frac{w^{T} x + b}{| w |} = \frac{- 1}{| w |}

위의 식(5), 식(6)과 같은 판별경계의 거리를 계산 후 거리가 가장 큰 판별경계를 선택한다.

본 논문에서 제안하는 감정 인식 시스템은 2차원 감정 모델을 사용하므로 Multi-Class SVM을 사용한다. 한 개의 감정 class별로 해당 class와 나머지 감정 class로 binary decision을 내리도록 만들고 hypothesis funcion의 값이 가장 큰 것을 선택한다.

(7)

h_{Θ}^{(i)} (x) = P (y = i | x; Θ)

위의 식(7)과 같이 각 class i 에 들어갈 확률 P(y=i)를 구하기 위해 Regression classifier h를 training 한다.

2.5.2 성격모델 기반 감정 분류

표와 같은 5개의 성격 특성을 이용해서 감정을 추출한다. 위의 5가지 성격 요소와 더불어 기분(mood)을 추가로 이용해서 정확한 감정을 분류한다. 그림. 8 성격과 기분을 통해서 감정을 정확하게 분류하는 과정에대한 설명이다. 그림. 8에서 보는 것과 같이 센서로 측정한 감정은 Amusement, Anger, Sadness 이렇게 Russel의 감정모델에서 다양한 영역의 감정을 추출할 수 있다. 기분은 감정보다는 더 지속되는 요소로 Russel의 감정모델에서 Valence를 기반으로 분류가 가능하다. 최종적으로 Amusement, Sadness, Contentmetn, Anger 분류한 것에 대해서 Valence에 대한 확인이 이루어지고 마지막으로 성격요소를 적용하여 최종 감정을 분류하게 된다. 성격은 감정이나 기분과 같이 순간적으로 바뀌는 요소가 아니라 지속적이 요소이다. 따라서 동일한 사람은 앞서 설명한 성격의 5가지 요소 중 1가지 특성을 갖는다. 기분을 통해서 Valence를 분류하였으면 성격을 통해서 처음으로 분류된 감정인 4가지 감정에 대해서 신뢰할 수 있는 감정인지 확인한다.

그림. 8. 기분 감정을 통한 성격 분석

Fig. 8. Character analysis through emotion

성격은 사람이 바뀌지 않았기 때문에 시간이 지남에 따라서 바뀌지 않는다. 그리고 성격은 뮤직비디오를 보면서 바이오 센서를 측정할 때 감정이 변하는 방식에 영향을 미치게 되는데 예를 들어서 신경질적인 사람이 즐거운 영상을 감상하면서 측정을 하였는데 변화가 적게 나타난다고 할 때 신경질적인 사람이라는 요소를 고려해서 최종 감정을 분류한다.

3. 실험 결과

3.1 실험 환경

실험 환경은 PhysioLab 사의 P400 제품을 이용하여 바이오 센서를 측정하였다⁽²²⁾. P400 제품은 생체전기신호, 물리적 신호 등 다양한 생체신호를 측정할 수 있는 생체신호 기록기이다. 측정 모듈은 6가지 종류로 최대 4채널까지 동시에 측정할 수 있다..iDAQ-400을 통해 PC로 전송하여 센서의 측정을 실시간으로 확인할 수 있고 기록/분석이 이루어진다. 본 연구에서는 댜양한 바이오 센서 Amp를 연결하기 위한 베이스 모듈, 혈류량을 측정할 수 있는 PPG-Amp, 심전도, 근전도, 뇌전도, 안전도 등의 바이오 신호를 측정하는 Bio-Amp를 사용하여 진행하였다. 표 4는 P400의 베이스 모듈의 특징 및 사양에 관련된 내용이다. 그림. 9는 전제 시스템의 블록다이어그램을 나타낸 것이다. PPG와 EMG 센서를 20~30세 사이의 10명의 사람에 대해서 측정하였고, 남자 7명 여자 3명이 실험에 참가하였다. DEAP와 같이 직접 실험하여 Dataset을 확보하였다. 감정과 관련된 다양한 연구에도 사용할 계획이다.

표 4. P400 센서 주요 특징 및 사양

Table 4. The proposed antenna specification

주요 특징
4채널 생체 신호 입력(,Bio, ECG, PPG, Bridge)
각 채널 최고 2000 샘플율
12bit 해상도
생체신호 측정 모듈 4대 연결 구성
Plug-In 커넥터
PC 바로 연결, 모니터링 분석

항목		사양
입력신호	입력 채널 수	4채널
	입력 전압 범위	생체 계측 모듈: 2.5V 외부 입력 신호: 5V
출력신호	샘플링율	최대 2000 SPS
	ADC 해상도	12 bit
통신	통신 방식/속도	USB 1.1/12Mbps
전원	전원 공급장치	입력: AC 80~240V 출력: DC 12V
	동작 전압/전류	12V/2A

그림. 9. 시스템 블록다이어그램

Fig. 9. System BlockDiagrams

3.1.1 Stimuli 구성

바이오 센서를 측정하기에 앞서 무슨 자극제를 통해서 감정을 유발할 것인가에 대한 stimuli를 선정하는 작업이 필요하다. 바이오 센서 측정을 통한 감정 연구에는 사진, 음악과 영화를 이용한 연구가 진행되고 있다^(23-^-25). 본 논문에서는 시각적인 자극과 청각적인 자극 모두를 사용해서 바이오 센서를 측정하기 위해서 뮤직비디오를 선정하였다. 뮤직비디오는 감정에 영향을 주는 장르와 비트를 통해서 가장 뚜렷한 감정을 유발할 수 있는 것으로 선정하였다. Stimuli는 각 감정에 대해서 3분 길이의 동영상 10개를 선정하였다. 총 40개의 동영상으로 측정한 신호의 특징을 추출하여 Training 400개, Test 80개를 사용하여 학습을 진행하였다. 표 5와 같이 선정하였다.

표 5. 학습 데이터

Table 5. Training and test data

감정	Training	Test
Amusement	100개	20개
Sadness	100개	20개
Contentment	100개	20개
Anger	100개	20개
총 합계	400개	80개

3.1.2 비교 알고리즘

본 논문의 알고리즘을 증명하기 위해서 단순 SVM을 사용하여 슬픔, 공포, 기쁨, 평온의 4가지 감정에 대해서 분류한 결과와 비교해 보았다.

비교 알고리즘은 300개 이상의 데이터를 사용하여 학습을 진행하였고 30개의 데이터를 사용해서 테스트를 진행하였다. 단순히 센서의 특징 정보를 이용해서 분류를 한 경우에는 평균 83%의 정확도로 감정을 성공적으로 분류하였다. 이 경우에는 사람의 성격에 대해 고려를 하지 않고 단순히 분류기를 통해서 센서값을 분류한 것으로 평균 이상의 정확도이지만 개인의 감정적 특정을 반영하지 않은 단순한 감정이기에 실제 애플리케이션에 적용하기에는 어려움을 보인다. 그림. 10은 비교 알고리즘의 실험 결과를 나타내는 것으로 300개의 데이터 중에서 250개는 정확한 분류가 되었다. 위의 결과는 Wrong Classify이고 아래의 결과는 Correct Classify이다⁽²⁶⁾.

그림. 10. 비교 알고리즘 실험 결과

Fig. 10. Results of a comparison algorithm experiment

본 논문에서 제안한 알고리즘과 선정한 비교 알고리즘은 4가지 감정에 대해서 2가지 생체 센서를 통해서 측정한 신호를 SVM 알고리즘을 분류했다는 공통점을 갖고 있다. 반면에 비교 알고리즘에서는 사람의 성격과 감정의 연관성에 대한 분류가 아닌 단순 분류를 진행했지만 제안 알고리즘에서는 성격과 감정의 연관성을 고려해서 분류를 진행하였다. 또한, 비교 알고리즘에서는 2가지 센서에 대해서 공통으로 평균과 변화량을 특징으로 사용한 반면에 제안한 알고리즘에서는 센서별로 감정에 영향이 있는 특징을 다르게 6개씩 선정하여 분류하였다. 표 6에서 보는 것과 같은 제안한 알고리즘과 비교 알고리즘의 공통점과 차이점이 비교되어 있다.

표 6. 알고리즘 비교

Table 6. Algorithms Comparison

알고리즘 비교	제안 알고리즘	비교 알고리즘
공통점	SVM분류
	4가지 감정모델 사용
	2가지 생체 센서 사용
차이점	센서별 다른 특징 사용(각 6개, 총 12개)	평균, 변화량을 특징으로 사용(총 4개)
차이점	개인별 성격 특성 적용	개인별 성격 특성 적용 안함

3.2 감정 인식

실험과정 중 사용자가 감정을 잘 느꼈다고 느끼는 100개의 데이터를 기반으로 EMG와 PPG 센서를 각각 분류하였다. 센서별 감정 인식의 결과는 표 7과 같다.

표 7. EMG, PPG센서 감정 인식 시스템 정확도

Table 7. Emotional recognition system accuracy by senosors

센서 정확도	EMG	PPG
Amusment	84/100	85/100
Sadness	81/100	85/100
Contentment	/100	82/100
Anger	81/100	86/100

실험에서 센서별로 특징을 사용해서 감정을 추출한 후 결과를 통합하여 최종의 감정을 인식한다. EMG와 PPG센서의 결과를 통합한 감정 인식 결과는 표 8과 같다.

표 8. 감정 인식 시스템 정확도

Table 8. Emotional recognition system accuracy

출력 입력	Amusment	Sadness	Contentment	Anger
Amusment	85/100	2/300	10/100	3/100
Sadness	3/100	83/100	6/100	8/100
Contentment	12/100	6/100	81/100	5/100
Anger	6/100	9/100	1/100	84/100

실험 결과 바이오센서에서 추출한 특징 정보를 이용한 감정 인식 시스템은 평균 83% 이상의 확률로 감정을 구분하는 것을 확인할 수 있었다. 2차원 감정 모델에서 Contentment에 해당하는 감정이 다른 감정에 비해서 그 정확도가 떨어지는 것을 볼 수 있었다. Russell의 감정 모델에서 보는 것과 같이 인접한 영역에 있는 감정은 정 반대편에 있는 감정보다 높은 확률로 인식된다는 것을 알 수 있다. 단순 SVM 분류기만을 이용한 감정 분류보다 실험자의 성격과 동영상을 보면서 느끼는 기분에 대한 요소까지 적용된 감정이다. 이 감정은 순간적인 감정을 나타내기도 하지만 기분과 성격과 같이 지속성이 큰 요소에 영향을 주기도 한다.

4. 결 론

본 논문에서는 뮤직비디오를 감상하면서 광혈류와 근전도 2개의 바이오 센서의 신호를 측정한 후 그 신호를 분석하였다. 신호를 분석하는 과정에 있어서 감정 분류에 사용하기 위한 특징 정보를 각 센서 신호에서 추출하고, SVM 분류기와 성격 모델을 이용하여 사람의 감정을 분류하는 기법을 제안하였다. 또한, 제안하는 알고리즘은 Russell의 2차원 감정 모델을 사용하여 Arousal과 Valence를 기준으로 감정을 분류하였으며, 각 분류 기준에 해당하는 Amusement, Sadness, Contentment, Anger 4가지 감정을 기준으로 실험을 진행하였다. 다음과 같은 감정을 정확하게 분류하기 위해서 자극제로 사용되는 뮤직비디오는 장르와 비트를 고려해서 4가지 감정에 대해서 각 10개씩 선정하여 실험을 진행하였다. 본 논문에서 제안하는 기법으로 84% 이상의 확률로 감정을 인식할 수 있는 것을 실험을 통해서 확인하였다. 단순 SVM 분류기를 이용한 감정 분류에서는 83%로의 확률이 나온 것에 비해 좋은 성능으로 감정을 인식할 수 있다. 또한, 신호의 특징을 단순히 분류기로 분류한 것과 비교했을 때 성격 기반 모델을 활용하여 사람의 성격에 기반에 감정을 분류함으로 더 정확한 감정을 분류하였다. 본 연구와 같이 생체 센서를 사용해서 사용자의 감정 또는 상태를 분류하는 알고리즘의 개발은 기존의 단순하게 의료용으로만 주로 사용되고 대부분의 신호처리 없이 사용하던 알고리즘을 개발하여 사용자 친화적인 인터페이스 시스템을 개발할 수 있다.

감사의 글

본 논문은 2017년도 정보(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초사업임(과제번호 : 2016 R1D1A1B03936281).

References

Fragopanagos N., Taylor J. G., 2005, Emotion recognition in human-computer imteraction, Neural Networks, Vol. 18, No. 4, pp. 389-405

hudlicka Eva, 2003, To feel or not to feel: The role of affect in human-computer interaction, International Journal of Human-Computer Studies, Vol. 59, No. 1-2, pp. 1-32

Kim Su Jong, Kim Yeong Cheol, Lee Tae Soo, 2007, Rendering of general paralyzed patient's emotion by using EEG, The Korean Institute of Electrical Engineers, pp. 343-344

Kim Moon Whan, Joo Yeong Hoon, Park Jin Bae, 2005, Development of Facial Image Based Emotion Recongition System, Korea Fuzzy Logic and Intellignet System Society, Vol. 15, No. 1, pp. 433-436

Son Hee Su, Peon Sung Woo, Shin Bo Ra, Lee Seok Phil, 2017, A building of Korean emotional speech DB sets, The Korean Institute of Electrical Engineers, pp. 138-139

Kim Won Ku, 2017, Seech Emotion Recogntion using Features Selection and Fusion Method, The Korean Institute of Electrical Engineers, pp. 1265-1271

Kim Won Ku, 2017, Emotional Speaker Recognition using Emotional Adaptation, The Korean Institute of Electrical Engineers, Vol. 66, No. 7, pp. 1105-1110

Yoo Gilsang, Seo Sanghyun, Hong Sungdae, 2018, Emotion extraction based on multi bio-signal using back- propagation neural network, Multimedia Tools and App. lications, Vol. 77, No. 4, pp. 4925-4937

Zhang Qiang, Chen Xianxiang, Zhan Qingyuan, Yang Ting, Xia Shanhong, 2017, Respiration-based emotion recognition with deep learning, Computers in Industries, Vol. 92-93, pp. 84-90

Park So Eun, Kim Dae Hee, Lee Cheol, Kwon Sun Il, Park Neung Soo, 2017, Voice Emotion Recognition Machine Learning Algorithm based on RNN, The Korean Institute of Electrical Engineers, pp. 152-153

Ahn Ho Seok, Choi Jin Young, 2008, Personallity Based Emotional Model Using 3D Character Head Robot System, The Korean Institute of Electrical Engineers, pp. 325-326

Colibazzi Tiziano, Posner Jonathan, Wang Zhishun, Gorman Daniel, Gerber Andrew, Yu Shan, Zhu Hongtu, Kangarlu Alayar, Duan Yunsuo, Russell James A, Bradley Peterson S., 2010, Neural systems subserving valence and arousal during the experience of induced emotions, American Psychological Association, Vol. 10, No. 3, pp. 377-389

McCrae R. R., john O. P., 1992, An introduction to the five-factor model and its app. lications. Special Issue: The fice-factor model: Issues and applications, Journal of Personallity, Vol. 60, pp. 119-121

Digman J. M., 1990, Personallity structure : Emergence of the five factor model, Annual Review of Psychology, Vol. 41, pp. 417-440

Koelstra Sandra, Muhl Christian, Soleymani Mohammad, Lee Jong-Seok, Yazdani Ashkan, Ebrahimi Touradj, Pun Thierry, Nijholt Anton, Patras Ioannis, 2012, DEAP: A Database for Emotion Analysis Using Physiological Signals, IEEE Transactions on Affective Computing, Vol. 3, No. 1, pp. 18-31

Kim Jonghwa, Andre Elisabeth, 2008, Emotion recognition based on Physiological changes in music listening, IEEE Transaction on Pattern Analysis and Macning Intelligence, Vol. 30, No. 12, pp. 2067-2083

Park Ki-Jong, Jeong Heejoeng, 2014, Assessing Method of Heart Rate Variability, Korean J Clin Neurophysiol, Vol. 16, No. 2, pp. 49-54

Phinyomark Angkoon, Phukpattaranont Pornchai, Limsakul Chusak, 2012, Feature reduction and selection for EMG signal classifiaction, Expert Systems with App. lications, Vol. 39, No. 8, pp. 7420-7431

Adankon Mathias M., Cheriet Mohamad, 2009, Supp. ort Vector Machine, Encyclopedia of Biometics

Park Jong Wook, Lee Hyo Ki, Choi Ho Sun, Lee Kyung Joong, 2013, Sleep Stage Classification based on SVM Classifier using Photoplethysmography, pp. 382-383

Kshirsagar Sumedha, Nagnenat-Thalmann Nadia, 2002, A Multilayer Personality Model, International Symposium on Smart graphics, Vol. 2, pp. 107-115

, www.physiolab.co.kr

Konecni Vladimir J., 2015, Music Causes Emotion: A Responed Critique, Journal of Biomusical Emgineering, Vol. 3, pp. 1-2

Wang Hui-Min, Huang Sheng-Chieh, 2017, Musical Rhythms Affect Heart Rata Variability: Algorithm and Models, Hindawi Publishing Corporation Advances in Electrical Engineering, Vol. 851769

Minhad Khairun Nisa, Ali Sawal Hamid Md, Reaz Mamun Bin Ibne, 2017, Happy-anger emotions classifications from electrocardiogram signal for automobile driving safety and awareness, Journal of Transport and Health, Vol. 7, pp. 75-89

Noh Ayoung, Kim Youngjoon, Kim Hyeong-Su, Kim Won-Tae, 2017, Smart Emotion Management System based on multi-biosignal Analysis using Artificial Intelligence, Institute of Korean Electrical and Electronics Engineers, Vol. 21, pp. 397-403

저자소개

조 예 리 (Ye Ri Cho)

She received the B.S. degree in telecom- unication engineering from Sangmyung university, South Korea, in 2017, where he has been working toward the M.S. degree with the School of Mechatronics Engineering since 2017.

Her current research interests deep learning include artificial intelligence, and their application to emotion recognition system.

배 동 성 (Dong Sung Pae)

He received the B.S. degree in electrical engineering from Korea University, Seoul, South Korea, in 2013, where he has been working toward the Ph.D. degree with the School of Electrical Engineering since 2013.

His current research interests include computer vision, feature extractor, video stabilization, artificial intelligence, and their application to intelligence vehicle systems.

이 윤 규 (Yun Kyu Lee)

He received the B.S. degree in telecom- unication engineering from Sangmyung university, South Korea, in 2018, where he has been working toward the M.S. degree with the School of Electrical Engineering since 2018.

His current research interests deep learning include artificial intelligence, and their application to emotion recognition system.

안 우 진 (Ahn Woo Jin)

He received the B.S. degree in electrical engineering from Korea University, Seoul, South Korea, in 2018, where he has been working toward the M.S. degree with the School of Electrical Engineering since 2018.

His current research interests deep learning include artificial intelligence, and their application to emotion- recognition system.

임 묘 택 (Myo Taeg Lim)

He received his B. S. and M. S. degrees in Electrical Engineering from Korea University, Korea in 1985 and 1987, respectively. He also received M. S. and Ph. D. degrees in Electrical Engineering from Rutgers University, NJ, USA in 1990 and 1994, respectively.

He was a Senior Research Engineer, Samsung Advanced Institute of Technology and a Professor in the Department of Control and Instrumentation, National Changwon University, Korea.

Since 1996, he has been a Professor in the School of Electrical Engineering at Korea University.

His research interests include optimal and robust control, vision based motion control, and autonomous mobile robots.

He is the author or coauthor of more than 80 journal papers and two books (Optimal Control of Singularly Perturbed Linear Systems and Application: High-Accuracy Techniques, Control Engineering Series, Marcel Dekker, New York, 2001; Optimal Control: Weakly Coupled Systems and Applications, Automation and Control Engineering Series, CRC Press, New York, 2009).

Dr. Lim currently serves as an Editor for International Journal of Control, Automation, and Systems.

He is a Fellow of the Institute of Control, Robotics and Systems, and a member of the IEEE and Korea Institute of Electrical Engineers.

강 태 구 (Tae Koo Kang)

He received his B. S. in Applied Electrical Engineering, M. S. in visual image processing, and Ph. D. in Electrical Engineering from Korea University, Seoul, Republic of Korea, in 2001, 2004, and 2012 respectively.

He was a research professor at Korea University, Seoul, Republic of Korea from 2012 to 2014 and an assistant professor in Information and Telecommunication Engineering, Cheonan, Republic of Korea in 2015 and 2016.

He is now an Assistant Professor in Department of Human Intelligence and Robot Engineering, Sangmyung University, Cheonan, Republic of Korea.

His research interests include computer vision, robotics, artificial intelligence, and machine learning.

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

Development of Bio-sensor-Based Feature Extraction and Emotion Recognition Model

Abstract

Key words

1. 서론

2. 성격 기반 감정 인식 모델

2.1 감정 인식 시스템 개요

2.2 감정 모델 구성

2.3 성격 모델 구성

(1)

(2)

2.4 바이오 센서의 특징과 특징 추출

2.4.1 광혈류 측정 센서(PPG)

2.4.2 근전도 측정 센서 (EMG)

2.5 감정 분류 알고리즘

2.5.1 SVM 기반 감정 분류

(3)

(4)

(5)

(6)

(7)

2.5.2 성격모델 기반 감정 분류

3. 실험 결과

3.1 실험 환경

3.1.1 Stimuli 구성

3.1.2 비교 알고리즘

3.2 감정 인식

4. 결 론

감사의 글

References

저자소개

조 예 리 (Ye Ri Cho)

배 동 성 (Dong Sung Pae)

이 윤 규 (Yun Kyu Lee)

안 우 진 (Ahn Woo Jin)

임 묘 택 (Myo Taeg Lim)

강 태 구 (Tae Koo Kang)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers