2.1 뇌파 수집 및 전처리

뇌파 신호는 수십 μV 정도의 작은 전압으로 나타나는 미약한 신호이므로 외부의 잡음과 아티팩트(artifact)에 매우 민감하다. 특히 직류 성분이나 전원의 간섭은 뇌파의 정확한 분석에 치명적인 영향을 미칠 수 있다. 그리고 뇌파에서 감성에 영향이 없다고 알려진 주파수 대역은 경우에 따라 제거되어야 한다.

뇌파 데이터 수집 시스템을 위한 주요 구성품은 고신뢰성의 제품을 사용하였고, 연결 장치 및 구동 소프트웨어는 직접 제작하였다. 뇌파 수집 장치는 미국 Electro-cap International사의 20채널 전극 캡(electro-cap), (주)정상테크노사의 EEG 증폭기, 미국 Data Translation사의 A/D 변환기 및 노트북컴퓨터로 구성되어 있다. 그림. 1은 본 연구에서 구성한 뇌파 수집 및 분석 시스템을 나타낸 것이다⁽⁷⁾.

피검자의 두피로부터 전극 캡을 통해 검출된 뇌파는 이득 약 2000의 EEG 증폭기로 증폭되고, 증폭된 뇌파는 128㎐의 샘플링 주파수와 12bit의 해상도로 A/D 변환하였다. 전극의 위치는 국제 전극배치법의 기준에 의한 10채널(Fp1, Fp2, F3, F4, T3, T4, P3, P4, O1, O2)를 사용하였다.

본 실험에서는 피검자가 눈을 뜬 상태에서 하기 때문에 눈 깜박임도 중요한 아티팩트로 작용한다. 따라서 이들을 적절히 처리하기 위한 전처리 과정은 디지털 필터링과 눈 깜박임 제거 과정으로 구성된다. 그림. 2는 눈깜박임 제거를 포함한 전처리 과정을 나타낸 블록선도이다. 눈 깜박임 제거 과정은 눈깜박임 신호가 뇌파 신호에 비해 진폭이 매우 크다는 사실을 이용하여 해당 부분을 검출하여 제거하기로 하였다. 이를 위해 먼저 눈 깜박임 신호와 순수 뇌파를 구별해 내기 위한 문턱값을 구하였다. 이는 읽어들인 데이터의 전체길이에 걸쳐서 그것의 절대값 평균을 계산한 다음, 평균값의 4배를 문턱값으로 설정하였다. 그리고 눈 깜박임 부분을 찾기 위해서, 먼저 눈 깜박임 부분의 피크값을 검출한다. 이를 위하여 읽어들인 데이터를 절대값으로 바꾼 후에, 각각의 포인트에서 기울기 부호를 검색한 다음, 현재 포인트를 기준으로 뒤로 2 포인트에서의 기울기가 +, 앞으로 2 포인트에서의 기울기가 -인 지점을 찾는다. 그리고 그 피크가 눈 깜박임 신호의 피크인지, 아니면 순수 뇌파에 포함된 피크인지를 구별하기 위해서 그 피크값을 문턱값과 비교한다. 그 지점에서의 피크값이 문턱값보다 크면 눈 깜박임 신호로 간주한다. 이제 눈 깜박임 신호가 끝나는 지점을 찾기 위해서는 눈 깜박임 피크 지점에서부터 부호가 두 번 바뀌는 지점을 찾는다. 이 위치를 눈 깜박임 신호의 끝으로 볼 수 있겠지만, 뒤에 남아 있는 영향을 고려하여 약간의 여유 구간을 두고, 일정 구간을 더 건너뛴 지점을 새로운 뇌파 처리를 위한 시작점으로 설정한다. 그림. 3은 개발된 눈 깜박임 검출 기법이다.

디지털 필터는 뇌파 신호에서 증폭기의 전원 등에 의한 직류 옵셋(offset)과 감성 연구에는 거의 사용되지 않는 대역인 δ 파 성분을 제거하기 위하여 4Hz의 차단 주파수를 갖는 고역통과필터를 4차 IIR 형태로 구성하였고, 고주파 잡음을 제거하기 위하여 차단주파수 30Hz의 저역통과필터를 4차 IIR로 구현하여 사용하였다. 식(1)과 식(2)는 설계된 고역통과 필터와 저역통과 필터의 전달함수이다.

2.2 특징 추출 및 신경회로망 구현

전처리가 끝난 뇌파 신호에서 특징 파라미터를 추출하고, 이를 입력으로 하여 신경회로망 기반의 감성 분류기를 구현한다.

생체 시스템 매우 복잡하여 비선형 시스템이라고 볼 수 있을 것이나, 비선형 시스템은 모델링이 복잡하고, 구현시 많은 연산량을 필요로 한다. 시스템이 비선형적 특성을 가져도 높은 차수의 선형 모델링으로 근사한 결과를 얻을 수 있으므로 많은 연구에서 선형 모델링 방법을 이용하고 있다. 따라서 본 연구에서도 선형 모델링을 통한 선형 예측기 계수를 추출하여 특징 파라미터로 사용하기로 한다. 선형 예측기 계수는 현재 신호를 이전 신호들의 선형 결합으로 나타낸 예측된 샘플간의 오차를 최소 제곱 기준(least squares criterion)을 적용하여 선형 예측 분석을 하여 구해진다. 그림. 5는 뇌파의 발생을 선형적으로 가정한 모델이다.

이 모델은 z­변환 형태로 식(3)과 같이 나타낼 수 있다⁽⁸⁾.

이는 전극 합성 모델(all-pole synthesis model)로 볼 수 있고, 역필터 A(z)는 다음과 같이 정의된다.

선형예측기 계수는 현재 신호를 이전 신호들의 선형결합으로 나타낸 값에 예측된 샘플들간의 오차를 최소 제곱 기준을 적용하여 선형예측 분석으로 구한다.

여기서, 현재 신호 sample은 s(n), 예측된 sample은 $\hat{s}\left(n\right)$, 예측 오차(prediction error)는 이며, e(n)는 선형 예측기 계수 -a_i(i=1,2,···,M)이다. 본 연구에서는 선형 예측 분석을 위하여 6차의 Burg 알고리즘을 이용하였다^(8,9). 또한 뇌파의 특징 파라미터를 이용하여 각 상태별 평가를 위한 다층 퍼셉트론 신경회로망(Multi-layer Perceptron Neural Network)을 설계하여 사용하였다. 그림. 6은 본 연구에서 사용된 신경회로망을 나타낸 것이고, 학습 알고리듬은 다층 퍼셉트론의 학습에 효과적으로 적용되어 오던 오차 역전파(error back propagation) 알고리듬을 이용하였다.

전처리 과정을 마친 뇌파의 감성 특징 파라미터는 패턴 분류 실험을 통하여 변별력을 비교한 후 이를 안정, 쾌적, 불쾌적의 3개 출력으로 분류할 수 있는 감성 평가 기법을 개발하고자 한다. 이 때 신경 회로망은 뇌파의 감성 파라미터를 특정 감성으로 비선형적으로 사상(mapping)시키는 역할을 한다. 이용한 신경회로망은 입력층(input layer), 출력층(output layer), 그리고 은닉층(hidden layer)을 갖는 3층 구조이다. 뇌파 신호로부터 추출된 6차의 선형 예측기 계수를 신경회로망의 입력부를 위한 특징 벡터로 사용한다. 신경회로망의 입력층(input layer)의 노드(node) 수는 60개(6차×10채널)의 구조를 가지며, 뇌파에서 추출된 특징 파라미터가 입력되고, 노드 수가 60개인 은닉층(hidden layer)을 통과한 후, 출력층(output layer)의 노드 수를 3개로 하는 60-60-3의 구조를 갖게 된다. 여기서 출력층의 노드 수는 쾌적성 평가의 결과인 안정, 쾌적 및 불쾌적에 해당하는 노드의 수로 정한 것이다. 그리고 입력층에 대응하는 출력 변수로 구성된 출력층의 노드 수를 3개로 구성하여 안정, 쾌적함, 불쾌적 상태로 나누어 출력하게 된다. 그리고, 역전파 학습 알고리듬의 학습 과정은 다음과 같다. 입력층의 각 노드에 입력 값을 주면, 이 값들은 각 노드에 변환되어 은닉층에 전달되고 마지막으로 출력층에서 값을 출력하게 된다. 이 출력값과 기대값을 비교하여 차이를 줄여 나가는 방식으로 연결 강도를 조정하고, 상위층에서 역전파하여 하위층에서 이를 근거로 다시 은닉층의 연결 강도를 조정해 나간다.

2.3 감성 분류 및 감성 평가

뇌파는 개인차는 물론 동일한 사람도 시점, 기분, 기온 등 여러 주변 환경과 심리 상태에 따라 전혀 다른 뇌파처럼 특성이 변하기도 한다. 따라서 하나의 기준 템플릿만으로는 패턴 분류가 거의 불가능하거나 성능이 열악할 것이다. 더구나 불특정 피검자(사용자)에 대한 감성을 평가하기 위해서는 하나의 템플릿으로는 거의 불가능하다. 이는 연구를 진행하면서 많은 실험을 통해 확인하였다. 따라서 본 연구에서는 다수의 피검자로부터 얻은 뇌파 데이터 중에서 외향적, 내성적 성격 각 15인씩 총 30인의 데이터를 이용하여 생성된 템플릿들을 사용하여 실험시 입력되는 테스트 데이터 중에서 초기의 안정 상태의 뇌파 파라미터와 가장 근사한 템플릿을 찾아 그 피검자의 감성 평가를 위한 템플릿으로 활용하는 다중 템플릿 기반의 감성 평가 기법을 개발하였다. 그림. 7은 본 연구에서 개발한 감성평가 알고리즘의 구성도를 나타낸 것이다.

먼저 템플릿 구성 단계에서 신경회로망은 전형적인 안정 상태, 쾌적한 상태, 불쾌적한 상태의 감성을 구분하기 위해 뇌파 파라미터를 이용하여 학습된다. 각 감성에 대한 전형적인 상태의 신경회로망 가중치가 외향적, 내성적 그룹의 템플릿으로 구성된다. 그리고 나서 감성 평가 단계에서는 평가 전에 먼저 피검자가 외향적인지, 내성적인지 자신의 성격 그룹을 선택한다. 그리고 피검자에게 안정을 취할 것을 요구하고, 그 때의 뇌파 파라미터를 이용하여 신경회로망이 선택된 그룹에서 가장 잘 맞는 템플릿의 신경회로망 가중치를 선택하여 신경회로망에 적용한다. 이후 온도와 습도를 이용한 쾌적성을 변화를 피검자에게 가하고, 감성 평가 실험이 진행되며, 이 때의 신경회로망의 출력을 감성(쾌적성)의 지표로 간주한다.

2.4 결과 및 고찰

피검자가 가장 안정한 상태, 가장 쾌적한 상태, 가장 불쾌적한 상태에 이르면 실험자에게 손가락으로 가볍게 신호를 보내 알려주고 그 때의 뇌파가 신경회로망 학습용 데이터가 된다. 가장 최고의 감성에 이르렀을 때의 앞, 뒤 20초씩 전체 40초간의 뇌파 데이터가 감성 평가 실험에 사용된다.

감성 평가 실험은 (1) 신경회로망이 피검자와 일치하는 성격 그룹의 템플릿에서 가장 잘 맞는 템플릿을 골라서 실험하는 그룹 일치(group match) 실험, (2) 신경회로망이 피검자의 성격 그룹과 무관하게 전체 템플릿에서 가장 잘 맞는 템플릿을 골라서 실험하는 랜덤(random) 실험, (3) 신경회로망이 피검자성격과 반대의 성격 그룹 템플릿에서 가장 잘 맞는 템플릿을 골라서 실험하는 그룹 불일치(group mismatch) 실험의 세 가지 모드에서 실험을 수행하였다. 이는 표 1에 나타내었다.

표 1에서 알 수 있듯이 성격 그룹을 맞춘 실험이 최고의 결과를 내었다. 그림. 8은 감성 평가 지표를 의미하는 신경회로망의 출력을 그래프로 나타낸 예이다. 여기서 세로의 시스템 출력은 안정, 쾌적, 불쾌적 신호에 각각 해당하는 신경회로망의 출력을 그대로 나타낸 것이다.

맨 좌측의 세 파형은 안정 상태의 뇌파가 입력되어 안정 상태에 해당하는 맨 위의 노드 출력값이 대체로 큰 값으로 나타나고, 중간에는 쾌적한 상태일 때의 신경회로망 툴력으로서 안정과 쾌적에 해당하는 노드 출력 값이 서로 경합하는 형태를 보여준다. 우측의 세 파형은 불쾌적한 상태일 때 신경회로망 출력값으로서 맨 아래의 불쾌적에 해당하는 노드 출력값이 매우 큰 것을 알 수 있다. 파형은 훌륭한 감성 평가 성능을 보여주었지만, 안정상태로 값이 많이 치우치는 결과를 나타내는 경향이 있었다. 따라서 이를 처리하기 위한 후처리 기법을 개발하였다. 그림. 8에서 보듯이 안정, 쾌적, 불쾌적의 감성상태별 신경회로망 출력을 다 더하면 직각사각형의 면적이 나온다. 이를 100이라고 봤을 때, 쾌적이나 불쾌적의 감성 평가치가 전체의 30이상이면, 그 구간의 감성상태는 쾌적이나 쾌적의 감성 상태로 보고 안정의 감성 평가치가 전체의 70이상이면 이 때는 완전한 안정 상태로 본다. 구간의 감성상태가 결정되면 결정된 감성상태의 신경회로망 출력값에 식(7)을 적용하고, 다른 감성상태의 출력값에는 식(8)을 적용하여 감성상태의 출력값을 재조정한다. 식(7)에서 y[n]은 감성평가를 위한 신경회로망의 출력을 나타낸다. 이 출력값들은 대부분 10^-3이상의 값들로 구성된다. (0인 경우만 10^-3보다 작은 값을 갖는다.) 따라서, Log 연산을 하기 위해 출력치를 1000배 증폭시키고, 그 값을 다시 3으로 나누어 1 이하의 값으로 만들면 새로운 출력치 y'[n]을 얻을 수 있다. 식(8)은 그 구간에서 결정된 감성이외의 감성상태 출력값들에 대해 적용하는 수식으로 y'[n]에서 그 구간의 y'[n]의 평균 $\overline{y\text{'}\left[n\right]}$을 빼면 새로운 출력치인 y"[n]을 얻게 되는데, 이 출력치의 특징은 큰 값의 출력치는 낮추고 작은 값의 출력치는 크게 만들어 준다.

이제 신경회로망의 출력값에 위 수식들을 적용하면 그림. 9와 같은 그래프를 얻을 수 있다.

그림. 8과 그림. 9를 비교해 보면, 후처리가 없는 방법보다 후처리 기술을 적용하여 출력값을 재조정한 파형이 각 구간별 감성특징을 그대로 보여주면서도 보다 명확하게 감성평가를 할 수 있다는 것을 보여준다.