2.1 FFT & IFFT를 이용한 EEG BPF

신체 행동에 변화하는 EEG데이터는 주로 8 ~ 30Hz의 $\alpha$ ~ $\beta$영역에서 나오게 된다⁽⁴⁾. 처음 계측된 원신호의 EEG 데이터에서 특정 주파수 대역을 가져오기 위해서는 BPF를 사용해야 한다.

(1)과 (2)는 FFT와 IFFT를 나타낸다. 즉 원신호인 $f(x)$를 이용하여 주파수 성분의 $w$를 표현할 수 있는 FFT와 표현된 주파수 집합인 $F(w)$를 다시 신호 $f(x)$로 변형하는 IFFT이다.

즉 BPF는 FFT를 통해 원신호 $f(x)$의 $e^{-jwx}$에 의하여 나오게 되는 $w$주파수 성분의 집합인 $F(w)$에서 8 ~ 30Hz의 $w_{b}$주파수를 잘라내게 된다. 즉 8 ~ 30Hz의 주파수 성분을 $F(w_{b})$라고 하면, 이를 이용하여 IFFT 변환을 진행한 8 ~ 30Hz의 BPF신호 $f(w_{b})$가 출력된다. 즉 $f(w_{b})$의 신호는 실험에서 사용할 $\alpha$와 $\beta$의 EEG 파형만 계측된다.

2.2 STFT

EEG의 행동 분류 및 식별에 대한 실험을 진행할 때, 데이터 특징을 찾는 부분은 시간에 따른 신호의 변화이다. 즉 시계열의 영역과 주파수 영역 모두 학습을 해야 EEG의 행동 분류 모델을 생성할 수 있는 것이다. STFT 변환된 EEG 신호는 시간의 흐름에 따라 변화하는 주파수 대역을 보여준다.

그림 1의 STFT 데이터는 3차원의 데이터로 시간, 주파수, 진폭을 한 번에 보여 줄 수 있다. STFT는 (3)에 따라 EEG 데이터를 STFT 변환하게 된다⁽⁵⁾. $w(n)$에 정해진 윈도우에 의하여 N 샘플링만큼 FFT 변환된다. FFT 변환된 주파수에 대한 진폭을 표시 후, $N'$만큼 이동, 및 다시 FFT 변환을 하게 된다. 과정을 반복하게 되면 S(m,k)에 의해 위의 STFT 데이터가 나오게 된다. (3)에 의해 설정되는 $N'$에 의해 STFT 데이터의 샘플링 사이의 겹침의 정도를 $N$과 $N'$의 수치조절을 통해 설정할 수 있다. 위에서 주어진 설정 값들은 모두 딥 러닝 학습결과에 영향을 준다⁽⁶⁾.

2.3 LSTM과 모델 구조

EEG 데이터는 시간에 따른 주파수 변화를 통해 정보를 표현한다. 즉 딥 러닝 모델 역시 시간 영역의 학습에 유리한 모델을 선택해야 한다. FNN(Feedforward Neural Network)구조의 모델보다는 RNN 모델을 선택해야 한다. RNN모델은 이전 입력값에 대한 가중치(Weight)가 다음 입력값의 가중치에 영향을 주는 학습방식이다. 즉 입력값의 변동에 따라 학습 결과가 달라지는 모델이다. 하지만 RNN 모델을 사용할 경우 일정 시간 이상의 학습을 진행할 경우, 가중치의 값이 0 혹은 $\infty$으로 발산하는 기울기 소실 및 폭주 문제가 발생하게 되어, 학습 결과를 확인할 수 없게 된다. 그림 2는 본 논문에서 사용된 딥 러닝 모델인 LSTM의 내부 구조이며, 그림 3은 딥 러닝 알고리즘의 전체적 구조인 ‘Many to one'이다.

RNN의 기울기 소실 및 폭주의 문제가 그림 2의 Cell state($C_{t}$)와 Forget gate($f_{t}$)를 이용하여 해결 및 개선한 모델이 LSTM 모델이다⁽⁷⁾. $f_{t}$는 이전 값$h_{t-1}$에 대해 어느 정도 기억을 할 것인가를 0 ~ 100% 반영률을 정하게 된다. 이로 인하여 $\infty$으로 발산하거나 0으로 수렴하게 되는 문제를 $C_{t}$와 함께 해결할 수 있는 것이다. 즉 LSTM에 시계열 값을 $X_{t}$로 입력 하여 결과 값인 $h_{t}$를 확인함으로써, 딥러닝 모델의 결과를 확인할 수 있게 된다. LSTM을 이용한 모델구조는 LSTM의 모델과 결과 $h_{t}$의 사용을 어떤 방법으로 할 것인지에 따라 다양한 방법이 존재한다. 행동 구별을 지도학습을 목적으로 하고 있기 때문에, 다수의 입력을 이용하여 LSTM 마지막 결과만 얻어내는 그림 3과 같은 ‘Many to One’ 모델 구조를 형성하였다. 그림 4는 LSTM 모델을 이용하여 제작한 EEG 행동 구별 프로그램의 전체 구조이다.

그림 4와 같이 [데이터의 수 × 주파수 대역 × 시간]의 입력데이터인 [1 × 78 × 30]의 [입력은 출력 데이터의 수 × 출력 행동]의 [1 × 1] 데이터가 출력된다.

2.4 Data Mining을 이용한 데이터 선별

EEG 데이터를 측정할 때 외부요인으로 인한 잡음으로 인하여 사용할 수 없는 데이터가 발생하게 된다. 즉 문제가 되는 데이터를 지도학습에서 라벨링하여 사용하게 될 경우, 특징을 분별할 수 없는 낮은 정답률의 모델이 나오게 된다. 이런 현상을 방지하기 위해 사용하는 것이 데이터 마이닝 기법이다. 계측한 학습 데이터 군집단에서 양질의 학습 데이터를 얻기 위해 데이터 마이닝을 진행한다.

그림 5는 계측된 EEG 군집에서 학습에 사용할 수 있는 양질의 데이터를 선별하기 위한 데이터 마이닝 알고리즘이다.데이터 마이닝에는 EEG 분별 학습과 동일한 모델인 LSTM이 사용된다. 데이터 선별 알고리즘을 거치기 전의 학습 데이터 군집단은 일정비율의 학습과 검증 데이터로 무작위 분류된다. 분류된 데이터는 반복되는 학습에서 부터 모델을 생성하는데 사용된다. 모델은 반복된 학습 수만큼 생성된다.

모델은 모두 딥 러닝 학습에서 일정 이하의 손실값과 기준 이상의 정확도중 최고점의 모델을 저장한다. 저장된 모델들은 전체 데이터인 ‘Whole EEG data’ 군집단을 각각 검증하게 된다. 즉 각 모델에서는 검증에 성공한 데이터와 검증에 실패한 데이터가 ‘Result data’로 나오게 된다. ‘Result data1 ~ N’까지의 데이터를 확인할 경우, 반복적이게 통과한 EEG 데이터가 존재한다. 일정 회수 이상을 반복적으로 통과한 데이터만을 선별하여 이를 ‘Mining data’ 군집으로 다시 학습 데이터를 형성한다. ‘Mining data’ 군집의 학습 데이터는 처음 계측한 EEG 데이터에서 학습 불가능한 잡음이 있는 데이터가 일정이상 제거된 양질의 데이터 군집이 된다.

2.5 GAN을 이용한 데이터 증식

그림 5의 데이터 선별 알고리즘에 의해 선별된 데이터의 수는 처음 계측한 수에 비하여 줄어든 상태이다. 이는 학습 데이터의 부족으로 이어지게 되며, 학습 모델의 신뢰도 저하 문제로 이어지게 된다. GAN 알고리즘은 부족한 데이터를 증식할 수 있는 알고리즘이다⁽⁸⁾.

그림 6은 사용된 GAN 알고리즘의 흐름도이다. GAN 알고리즘의 생산자(Generator) 데이터를 생성하는 역할을 한다. 판별자(Discriminator)는 입력된 데이터가 생산자에 의해 생성된 거짓(Fake) 데이터인지 실제(Real) 데이터인지 구분하는 역할을 한다. (4)에서 ‘실제’ 데이터(x)와 노이즈 데이터(z)에 의해 생성된 ‘거짓’ 데이터 G(z)가 있다. ‘실제’ 데이터 검증 결과$D(x)$와 ‘거짓’ 데이터의 검증 결과 $D(G(z))$에 의해 판별자 모델은 학습된다. 생산자 모델은 판별자 모델에 ‘거짓’ 데이터로 판별될 경우, 더욱 ‘실제’데이터와 가까운 데이터를 만들기 위해 학습 값을 변경한다. 만약 판별자 모델을 생산자의 ‘거짓’ 데이터로 ‘실제’ 데이터라 속일 경우, 판별자 모델이 더욱 생산자 모델의 ‘거짓’데이터를 잘 구별할 수 있도록 학습 가중치를 변경하게 된다.

하지만, 학습이 오래 지속될 경우 생산자 모델은 결과적으로 실제 데이터와 동일한 데이터를 만들게 된다. GAN의 목적은 실제 데이터와 동일한 데이터를 만드는 것이 아닌, 실제데이터와 유사한 데이터를 만드는 것이다. 즉 GAN 알고리즘의 생산자 모델이 생산하는 군집단과 실제 데이터의 군집단의 유사성을 판단할 기준이 필요하다. 기준은 IOU알고리즘을 PCA그래프에 적용함으로써 해결하였다.

PCA는 고차원의 데이터를 저차원의 데이터로 변환하는 방법으로 알려져 있다⁽⁹⁾. 고차원의 데이터를 저차원의 데이터로 최소한의 정보손실을 통해 변환하기 위해서는 남은 차원에 대한 데이터 정보가 중요해진다. 즉 군집에 있는 STFT의 데이터를 PCA 변환하게 되면, 군집 데이터의 양상을 확인할 수 있는 것이다. PCA 데이터 분포양상을 도형으로 나타내어 실제 데이터의 PCA 분포양상과 GAN 알고리즘에 의해 생성된 거짓 PCA 그래프의 IOU 수치 비교를 통해 군집 유사도를 확인할 수 있다.

그림 7은 IOU 수치는 도형의 전체와 겹쳐진 부분의 비율을 계산하여 0 ~ 1사이의 수치로 보여준다. (5)에서 연산되는 IOU점수가 PCA그래프와 생성된 가짜 EEG데이터에 따라 어떻게 변동되는지 보여준다. 주황색 영역은 GAN 알고리즘에 의해 생성된 거짓 데이터 군집의 PCA 그래프이다. 파란색은 실제 데이터 군집의 PCA 그래프이다. 즉 두 개의 PCA 그래프를 도형으로 표현 후, IOU수치로 나타낼 경우 두 군집의 유사도를 확인할 수 있다. 해당 알고리즘을 이용하여 유사성이 일정 이상 달성하는 데이터를 수집할 경우 실제 데이터와 같은 데이터뿐만 아닌, 학습 특징에서 벗어나지 않는 다양한 데이터 유형을 얻어낼 수 있다.

2.6 피어슨 상관관계 기법을 이용한 데이터 용량 감소

그림 8은 두 개의 무작위 EEG 데이터가 피어슨 상관관계 알고리즘에 의해 측정된 피어슨 점수가 반영된 피어슨 점수 주파수 대역폭 그래프가 출력되는 순서도이다. 피어슨 상관관계 비교는 두 그래프의 유사성을 확인할 수 있는 방법 중 하나이다. 피어슨 수치로 인하여 정방향 혹은 역방향의 유사성에 따라 -1 ~ 1사이의 수치로 표현된다⁽¹⁰⁾. 피어슨 상관관계를 이용하여 데이터 마이닝과 GAN에 의해 선별 및 증식된 데이터의 특징 주파수 탐색을 목적으로 한다. 선별된 데이터 군집과 GAN 군집에서 무작위로 두 개의 데이터를 선택한다. 선택된 두 데이터는 피어슨 상관관계 알고리즘에 의해 피어슨 점수를 얻게 된다. 일정 이상의 피어슨 점수가 측정될 경우, 측정된 주파수대역에 점수를 분배하는 방법을 사용하였다. 즉 높은 점수를 받은 주파수 대역은 높은 유사성을 가지는 EEG 형태가 다수 발견되는 것이다.

계측된 EEG 데이터 군집내의 데이터 유사도에 대한 주파수 대역 피어슨 점수 그래프를 출력한다⁽¹¹⁾. 비교하고자 하는 군집의 그래프를 비교함으로써, 특징이 발생하는 주파수 대역을 확인할 수 있다. 확인된 주파수 대역은 딥 러닝 학습이 높은 정답률을 달성하는데 도움을 주는 주파수 데이터이다. 외에 특징이 발생하지 않는 주파수 대역은 딥 러닝에 큰 영향을 미치지 않는 데이터이다. 즉, 딥 러닝에 큰 영향을 미치지 않는 데이터를 제거함으로써, 데이터의 크기는 줄어들게 되며 이는 딥 러닝의 학습속도와 판별속도의 증진효과를 얻을 수 있게 된다. 물론 주파수 대역에 대한 데이터는 제거되지만, 딥 러닝 결과에 큰 영향을 주지 않는 데이터이므로 잃은 EEG 데이터 정보의 크기보다 얻게 되는 이점이 많은 알고리즘이다.

3.1 계측 방법 및 계측 환경

EEG 계측을 위해 부착 전극위치를 정해야 한다. 실험의 목적은 행동 분별 EEG 계측이므로, 전두엽의 EEG 계측을 진행하였다. 그림 9는 EEG의 반복적 계측을 위한 행동 지표이다⁽¹²⁾. 그림 10은 EEG 계측을 위한 전극의 위치이다. 행동은 오른손의 ‘쥠’과 ‘폄’을 계측함으로써, 손을 주먹 쥐는 행동과 손바닥을 펴는 행동을 'Action', 아무 행동 하지 않는 것을 ‘Normal'로 계측할 것이다⁽¹³⁾. 즉 우리는 오른손에 따른 EEG 변화를 확인하기 위해, Fp1-A2의 EEG를 확인하여야한다⁽¹⁴⁾.

그림 9의 행동지표에서 손을 쥐는 타이밍과 펴는 타이밍은 $\alpha$Hz의 beep 음을 통해 알려줄 것이다. 계측 시작 3초 이후 beep음이 울리게 되면 ‘손동작’을 진행하거나 ‘무반응’을 하게 된다. 손을 주먹 쥐거나, 손바닥을 펴는 행동을 하게 될 경우 이는 ‘Action' 군집단으로 분류된다. 만약 ’무반응‘을 하게 된다면 이는 'Normal' 군집단으로 분류한다. 데이터로 저장되는 구간은 경고음이 울린 이후 $\beta$초 만큼을 데이터로 가져온다⁽¹⁵⁾. 위의 지표를 반복하며 데이터를 계측하게 된다.

그림 11은 사용하는 LabVIEW의 GUI이며 데이터의 시각화와 위에서 언급한 FFT, IFFT를 통한 BPF와 STFT 변환 및 데이터 저장, 행동 타이밍의 알림의 역할을 수행한다.

계측 프로그램은 LabVIEW를 사용하였다. LabVIEW 프로그램을 이용하여 프로그램 계측, FFT와 IFFT를 이용한 BPF, 데이터의 저장을 진행하였다. LabVIEW 프런트 패널에서 계측에 필요한 STFT의 설정 값을 설정하고 계측을 진행할 경우 EEG 데이터를 시각화 하여 확인할 수 있다.

3.2 계측 데이터

EEG 계측에는 초당 5000Hz의 샘플속도가 사용되었다. 데이터는 'Action'과 ‘Normal' 각각 200개의 훈련데이터를 준비하였으며 ’Train'과 ‘Test’의 데이터 비율은 8:2로 나누어 딥러닝 데이터를 준비하였다. 그림 12(a) ~ (d)는 차례대로 계측된 EEG가 STFT로 변환되는 과정이다.

계측된 EEG의 그림 12(c)를 확인할 경우, FFT의 그래프가 8 ~ 30Hz외에는 모두 제거된 것을 확인할 수 있다. 즉 그림 12(a)에서 그림 12(b)의 파형은 FFT와 IFFT를 이용한 BPF가 적용되었음을 확인할 수 있다. FFT 그래프를 확인함으로써 STFT에 변환된 주파수대역의 데이터는 모두 8 ~ 30Hz의 정보라는 것을 확인할 수 있다. STFT 데이터 특정상 설정되는 주파수 해상도의 값에 따라 사용해야할 주파수 대역의 범위가 변하는 단점이 있다. 하지만 위와 같은 방법을 이용한다면, 주파수 대역의 범위에 영향을 받지 않고 나타내어지는 데이터 전체를 사용하여 실험을 진행 할 수 있다.

4.1 데이터 선별 실험

그림 13은 데이터 선별 알고리즘을 거치기 전과 거친 후의 EEG 데이터 군집의 특징양상을 보여주는 PCA 그래프이다.

반복 학습에 사용되는 ‘Train’과 ‘Test’ 데이터 비율은 8:2로 나누어 학습을 진행하였다. 데이터 선별 알고리즘에 의해 선별된 데이터는 320개의 학습 데이터 중 86개의 ‘Action’과 144개의 ‘Normal’ 데이터이다. 그림 13의 PCA그래프에서, 파란색 점은 ‘Action’ 군집단을 주황색 점은 ‘Normal' 군집단을 나타낸다. 'Action’ 데이터를 확인하면 데이터 마이닝에 의해 데이터의 수는 크게 줄어들었지만, 특징경계가 구별되는 것을 확인할 수 있다. 이는 학습의 기준점이 생긴다는 뜻을 나타내며, ‘Action' EEG를 계측할 때 'Normal'과는 다른 형태의 EEG가 발생한다는 것을 의미한다. 그림 14는 데이터 선별 알고리즘을 거치기전 EEG 군집의 학습 결과와 거친 후의 EEG 군집의 학습 결과를 보여준다.

거치기 전의 (a) 그래프는 약 68%의 최고검증확률을 보여주며, 거친 후의 (b) 그래프는 86%의 최고검증확률을 보여준다. 데이터 마이닝 알고리즘에 의해 생긴 데이터간의 특징 경계는 LSTM 모델 정답률을 확인할 경우 학습에 효과가 있음을 보여준다. Loss의 감소 속도는 확연하게 빨라졌으며, 동일한 Epochs의 학습에서 더 높은 검증 결과를 보여준다. 즉 데이터 마이닝 알고리즘의 실험 결과는 고품질의 데이터 군집단이 딥 러닝 학습에 어떤 영향을 주는지 확인할 수 있는 결과를 보인다.

4.2 GAN 실험

그림 15는 선별된 데이터를 일반적인 GAN과 IOU GAN의 차이점을 PCA그래프로 보여준다. 그림 16의 그래프는 IOU GAN을 이용하여 증식된 데이터를 이용한 학습 결과이며 94%의 최고검증확률을 보여준다. 표 2와 표 3의 ‘Data Mining’ 선별 학습 결과와 ‘Data Mining GAN’ 군집단의 학습 결과 비교는 학습 데이터의 수가 모델의 검증 결과에 주는 영향력을 확인 시켜준다. 특징이 구별되도록 데이터 마이닝을 이용하여 데이터 선별을 하더라도 데이터의 부족은 딥 러닝 모델의 정확도를 최대로 올리지 못하는 것이며, 이를 GAN을 이용하여 해결하였음을 보인다.

표 2와 표 3은 표 1의 혼돈 행렬(Confusion Matrix)을 기반으로 하여 평가되어진 정확도(accuracy), 민감도(sensitivity), 특이도(specificity)를 나타낸다. 혼돈행렬에는 TP(True Positive), FP(False Positive), TN(True Negative), FN(False Negative)로 표현된다. 이 때 긍정(Positive)에 해당하는 값을 ‘Action'을 지정하였으며, 부정(Negative)에 해당하는 값을 ’Normal'로 지정하여 딥러닝 성능을 평가하였다. 각 딥러닝 평가 지표는 (6)~(8)과 같이 계산된다.

‘W/O data Mining’와 ‘W/O data Mining GAN’의 비교는 데이터의 수가 많아지더라도 딥 러닝 학습 결과는 저하되는 것을 보여준다. 이는 학습의 특징 경계가 제대로 보이지 않는 군집을 GAN을 이용해 증식하여도 학습 결과는 개선되지 않음을 보여주며, 학습 특징 경계가 정확이 분류된 군집에 GAN 데이터 증식을 사용해야 함을 보여주는 실험 결과이다.

본 논문에서 개선된 IOU GAN은 GAN만을 이용한 결과와 다른 결과를 보인다⁽¹⁶⁾. 그림 15(b)의 경우는 데이터 마이닝에 의해 선별된 데이터를 GAN 프로그램이 원본 데이터와 거의 동일한 데이터를 생성할 수 있을 정도로 Generator를 학습 시킨 경우이다. 즉 ‘Data Mining GAN'은 원본데이터와 GAN데이터가 95 ~ 99%의 유사도를 보이는 데이터 군집이다. 반면 그림 15(c)의 경우는 IOU 알고리즘과 GAN을 혼합 이용하여 원 신호와 다른 유형의 데이터부터 거의 유사한 데이터를 모아 놓은 것이다. 즉 ’Data Mining IOU GAN'은 원본데이터와 GAN데이터가 80 ~ 99%의 유사도를 보인다. 위의 실험은 GAN 알고리즘의 효율과 증식을 효과적이게 하는 방안에 대해 알아보는 실험을 동시에 진행하였다. 두 개의 GAN 데이터 군집은 동일하게 5000개의 증식데이터와 데이터 마이닝 알고리즘 선별 데이터를 합하여 실험을 진행하였다. 두 군집 모두 정답률의 향상은 확인되었지만, 더 다양한 유형의 데이터가 있는 'Data Mining IOU GAN' 군집단이 더 높은 정확도를 보였다. 본 실험은 GAN을 이용하여 효과적인 데이터 증식을 위해서는 원본과 동일한 데이터를 증식하기 보다는 원본과는 유사성이 떨어지더라도 특징을 유지하는 다양한 형태의 데이터를 증식하는 것이 더 효과적임을 보여준다.

4.3 피어슨 상관분석 실험

그림 17은 피어슨 상관관계 알고리즘의 그림 8에 의해 출력된 결과이다. 표 4는 피어슨 상관관계 알고리즘을 이용하여 표 2의 ‘Data Mining IOU GAN’ 군집단에서 많은 차이를 보이는 피어슨 점수의 주파수 대역만을 학습한 군집인 ‘Correlation Processes data’와의 비교실험이다. 그래프에서 학습되는 주파수 대역폭은 피어슨 점수의 차이가 큰 12 ~ 25Hz로 축소하였다. 피어슨 상관관계 알고리즘은 군집내의 주파수 파형의 유사성을 확인하여 유사성이 높게 나타나는 주파수 대역에 높은 피어슨 점수가 그림 17과 같이 주어진다. 이는 군집내의 딥 러닝 학습 특징이 피어슨 점수가 차이 나는 주파수 대역에 있는 것이다. 차이가 나는 주파수 대역만을 이용하여 학습한 군집인 ‘Correlation Processes data’는 기존의 ‘Data Mining IOU GAN'와 딥 러닝 학습 결과에서 차이를 보이지 않는다. 이는 제거된 EEG 정보가 있음에도 불구하고 실질적 학습에 특징을 분별할 수 있는 정보는 유지되었음을 의미하며, 해당 알고리즘을 이용하여 데이터 크기 축소를 통한 학습 속도 증진효과를 가져 올 수 있다.