2.1 음성명령 스마트 토이

스마트 토이와 음성인식 기능과 음성학습 기능을 접목시키면 사용자의 학습된 음성명령으로 토이를 구동할 수 있다. 그림. 2는 음성명령 스마트 토이의 구성을 나타낸다. 음성명령 스마트 토이는 사용자의 음성명령을 학습시키는 모바일 단말기(스마트폰 어플 또는 음성비서 기기)와 사용자의 음성명령에 대해 분석하고, 학습을 수행하는 스마트 토이 AI 서버 및 음성명령에 따라 동작을 수행하는 스마트 토이로 구성된다.

2.2 음성명령 스마트 토이의 학습 프로세스

표 1은 음성명령 스마트 토이의 학습 프로세스를 나타낸다. 학습 프로세스는 표 1과 같이 음성명령 학습단계와 음성명령 수행단계로 나누어진다. 스마트 토이의 음성명령 및 학습 프로세스는 단계1 음성명령, 단계2 음성명령해석, 단계3 음성명령확인, 단계4 스마트 토이 구동, 단계5 음성명령학습으로 나뉜다. 이와 같이, 사용자의 음성명령에 대해 학습된 명령이 있는지를 판단한 후, 스마트 토이 구동 명령으로 보내거나, 음성명령 학습을 하게 된다.

3.1 CNN

딥러닝 모델은 최근 몇 년간 컴퓨터 비전과 음성인식 분야에서 주목할 만한 결과를 이끌어냈다⁽⁸⁾. 합성곱 신경망은 심층신경망(DNN:Deep Neural Network)의 하나로서, 국부적인(Local) 특성에 적용되는 컨볼루션 필터(Convolution Filter)를 갖는 층을 이용한다⁽⁹⁾.

그림. 3은 자연언어처리에 효과적인 합성곱 신경망(CNN)의 모델 구조를 나타낸다. 합성곱 신경망의 모델 구조는 Collobert의 JLMR 2011 논문^(7,15)에서 사용한 CNN 모델에 기반한 구조이다. 그림. 3에서, n은 문장에 나오는 단어의 개수, k는 단어 벡터의 차원, h는 필터 윈도우 크기를 의미한다.

길이 n의 문장은 word vector X_i를 연결해 식(1)과 같이 표현된다.

이때, $\oplus$는 연결(Concatenation) 연산자를 의미한다. 합성곱 연산은 윈도우 크기 h 단위로 이루어지며, 필터의 가중치 w에 대해 특징 c_i는 식(2)와 같이 계산된다.

식(2)에서 f는 non-linear(ReLU : Rectified Linear Unit) 함수, b는 bias를 의미한다. 모든 word window [x_1:h, x_2:h+1, ···, x_n-h+1:n에 필터를 적용해 식(3)과 같이 특성 지도(Feature Map)를 계산한다.

여기에 max-pooling 연산을 거쳐 얻은 최대값을 fully- connected layer에 입력한다. Fully-connected layer에는 드롭아웃(Dropout)을 적용하고 마지막 단계에서 softmax 출력을 얻는다^(7,15).

3.2 CNN에 의한 음성패턴 인식

그림. 4는 CNN을 이용한 음성학습 처리의 개략도를 나타낸다. 그림. 4와 같이, Google의 Cloud Speech를 이용하여 음성데이터를 기호화 한 후, 텍스트로 전환하는 전처리과정을 통해 학습용 패턴을 생성하였다. 이를 CNN에서 학습을 통해 처리한 후, 디코딩 및 복호화하여 컨트롤러에 전달하며 이 컨트롤러는 스마트 토이의 동작을 수행하게 된다.

3.3 파이썬을 이용한 구현 및 시뮬레이션

그림. 5는 Python으로 합성곱 신경망을 이용하여 개발한 음성학습 시뮬레이터를 나타낸다. 이 시뮬레이터의 딥러닝 알고리즘은 CNN으로 구성되어 있는데, 그림. 5의 (a) 부분과 같이 학습데이터 및 시험데이터를 불러올 수 있고, (b) 부분과 같이 학습 반복 횟수(Number of Repetitions), 임베딩 벡터 크기(Embedding Size), 필터 크기(Filter Size), 채널 수(Number of Channel), 학습률(Learning Rate) 등을 설정할 수 있으며, (c) 부분과 같이 시뮬레이션 결과를 확인할 수 있도록 하였다.

그림. 6은 학습데이터를 나타낸다. 학습데이터는 사람의 음성명령을 텍스트로 변환하여 전처리한 데이터이다. 학습데이터 행렬은 114×67으로서, 텍스트(.txt) 파일 형식으로 작성되었다. 각각의 객체는 탭(Tap)으로 구분되어 있다. 첫 번째 행(Row)은 사람의 음성명령 ‘앞으로 가’에 해당한다. 먼저, ‘앞으로 가’ 라는 명령을 형태소 분석을 통해 ‘앞’, ‘으로’, ‘가’로 분리한다. 분석된 형태소는 IDS (Intelligent Data Systems) 연구실의 자연어 처리를 위한 ‘꼬꼬마 형태소 분석기’를 사용하여 품사 태깅을 진행하였다. 그 다음 학습데이터 생성을 위해 자체적으로 제작한 형태소 사전을 참조하여 각 형태소와 품사를 16진수로 맵핑하고, 10진수로 변환하였다⁽²⁰⁾.

‘앞’은 형태소 사전에서 순서가 1179번째에 위치하고, 품사는 일반명사(NNG)이므로 ‘0’에 해당한다. 마찬가지로 ‘으로’, ‘가’에 대해서도 변환하면 ‘앞으로 가’는 1179, 0, 30, 22, 177086, 6과 같이 변환된다. 각 행은 사람의 음성명령(‘앞으로 가’ 부터 ‘오른쪽 뒤로 이동해요’ 까지 114개)을 나타낸다. 각 열(Column)은 60열 까지 형태소 분석 된 음성명령의 전처리 데이터 및 패딩(Padding)값 ‘1’이 입력되고, 61열 부터 67열까지 스마트 토이의 동작을 나타내는 7bit 판별값(1,0,0,0,0,0,0 : 전진, 0,1,0,0,0,0,0 : 후진, ..., 0,0,0,0,0,0,1 : 우측으로 후진)이 입력된다⁽¹⁹⁾.

그림. 7은 21 × 67인 시험데이터 행렬을 나타낸다. 시험데이터는 학습데이터와 마찬가지로 전처리된 데이터를 텍스트 파일 형식으로 작성하였으며 각각의 데이터는 탭으로 구분되어 있다.

첫 번째 행은 사람의 음성명령 ‘앞으로 가보라우’에 해당한다. 먼저, ‘앞으로 가보라우’ 라는 명령을 형태소 분석을 통해 ‘앞’, ‘으로’, ‘가보’, ‘라’, ‘우’로 분리한다. 그 다음 형태소 사전을 참조하여 각 형태소와 품사를 16진수로 맵핑하고, 10진수로 변환하였다. 학습데이터의 형태소 분석과 마찬가지로 분석하면, ‘앞으로 가보라우’는 1179, 0, 30, 22, 183569, 6, 866, 37, 177402, 6과 같이 변환된다. 마지막 행은 사람의 음성명령 ‘멈처’에 해당한다. ‘멈처’는 형태소 분석을 통해 ‘머’, ‘ㅁ’, ‘처’로 분리된다. 형태소와 품사를 16진수로 맵핑하고, 10진수로 변환하면 ‘멈처’는 177588, 7, 195, 39, 1231, 0과 같이 변환된다. 각 행은 사람의 음성명령(‘앞으로 가보라우’ 부터 ‘멈처’ 까지 21개)을 나타낸다. 각 열은 60열 까지 형태소 분석 된 음성명령의 전처리 데이터 및 패딩값 ‘1’이 입력되고, 61열 부터 67열 까지 스마트 토이의 동작을 나타내는 7bit 판별값(1,0,0,0,0,0,0 : 전진, 0,1,0,0,0,0,0 : 후진, ..., 0,0,0,0,0,0,1 : 우측으로 후진)이 입력된다.

표 2는 시뮬레이션 조건에 따른 손실(Loss), 정확도(Accuracy), 수행 시간(Time)을 나타내고, 그림. 8은 CNN에서 입력데이터가 5×5인 경우, 필터 크기가 3일 때 연산과정을 나타낸다. 그림. 9는 학습 및 시험데이터 불러오기와 반복횟수, 벡터 크기 등 머신러닝의 환경을 설정할 수 있는 초기화면을 나타낸다.

그림. 10은 시뮬레이션 결과를 나타낸다. 그림. 10에서와 같이, 시뮬레이션 결과에는 정확도 및 손실 그래프, 학습에 소요된 시간이 표시된다. 학습이 반복 횟수까지 진행되는 동안 실시간으로 그래프 및 시간이 표시되도록 설계하였다. 시뮬레이션 결과 정확도는 100%, 손실은 0, 시뮬레이션 시간은 76초가 소요되었음을 알 수 있다.

표 3은 학습이 진행되는 단계, 손실, 정확도를 나타낸다. 시뮬레이션이 진행되는 동안 Windows Powershell 창을 통해 결과를 실시간으로 표시되도록 구현하였다. 표 3의 첫 행 Step 453은 453번째 반복 횟수, 이때 손실(Loss)은 21.29, 정확도(Acc)는 0.875를 각각 나타낸다. 즉, 학습률이 0.03일 때 Loss는 12.51, Acc는 0.875가 되는데, Loss와 Acc는 변동하면서 수렴하는 것을 알 수 있었다.