3.1 구강 내 양치구역

본 논문에서는 그림 2와 같이 양치 시 구강 구조에 따른 칫솔모의 위치를 13개의 구역으로 나눈다. 양치구역을 표시하기 위해 본 논문에서는 다음과 같은 표기를 사용한다: Incisor: 앞니, Molar: 어금니, Left: 왼쪽, Right: 오른쪽, Outside: 바깥면, InSide: 안쪽면, LoWer: 아래쪽, Upper: 위쪽, Chewing: 씹는면. IO(앞니 바깥면)는 앞니 위, 아래 바깥면을 가리키고 LMO(왼쪽 어금니 바깥면)는 왼쪽 위, 아래 바깥면을 가리키며, RMO(오른쪽 어금니 바깥면)는 오른쪽 위, 아래 바깥면을 가리킨다.

그림 2. 구강 내 치아 영역

Fig. 2. Tooth areas in the oral cavity

3.2 각속도 센서 데이터 변환

본 논문에서 6축 IMU 센서를 활용하여 가속도(m/s²) 및 각속도 데이터(deg/s)를 수집한다. 각도를 구하기 위해 본 논문에서는 각속도 센서에서 출력되는 각속도 데이터를 활용한다. 각속도 데이터를 식 (1)과 같은 사다리꼴 수치 적분을 통해 센서로부터 수집된 각속도 데이터를 각도(deg)로 변환해 준다. 식 (1)에서 θt는 수치 적분을 통해 구해야 하는 각도이며 θt−1은 이미 수집된 각도이며 초깃값은 0이다. wt는 센서에서 수집되고 있는 현재 각속도 데이터값이고 wt−1은 이미 수집되었던 직전 각속도 데이터값이다. 수치 적분으로 구한 각도와 실제 각도와 비교한 오차는 평균 0.00005°이다. 이때 이 오차는 본 논문에서 활용한 IMU 센서에서 출력해주는 각도와 각속도 센서 데이터를 적분하여 얻은 각도를 비교해서 얻은 오차이며 1분가량 회전시켜 실험을 진행한 결과이다. IMU 센서에서 출력해주는 각도는 X, Z 축으로는 ±180°, Y 축으로는 ±90°만 표현 가능하므로 양치 시 주로 출력되는 Y축의 각도를 전부 표현할 수 없어 각속도 센서의 데이터를 활용한다. 각속도 센서의 각속도 데이터는 각 축 (X, Y, Z)에 대하여, 각 속도 (x, y, z)로 구성되며 이러한 각각의 축에 대하여 식 (1)을 적용한다.

3.3 쿼터니언 변환

본 논문에서 그림 3과 같은 3차원 공간에서 고정된 축에 칫솔모 기준으로 (α = (x, y, z)), (β = (x, y, z)), (γ = (x, y, z)) 세 벡터를 정의한다. 이 세 벡터는 6축 IMU 센서의 (X, Y, Z) 축에 대해서, 고정된 위치에 칫솔모의 3축 회전을 표현하기 위해, 센서의 X, Y, Z 축 각각을 칫솔 손잡이 방향 축(α = (x, y, z)), 칫솔모 측면의 직각 축(β = (x, y, z)), 칫솔모 방향 축(γ = (x, y, z))과 대응시키고, 이 칫솔모의 각축에 대해 임의의 길이의 벡터를 정의한다. 따라서 칫솔 자세의 특징은 세 개의 각 축의 끝점에 대한 3차원 공간의 좌표인 (α, β, γ) = ((xα, yα, zα), (xβ , yβ , zβ ), (xγ , yγ , zγ )) 로 표현된다. 이를 기반으로 양치 시 측정되는 회전을 3차원 공간에서의 회전으로 표현하기 위해 쿼터니언 회전을 활용한다.^[18]. 쿼터니언은 네 개의 실수로 구성된 복소수이며 3차원 회전을 표현할 때 네 개의 차원으로 표현할 수 있다. 이를 통해 자유로운 회전 표현이 가능하며 실제 물체의 회전을 구현할 때 주로 사용되는 기법이다. 쿼터니언 회전을 활용하여 구한 값을 기반으로 3차원 공간에서 정의한 벡터의 끝점 좌표를 회전시킨다. 이때 이 벡터들은 임의로 정한 크기에 의해 최대, 최솟값을 가지며 본 논문에서는 임의로 길이를 300으로 정의한다. 파란색 축은 칫솔 손잡이 방향 축(α = (x, y, z))이며 빨간색 축 은 칫솔모 측면의 직각 축(β = (x, y, z)), 초록색 축은 칫솔모 방향 축(γ = (x, y, z))으로 정의한다.

그림 3. 고정된 3축에서의 칫솔 축 정의

Fig. 3. Define the toothbrush axis along three fixed axes

그림 4. 3차원 공간 내 벡터 표현

Fig. 4. Represent vectors in three-dimensional space

3.4 가속도 센서 데이터

본 논문에서 가속도 센서 데이터를 활용하여 칫솔의 위치(displacement)에 따른 데이터 패턴을 분석한다. 가속도 센서는 물체 움직임과 그에 따른 속도의 변화량을 측정하는 센서로, 가속도 센서 데이터를 통해 칫솔의 움직임 및 방향 변화 정보를 수집할 수 있다. 가속도 센서에서 수집되는 데이터는 (X, Y, Z) 3축에 대한 각각의 가속도가 출력되며 각 축에 대해서 대응되는 변수는 (Accx, Accy, Accz)로 정의한다. 이러한 가속도 데이터를 통해 여러 양치 시 확인할 수 있는 데이터 패턴이 존재하는데, 먼저 양치 시 구강 내에서 칫솔이 앞뒤 반복 운동을 주로 하게 되는데 이 움직임은 가속도 센서에서 Y축에 대한 가속도가 발생하게 되며, 이것은 칫솔이 구강 안쪽과 바깥쪽으로 움직일 때 서로 다른 방향으로 나타난다. 그림 5(a)와 같이, 양치 시 칫솔이 안쪽으로 움직일 때는 빨간색 네모 박스의 데이터이며 이 방향은 양(데이터의 +)의 가속도 방향으로 출력된다. 반대로 칫솔이 바깥쪽으로 움직일 때는 파란색 네모 박스이며 음(데이터의 −)의 가속도 방향으로 출력된다. 또한, 가속도 센서에서 항상 중력 가속도가 측정되기 때문에 이를 활용하여 중력 가속도의 방향에 따라 칫솔모의 방향을 추정할 수 있다. 칫솔모가 지면을 기준으로 하늘 방향으로 향하고 있다면(칫솔모가 위쪽 어금니 씹는 면을 닦을 때), 그림 5(b)와 같이 Z축에 양의 방향으로 중력 가속도 값이 나타난다. 반대로 칫솔모가 아래로 향하고 있다면(칫솔모가 아래쪽 어금니 씹는면을 닦을 때) Z축에 음의 방향으로 중력 가속도 값이 나타난다. 칫솔모의 위치가 어금니 바깥쪽일 경우, 그림 5(c)와 같이 X축에 중력 가속도가 출력되고 이때 구강 내 왼쪽 어금니 안쪽면 위, 아래, 오른쪽 어금니 바깥일 때는 음의 방향, 오른쪽 어금니 안쪽면 위, 아래, 왼쪽 어금니 바깥면일 때는 양의 방향이 출력된다. 이렇게 가속도 센서 데이터만으로도 양치구역을 추정할 수 있으며 벡터 끝점 좌표와 함께 활용한다면 다양한 정보를 통해 더욱 정확성 높게 양치구역을 추정할 수 있다.

그림 5. 가속도 센서 데이터 패턴 분석

Fig. 5. Accelerometer data pattern analysis

3.5 데이터 수집

본 논문에서는 데이터의 일관성을 위해서, 양치하는 사람의 행동을 일부 제한한다. 양치 데이터 수집은 다음과 같이 이루어졌다. 본 논문에서의 데이터 수집은 참가자 10명에게 센서 부착 칫솔을 나눠주고 이를 활용해 양치를 진행한다. 양치 진행 전 평평한 공간에 칫솔을 둔 상태로 데이터 수집 버튼을 누르고 2초 지난 후 칫솔을 들고 양치를 진행한다. 양치는 정면을 바라보고 오른손 양치를 진행하며 이때 고개는 좌우 움직임이 없어야 한다. 칫솔의 각도는 아래로 기울어지지 않게 지면과 수평하게 잡은 뒤 정면 거울을 보며 양치를 진행한다. 그림 2와 같은 13구역에 대해 각각 양치를 진행하며 한 구역별로 약 10에서 15 초씩 5회 양치를 진행한다. 다시 한번 말하지만, 본 데이터에는 왼손잡이의 양치가 포함되어 있지 않다. 총 수집한 데이터의 개수는 약 1,090,000이다. 이후 데이터의 존재하는 이상치 값들을 제거하기 위해 사분위수를 활용하여 제거한다. 사분위수는 데이터 75% 지점 + 1.5 IQR보다 큰 값, 데이터 25% 지점 - 1.5 IQR 보다 작은 값을 이상치라 하며 이 값이 포함된 행을 제거한다. 이때 IQR은 데이터 75% 지점에서 데이터 25% 지점을 뺀 값을 의미한다.

3.6 기계학습 모델

본 논문에서 활용한 기계학습 모델은 Support Vector Machine(SVM), Navie Bayes(NB), Decision Tree(DT), Logistic Regression(LR), Bagging, Histogram Gradient Boosting(HGB), Random Forest(RF), Catregorical Boost(CB)로 총 8가지의 모델을 학습하고 성능 비교를 진행한다.

SVM^[19]은 데이터 분류를 위한 경계를 결정 경계라 하는데 이 결정 경계를 통해 데이터를 분류하는 과정을 진행한다. SVM은 결정 경계와 Support Vector 사이의 거리를 마진이라 하는데 이 마진을 최대화하기 위한 결정 경계를 찾아 데이터 특성을 분류하는 알고리즘이다.

NB^[20]는 데이터 특성들이 상호 독립적이라 가정하고 베이즈 정리를 통해 주어진 입력의 조건부 확률을 계산하여 확률이 가장 높은 클래스에 입력 데이터를 할당해 주는 알고리즘이다.

DT^[21]는 데이터를 분류하기 위해 의사 결정 규칙을 조합하는 알고리즘이다. 독립 변수(입력 변수)와 타겟 변수(출력 변수)를 사용하여 의사 결정을 진행하며 독립 변수와 타겟 변수를 조합하여 데이터의 불순도가 가장 낮게 만들 수 있는 독립 변수를 선택해 불순도를 최소화하기 위한 트리 구조를 생성하여 데이터를 분류하는 알고리즘이다.

LR^[22]은 회귀를 사용해서 입력 데이터가 어떤 범주(레이블)에 속할 확률을 0에서 1 사이의 값으로 변환해 준다. 이렇게 변환된 값을 임곗값(일반적으로 0.5 활용)을 기준으로 더 높은 확률의 클래스로 분류하는 알고리즘이다.

BG^[23]는 앙상블 모델로 데이터 샘플을 여러 번 뽑아 서로 다른 모델을 학습시키고 이 결과를 집계하는 방식으로 클래스를 분류하는 알고리즘이다. 집계 방식은 두 가지가 있는데 첫 번째는 각 모델의 결과 중 가장 많이 나온 결과를 선택하는 방식이고, 두 번째는 각 모델 결과의 평균을 내는 방식이다.

HGB, CB 모두 부스팅 기반 앙상블 기법 알고리즘이다. 이때 부스팅^[24]이란 여러 개의 분류 알고리즘을 순차적으로 학습하며 이전에 학습한 알고리즘에서 예측이 틀렸던 데이터에 가중치를 부여하여 다음 모델을 재학습하는 과정을 반복한 기법이다.

HGB^[25]는 부스팅 기반 알고리즘으로 데이터를 여러 개의 구간으로 나누어 이 구간에 속하는 데이터 포인트의 개수를 기록하는 방식으로 데이터를 히스토그램으로 변환한다. 그 후 이렇게 변환된 히스토그램 형식의 입력에 그레디언트 부스팅 기법을 적용한 알고리즘이다. 그레디언트 부스팅 기법은 다음 모델을 학습할 때 경사 하강법을 사용해 가중치를 업데이트한 부스팅 기법이다.

CB^[26]는 학습을 할 때 모든 데이터를 한 번에 학습하여 부스팅 과정을 거친 것이 아닌 일부 데이터만 가지고 부스팅 기법을 적용해 이를 반복하여 데이터의 가중치를 부여하는 알고리즘이다. 히스토그램으로 변환하는 과정처럼 여러 개의 데이터 구간으로 나누고 이 데이터 구간별로 모델을 학습시켜 가중치를 업데이트하는 부스팅 기법이다.

RF^[27]는 여러 개의 DT를 구성하고 각 트리에 데이터를 랜덤하게 샘플링해 학습한다. RF는 BG 알고리즘의 한 형태이기 때문에 각 트리의 예측 결과를 BG 방식처럼 집계하여 클래스를 분류해주는 알고리즘이다.

4.1 검증 데이터셋 구성

양치 데이터의 구성은 가속도 센서 데이터 (Accx, Accy, Accz) 와 3차원 공간의 벡터 회전을 통해 얻은 끝점 좌표 α, β, γ로 총 12개의 데이터로 구성된다. 수집된 데이터셋은 학습과 검증(또는 테스트)의 목적으로 사용되며, 이때 학습 데이터셋과 검증 데이터셋은 10명의 참가자에 대한 양치 데이터 중 임의로 8명을 뽑아 기계학습 모델의 학습 데이터로 활용하고 남은 2명의 데이터를 모델 검증에 사용하였다.

본 논문에서는 표 3와 같이 8개의 기계학습 모델을 선택하여, 양치 데이터셋을 기반으로 각 모델의 학습을 진행하였다. 하이퍼 파라미터 튜닝은 Python의 Scikit-learn 라이브러리 내 GridsearchCV를 활용하여 수행하였다. GridsearchCV를 활용하면 사용자가 지정한 여러 하이퍼 파라미터값을 자동으로 조합하여 가장 최적의 결과를 도출하는 값을 찾아낼 수 있다. 모델들 간의 성능 비교를 위해 성능 평가 지표로 정확도, 정밀도, 재현율, F1-score를 활용한다. 정확도란 전체 데이터 샘플 개수 중에서 학습된 모델이 정확하게 예측한 데이터 샘플의 비율로서, 서로 다른 기계학습 알고리즘이나 설정값들 사이에서 성능 차이를 가장 직관적으로 이해할 수 있는 지표 중 하나이다. 정밀도란 모델이 예측한 클래스 중 실제 해당 클래스로 레이블 된 클래스일 확률이고 재현율이란 실제 레이블 한 클래스에서 모델이 예측한 클래스가 서로 일치한 확률이다. F1-Score는 정밀도와 재현율의 조화 평균을 계산한 것이다. 또한 K-fold 검증을 통해 데이터셋에 대한 과적합을 방지하고 모델의 신뢰성을 높일 수 있다. 이때 K-fold 검증이란 학습 데이터셋과 테스트 데이터셋을 서로 교차 변경하며 학습을 하여 성능을 평가하는 검증 방법이다. 이 실험에서 활용한 K 값은 5이다.

4.2 양치구역 추정 모델 성능 분석

표 3은 K-fold 검증을 통해 얻은 각 성능 평가 지표들의 평균값이다. 표 3을 통해서, 대부분 기계학습 모델이 주어진 특징을 통해 구강 내 양치구역을 잘 추정하는 것을 볼 수 있다. 전체 기계학습 모델의 정확도 평균은 85.8%(표준편차 3.24)로 대부분 비교적 높은 정확도를 보여준다. 또한, 기계학습 모델의 예측에 대한 정밀도, 재현율 및 F1-score은 13구역 양치 시 88.9, 85.8, 85.9로서 비교적 높은 성능을 보여주고 있다. 이는 본 논문이 제시하는 특징이 양치의 자세 기반으로 구강 내의 양치구역을 비교적 잘 구분한다고 할 수 있다.

4.3 클래스별 성능 분석

표 3을 통해서 상위 4개의 모델들(SVM, HGB, RF, CB)에 대한 모델의 클래스별 정확도를 확인하여 모델의 신뢰성을 높이기 위해 학습 결과에 대한 혼돈 행렬과 ROC AUC 그래프를 분석한다. 혼돈 행렬은 실제값과 예측값에 대해 각 클래스를 나열하고, 그 교차점에 예측값의 성능을 기입하여 만든 행렬이다. 대각선 위치의 값들은 올바르게 분류된(모델이 예측한 클래스와 실제 클래스가 일치) 데이터의 비율을 의미하며 그 외 위치한 값들은 잘못 분류된 데이터의 비율을 의미한다. 따라서 혼돈 행렬을 통해 클래스별로 얼마나 많은 데이터가 올바르게 분류되었는지, 원래 해당 클래스가 아닌데 해당 클래스로 잘못 예측된경우를 확인할 수 있다. 그림 6은 SVM, HGB, RF, CB 모델이 예측한 클래스와 실제 클래스에 대한 혼돈 행렬을 보여준다. 그림 6(a)의 SVM 모델의 경우, 클래스 LWMC, IUS의 정확도가 낮은 것을 확인할 수 있으며 실제 LWMC 데이터 중 모델이 IWS 클래스로 분류된 경우가 많이 존재한다는 것을 알 수 있다. 나머지 모델인 그림 6(b), 6 (c), 6 (d)의 경우 그림 6(a)와 마찬가지로 LWMC, IUS의 정확도가 낮은 것을 확인할 수 있으며 실제 LWMC 데이터 중 모델이 IWS라 예측한 경우가 많은 것을 알 수 있다. 이는 LWMC와 IWS의 데이터가 유사하여 기계학습 알고리즘의 오분류가 일어났다고 판단할 수 있다. 그림 8(a)과 8 (b)는 혼동되는 두 양치 행위(LWMC와 IWS)를 볼 수 있다. 그림 8에서와같이 칫솔모의 방향이 같고 비슷한 위치를 양치하고 있다. 반면 RWMC는 비교적 결과가 좋은데 이는 오른손 양치 때문으로 판단된다. IUS의 경우 여러 클래스로 오분류 됐으며 이는 데이터 수집 시 해당 클래스에 노이즈가 많이 존재하여 발생한 문제라 추측하고 있다. 그림 9는 이들의 양치 행위를 볼 수 있다. 이들 간의 유사성은 칫솔모가 위쪽으로 향한다는 것이지만 SVM이나 RF의 경우 RMO로 판단되는 경우가 다분하여 칫솔모가 위쪽으로 향한다는 특징은 유효하지 않다고 본다. 향후 이를 개선하기 위한 노력이 필요하다.

ROC AUC 곡선은 ROC 곡선 아래의 면적을 측정한 것이며 이때 ROC 곡선은 민감도와 특이도를 나타내는 곡선이다. 민감도는 실제 클래스값이 양성일 때 예측 클래스값이 양성이라고 출력이 되는 비율이며 특이도는 실제 클래스값이 음성인데 음성이라고 예측하는 비율이다. 이때 양성은 특정 조건(실제 클래스와 같은 경우)을 만족한 값이고 음성은 특정 조건을 만족하지 못하고 오분류를 한 값이다. ROC AUC 값의 범위는 0과 1 사이의 값을 가지며 1에 가까울수록 모델 분류 성능이 높은, 0.5에 가까울수록 모델 분류 성능이 낮다는 것을 나타낸다. 그림 7의 결과를 확인해 보면 혼돈 행렬의 결과와 마찬가지로 클래스 LWMC(하늘색), IWS(연두색)의 ROC AUC 값이 낮으며 이는 혼돈 행렬의 결과와 일관된 해석을 보여주고 있다.

그림 6. 상위 4개 분류기의 혼돈 행렬

Fig. 6. Confusion matrix of the top-4 classifiers

그림 7. 상위 4개 분류기의 ROC AUC 그래프

Fig. 7. ROC AUC graph of the top-4 classifiers

그림 8. 양치구역 구별이 쉽지 않은 구강 내 양치 자세 case 1

Fig. 8. Intraoral brushing position with difficulty distinguishing oral cavity CASE 1

그림 9. 양치구역 구별이 쉽지 않은 구강 내 양치 자세 case 2

Fig. 9. Intraoral brushing position with difficulty distinguishing oral cavity CASE 2