김현욱
(Hyunwook Kim)
1iD
김은빈
(Eun Bin Kim)
2iD
김수복
(Subok Kim)
2iD
이언석
(Onseok Lee)
†iD
-
(Dept. of Medical IT Engineering, Soonchunhyang University, Korea.)
-
(Dept. of Software Convergence, Graduate School, Soonchunhyang University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Facial Asymmetry, Bell Palsy, Facial Analysis, Facial disorder, Face Landmark, Korean Vowels, Mouth Shape
1. 서 론
현대 사회에서 얼굴, 체형 관리 등 외적 이미지에 대한 관심이 증가하고 있다(1). 외적 이미지에서 얼굴은 인상을 좌우하는 중요한 요소가 되며, 얼굴형과 눈, 코, 입과 같은 세부 요소들의 대칭과 균형은 개개인의 인상과 매력에
큰 영향을 미친다(1). 인간은 각자 고유의 얼굴 특징들을 가지고 있으며, 자연스러운 얼굴 움직임은 안면 근육과 신경 기능의 영향을 받는다. 평소 잘못된 습관이나 유전,
외상과 같은 다양한 원인에 의한 안면 기능 문제의 발생은 정도에 따라 얼굴 변형과 부정확한 발음을 초래하기 때문에, 정확한 원인 분석과 진단을 하는
것이 중요하다(2,3).
얼굴의 변형을 일으키는 대표적인 문제로는 안면 비대칭과 Bell’s Palsy라 불리는 안면 마비가 있다. 안면 비대칭은 얼굴 뼈와 근육의 좌우 균형이
맞지 않거나 대칭이 되지 않는 경우로 얼굴 길이와 면적에 차이가 있는 상태를 말하며 정상인 중에서도 약간의 안면 비대칭을 보인다는 연구 결과가 보고
될 만큼 어렵지 않게 접할 수 있는 증상이다(4,5). 안면 비대칭의 진단 및 평가는 CT와 MRI 같은 의료 영상장치로 얼굴의 뼈 구조를 3차원적으로 계측하고 분석하는 방법이 높은 정확성을 보인다(6). 하지만, 고가의 비용이므로 환자가 지속적인 치료와 관리를 위해 전문기관에 방문해야 한다는 점을 고려하면 시간적으로나 비용적으로 부담이 될 수 있다.
안면 비대칭은 안면 신경의 이상으로 생기는 안면 마비로 인해 발병되는 경우가 있는 만큼 서로 밀접한 관계가 있다(6). 안면 마비는 안면 신경 기능의 이상으로 얼굴 근육에 마비가 나타나는 증상을 말한다. 대중적으로 널리 사용되는 안면 마비 평가 방법으로는 임상의가
환자의 마비 증상을 확인하여 1단계부터 6단계까지 구분하는 House-Brackmann scale(이하 HB-scale)이 있다(5,7,8). HB-scale은 6단계 분류법을 통해 안면 운동 기능의 전반적인 평가와 안면마비 후유증에 대해 제공하며, 평가 방법이 간단하여 쉽고 빠르게 평가할
수 있다는 장점이 있다. 하지만, 임상의의 주관적 판단으로 피로도 증가에 의한 안면 평가에 영향을 받는다는 단점이 있다(5,7,8). 또한, 다른 정량적인 평가 방법인 Nottingham Grading System은 안면부에 좌측과 우측, 각각 4개의 특징점으로 총 8개의 특징점을
이용해 3가지 동작을 수행하면서 각 특징점 간의 움직임을 계산하여 좌, 우 안면의 대칭 정도를 평가하는 시스템이다(5,7,8). Nottingham Grading System은 양측 안면근육의 움직임의 변화량을 모두 합산하여 좌측, 우측의 평균값을 계산하는 방식이다. 이는
결과의 객관성이 뛰어나고, 안면 마비 후유증 여부를 표현하여 쉽게 확인이 가능할 뿐만 아니라, 검사도 빠르게 진행할 수 있어 HB-scale에 잘
부합한다는 장점이 있다. 반면, 특징점에 해당하는 위치를 정확하게 지정하는 것이 어렵기 때문에 안면에 직접 마커를 표시해야 하는 불편함이 존재하고
측정 오류를 발생시킬 수 있다(5). 또한, 안면 문제에 나타나는 다양한 증상들을 평가하는데 있어 다루는 기준이 현저히 부족하다. 이처럼 현재 안면 문제를 진단하고 평가하는데 사용되는
임상 등급은 유용하지만 본질적으로 주관적이며, 임상의의 숙련도와 피로도에 많은 영향을 받는 것을 알 수 있다. 이에 주관적 평가에 대한 보충 자료로
객관적이고 신뢰할 수 있는 효율적인 측정 방법의 필요성이 대두되고 있다(9). 이와 관련하여 얼굴 인식 기술과 얼굴 랜드마크의 위치 좌표 값을 검출해주는 기술을 활용한 다양한 연구들이 진행되고 있다[10, 11, 12, 13].
그중에서도 최근 딥러닝(Deep Learning) 기술의 발달에 힘입어 딥러닝 기반 얼굴 인식 기술이 높은 성능을 보인다(14). 하지만, 딥러닝 알고리즘은 대용량의 학습 데이터가 필요하며, 학습 모델 구축 과정에서 많은 시간이 소요되기에 하드웨어 의존도가 높다(15). 이에 속도가 빠르고 경량 모델에 속하는 Dlib를 적용하고자 한다. OpenCV와 유사하게 영상처리 분야에서 폭넓게 도입되고 있는 Dlib는 머신러닝
알고리즘 라이브러리로 C++로 작성된 Toolkit이다(16). Dlib가 제공하는 다양한 기능 중에서 얼굴 검출기와 68개의 얼굴 랜드마크를 추출해주는 학습 모델을 활용하고자 한다.
본 연구는 기존 안면 문제의 진단 및 평가 방법의 문제점들을 보완하고자 웹캠 영상 기반의 얼굴 랜드마크 추출 알고리즘을 활용한 안면 분석 시스템을
제안한다. 이를 통해 분석하고자 하는 기준에 대한 좌, 우 얼굴 랜드마크 간의 거리 값을 계산하여 객관적이고 신뢰성 있는 분석 결과를 제공하는 정량적인
진단 및 보조 도구로써의 타당성을 검증하고자 한다.
2. 본 론
2.1 실험 환경
실험은 안면 문제의 유무에 따라 정상 그룹과 비정상 그룹으로 나누어 진행하였다. 정상 그룹과 비정상 그룹은 안면 문제가 없는 20대 남 · 녀 6명(23.8±1.06세)으로
동일한 피실험자들로 구성하였다. 비정상 그룹의 경우 H-B Scale 3~4등급과 하악비대칭의 상태를 표현하고자 얼굴 리프팅 스티커를 이용해 입이
오른쪽으로 치우친 상태, 왼쪽 눈과 눈썹의 움직임이 없는 상태를 의도적으로 만들어 비정상 그룹으로써 실험을 진행하였다[그림 1].
본 시스템은 피실험자가 평상시 자연스럽게 표정을 짓고 말을 하는 안면 상태와 가장 유사한 실시간 영상을 얻기 위해 웹캠을 사용한다. 피실험자의 자세,
의자와 모니터의 높이, 피실험자와 모니터 사이의 거리, 웹캠의 각도 등 주변 환경에 따라 입력되는 영상 내 얼굴의 위치와 크기는 달라진다. 따라서,
실험 환경을 다음과 같이 설정한다. 첫 번째, 피실험자와 모니터 사이의 거리는 눈의 피로도를 고려하여 60cm로 고정한다. 두 번째, 피실험자의 시선이
모니터의 위 지점으로부터 모니터 전체 높이의 3분의 1지점 사이에 위치하도록 한다. 세 번째, 시스템 내 기준점(십자선의 중심)을 통해 피실험자의
코 끝점과 기준점이 일치하도록 웹캠의 각도를 조절한다. 또한, 얼굴 인식 및 얼굴 랜드마크 검출의 정확성을 높이기 위해 피실험자는 이마가 보이도록
앞머리를 정리하고 안경은 착용하지 않은 상태에서 실험을 진행하였다.
그림 1 비정상 그룹 (a) 기본 상태 및 왼쪽 윙크를 한 상태 (b) 양쪽 눈썹을 최대한 올린 상태
Fig. 1 Abnormal group (a) Default state and left winked state (b) Raise both eyebrows
as high as possible
2.2 시스템 구성
제안하는 얼굴 랜드마크 추출 알고리즘을 활용한 안면 분석 시스템의 전체 흐름은 그림 2와 같다. 얼굴 랜드마크 좌표 값 추출 기능과 랜드마크 간 거리 계산 기능이 연속적으로 진행될 경우 새로운 분석 기준을 적용하고자 할 때마다 추가
실험이 요구된다. 이에, 본 시스템은 안면 데이터 추출 부분과 안면 분석 부분으로 기능을 분리하여 동작하도록 하였다.
그림 2 시스템 전체 흐름도
Fig. 2 System flow chart
안면 문제의 다양한 증상들은 얼굴의 세부 요소 중 눈과 입부위에서 쉽게 확인이 가능하다. 안면 문제가 심할 경우 얼굴 변형이 일어나고 말소리를 뱉어내는
데 사용되는 혀, 입천장, 입술 등의 움직임에 해당하는 조음에도 좋지 못한 영향을 미치게 되어 부정확한 입 모양 패턴이 나타나게 된다(17,18). 이처럼, 안면 문제는 발음 문제까지 초래할 수 있는 점을 고려하여 한글 발음을 활용하였다. 한글 발음은 대부분 모음에 의해 입 모양이 결정되는
특징이 있으며, 입술의 움직임 정도에 따라서 발음이 구분된다. 본 연구에서는 다양한 한글 모음 중에서 기본이 되는 단모음이자 시각 정보만으로도 높은
인식률을 보이는 ‘ㅏ[a]’ , ‘ㅣ[i]’ , ‘ㅗ[o]’의 3가지 모음을 사용한다(10,19). 따라서, 본 연구에서 제안하는 시스템은 편안한 기본 상태, 한글 모음 ‘ㅏ[a]’ , ‘ㅣ[i]’ , ‘ㅗ[o]’를 발음한 상태, 왼쪽 윙크를
한 상태, 양쪽 눈썹을 최대한 올린 상태로 총 6가지 단계로 구성된다. 비정상 그룹의 피실험자들은 실험 시 그림 1 (a) 상태에서 한글 모음을 발음하고 표정을 짓게 된다. 또한, 왼쪽 눈과 눈썹의 움직임이 없는 상태이기 때문에 기본 상태와 왼쪽 윙크를 한 상태가
동일한 표정을 보이게 된다. 양쪽 눈썹을 최대한 올린 상태는 얼굴 리프팅 스티커를 이용해 오른쪽 눈썹만 올라간 상태에서 진행한다.
표 1 시스템 안내 문구
Table 1 System Guide Phrase
|
시스템 단계
|
대기 화면 문구
|
좌표 추출 화면 문구
|
|
입을 다문 상태(S1)
|
첫 번째는 입을 다문 상태입니다.
준비완료시 스페이스바를 눌러주세요.
|
입을 다문 상태로
코 끝을 기준점에 맞추어 주세요.
|
|
‘ㅏ’(S2)
|
다음은 모음 ‘ㅏ’입니다.
준비완료시 스페이스바를 눌러주세요.
|
모음 ‘ㅏ’를 발음한 상태로
코 끝을 기준점에 맞추어 주세요.
|
|
‘ㅣ’(S3)
|
다음은 모음 ‘ㅣ’입니다.
준비완료시 스페이스바를 눌러주세요.
|
모음 ‘ㅣ’를 발음한 상태로
코 끝을 기준점에 맞추어 주세요.
|
|
‘ㅗ’(S4)
|
다음은 모음 ‘ㅗ’입니다.
준비완료시 스페이스바를 눌러주세요.
|
모음 ‘ㅗ’를 발음한 상태로
코 끝을 기준점에 맞추어 주세요.
|
|
왼쪽 윙크(S5)
|
다음은 왼쪽 윙크입니다.
준비완료시 스페이스바를 눌러주세요.
|
왼쪽 눈만 감은 상태로
코 끝을 기준점에 맞추어 주세요.
|
|
양쪽 눈썹올리기(S6)
|
다음은 양쪽 눈썹을 최대한 올린 상태입니다.
준비완료시 스페이스바를 눌러주세요.
|
양쪽 눈썹을 최대한 올린 상태로
코 끝을 기준점에 맞추어 주세요.
|
실험이 장시간 지속될 경우 피실험자들은 피로감을 느끼게 되고 이에 따라 발생하는 미세한 움직임은 정확한 데이터를 얻는 것에 영향을 준다. 이에 각
단계를 진행하기 전 대기화면을 통해 피실험자가 편안하고 준비된 상태에서 실험을 진행할 수 있도록 하였다. 대기 화면에서는 기준점이 파란색으로 나타나며,
좌표 값 추출 기능이 동작하지 않기 때문에 사용자가 자유롭게 움직일 수 있다. 사용자가 준비를 마친 경우 스페이스바를 입력하게 되고, 기준점이 빨간색으로
변경됨과 동시에 좌표 값 추출 기능이 동작하게 된다[그림 3]. 또한, 시스템 좌측 상단에 표 1에 제시된 것과 같이 단계별 안내 문구를 통해 진행 상황을 확인할 수 있도록 한다.
2.3 얼굴 인식 및 랜드마크 좌표 값 추출
현재 가장 보편적으로 사용되는 얼굴 인식 방법은 머신러닝(machine learning)을 이용하는 것이다(20). 대표적인 머신러닝기반 객체 검출 알고리즘인 Haar-cascade는 명암에 따른 변화를 측정하여 얼굴을 인식한다(21). 직사각형 영역으로 구성되는 특징을 사용하기 때문에 픽셀을 직접 사용할 때보다 동작 속도가 매우 빠르다는 장점이 있지만, 검출 정확성이 다소 떨어지는
문제가 있다. 이에 정확성을 개선한 방식으로 기울기 방향성 히스토그램(histogram of oriented gradients) 기술이 있다(22). HOG (histogram of oriented gradients)는 검출 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 이미지의 경계인
edge 픽셀들의 방향에 대한 히스토그램을 구한 후 히스토그램의 계급구간 값들을 일렬로 연결한 벡터를 말한다. 이는, 이미지 경계의 방향 정보를 이용하기
때문에 영상의 밝기 변화, 조명 변화 등에 덜 민감하다는 특징이 있다(11). 본 연구에서는 빠른 속도보다는 정확한 객체 식별이 요구된다는 점에서 Haar-cascade보다 HOG가 더 적합하다. 따라서, Dlib 내에서
제공하는 HOG 특성을 활용한 기본 얼굴 검출기와 68개의 얼굴 랜드마크를 검출해주는 학습 모델을 사용한다. 68개의 얼굴 랜드마크 좌표 값 X,
Y는 그림 3 (b)에서와 같이 피실험자의 코 끝점에 해당하는 얼굴 랜드마크가 시스템에서 제공하는 기준점(십자선의 중심)에 정확하게 일치하는 순간에 자동으로 추출된다.
이때, 알림 소리를 통해 사용자가 인지할 수 있도록 하였다. 좌표 값 데이터는 각 단계별로 10개씩, 총 60개의 데이터가 추출되며 Excel 파일
형태로 저장된다. 실험은 피실험자 당 3회씩 진행한다.
그림 3 시스템 진행 과정 (a) 시스템 대기 화면 (b) 얼굴 랜드마크 좌표 값 추출 화면
Fig. 3 System progress (a) System standby screen (b) Extract face landmark coordinate
data screen
2.4 얼굴 랜드마크 간의 거리 계산
68개의 얼굴 랜드마크에 대한 X, Y 좌표 값 데이터가 저장된 것을 바탕으로 분석하고자 하는 얼굴 랜드마크 간의 거리를 계산할 수 있다. 본 연구에서는
표정과 얼굴 움직임이 다양하게 나타나는 눈과 입 부위를 중점으로 하여 그림 4와 같이 4개 지점에 대한 거리 값을 좌, 우측 별로 계산한다. 각 지점은 눈 끝점과 입꼬리 점 사이 거리(D1), 볼 끝점과 입꼬리 점 사이 거리(D2),
아래턱 점과 입꼬리 점 사이 거리(D3), 눈 아래 점과 눈썹 중앙점 사이 거리(D4)에 해당하며 거리 값은 좌표평면 위의 두 점 사이의 거리를 구하는
공식인 피타고라스의 정리를 사용한다. 좌표평면 위의 두 점 A(x1, y1), B(x2, y2) 사이의 거리는 식 (1)과 같다.
그림 4 얼굴 근육 움직임 거리 차이 분석 기준 (눈 끝점과 입꼬리 점 사이 = D1, 볼 끝점과 입꼬리 점 거리 = D2, 아래턱 점과 입꼬리 점
사이 = D3, 눈 아래 점과 눈썹 중앙점 사이 = D4)
Fig. 4 Facial muscle movement distance difference analysis criteria (Between the end
of the eye and the corner of the mouth = D1, Between the end of the cheek and the
corner of the mouth = D2, Between the point of the lower jaw and the point of the
corner of the mouth = D3, Between the point below the eye and the center of the eyebrow
= D4)
2.5 좌표 값 정량화
Dlib를 통해 추출되는 얼굴 랜드마크 데이터들은 (X, Y) 형태의 좌표 값이라는 점에서 얼굴 랜드마크 간의 거리 값에 대한 결과가 실제 안면 평가
분야의 객관적인 진단 보조 지표 및 도구로써 활용되기에는 한계점이 존재한다. 따라서, 좌표상의 거리를 실제 길이 단위인 mm로 변경하는 정량화 과정을
수행한다. 정확한 정량화를 수행하기 위해서는 측정 오차를 최소화하는 것이 중요하다. 시스템을 통해 검출되는 68개의 얼굴 랜드마크 중에서 빛과 그림자의
영향이 적고, 검출 정확성이 높으며, 검출된 랜드마크에 대응하는 실제 위치를 올바르게 측정할 수 있는 부위는 눈과 입술인 것을 확인하였다. 이에 기본
상태에서의 왼쪽 눈 가로길이, 입술 세로길이에 대한 피실험자들의 실제 측정값과 시스템을 통해 계산된 좌표상의 거리 값을 활용한다[그림 5]. 정상 그룹의 피실험자 6명을 대상으로 편안한 기본 상태에서의 실제 왼쪽 눈 가로길이(mm), 입술 세로길이(mm)를 줄자를 사용해 측정한다.
또한, 피실험자 당 3회씩 실험을 통해 얻은 기본 상태 좌표 값 데이터 10x3개를 바탕으로 좌표평면 위의 두 점 A(x1, y1), B(x2, y2)
사이의 거리를 구하는 식 (1)을 사용해 그림 4에 해당하는 왼쪽 눈 가로길이, 입술 세로길이에 대한 좌표상의 거리 값을 구한다.
그림 5 정량화에 활용되는 측정 기준
Fig. 5 Metrics used for quantification
n번 피실험자의 왼쪽 눈 가로길이에 대한 실제 측정값을 E$_n$(mm), 좌표상의 거리 값 10x3개를 SE1$_n$, SE2$_n$, ...,
SE30$_n$라고 할 때, 좌표상의 거리 값 평균 SE_AVG$_n$을 구하는 식은 식 (2)와 같다.
왼쪽 눈 가로길이의 실제 측정값 E$_n$(mm)과 좌표상의 거리 값 평균 SE_AVG$_n$을 비례식을 활용해 좌표상의 거리 1에 대응하는 실제
mm 추정값 E_EST$_n$은 식 (3)을 통해 구한다.
n번 피실험자의 입술 세로길이에 대한 실제 측정값을 Ln(mm), 좌표상의 거리 값 10x3개를 SL1$_n$, SL2$_n$, ..., SL30$_n$라고
할 때, 좌표상의 거리 값 평균 SL_AVG$_n$을 구하는 식은 식 (4)와 같다.
입술 세로길이의 실제 측정값 Ln(mm)과 좌표상의 거리 값 평균 SL_AVG$_n$을 비례식을 활용해 좌표상의 거리 1에 대응하는 실제 mm 추정값
L_EST$_n$은 식 (5)를 통해 구한다.
최종적으로, 식 (6)을 통해 좌표상의 거리 1이 나타내는 실제 mm 추정값들의 평균을 구하여 얼굴 랜드마크 간의 거리 값의 단위를 mm로 변환하고자 하였다.
2.6 시스템 측정 결과 제공
앞서 계산된 얼굴 랜드마크 간의 거리 값만으로 좌 · 우 안면 근육의 움직임 거리 차이를 한눈에 파악하는 것은 쉽지 않다. 이는 별도의 추가 작업이
필요함을 의미한다. 본 연구에서는 불필요한 소요 시간을 단축하여 효율적으로 사용하고자 하였다. 이에 좌 · 우 얼굴 랜드마크 간의 거리 차이에 대한
측정 결과는 사용자가 쉽게 이해할 수 있도록 단계별로 계산된 거리 값들을 별도의 파일 형태로 취합하여 객관적이고 정량적인 수치를 포함한 시각적인 차트로
확인할 수 있도록 한다.
2.7 정상 그룹과 비정상 그룹 간의 통계 분석
최종적으로, 본 시스템을 통해 정상 그룹과 비정상 그룹 간의 통계적 유의미 여부를 확인하기 위해 안면 문제가 없는 정상 상태의 S1 데이터 평균을
기준으로 안면 문제가 있는 비정상 상태의 S2에서 S6까지의 5가지 동작에 대한 데이터 평균을 이용해 paired t-test를 진행한다. 이때,
유의수준은 p<0.05로 설정한다.
3. 결 과
3.1 얼굴 랜드마크 좌표 값 데이터 수집
얼굴 랜드마크 좌표 값 데이터는 피실험자 정상 그룹과 비정상 그룹을 모두 포함하여 총 3,060개를 수집하였다. 좌표 값은 대응하는 얼굴 랜드마크의
위치를 한눈에 알아볼 수 있도록 얼굴 모양의 형태로 기록하였고, 거리 계산을 위해 사용할 X, Y 좌표 값을 저장하였다.
3.2 좌표 값 정량화 결과
피실험자 6명의 좌표 값 정량화 결과는 표 2와 같다. 편안한 기본 상태에서 모든 피실험자에 대한 실제 왼쪽 눈 가로길이(E$_n$)와 입술 세로길이(Ln) 평균은 각각 26.83(±0.89mm),
21.5(±2.14mm) 이였으며, 시스템으로 도출된 왼쪽 눈 가로길이(SE_AVG$_n$)와 입술 세로길이(SL_AVG$_n$)의 좌표상의 거리
값 평균은 각각 33.11(±0.94), 25.23(±2.64)이었다. 각 피실험자의 왼쪽 눈 가로길이와 입술 세로길이의 실제 측정값과 좌표상의 거리
값 평균을 이용해 12개의 mm 추정값 E_EST$_n$, L_EST$_n$를 구하였고 이들의 평균값을 계산한 결과 사용자와 모니터 사이의 거리가
60cm 기준에서 좌표상의 거리 1당 0.83(±0.04mm)의 값을 나타내는 것을 알 수 있었다.
표 2 좌표 값 정량화 과정 결과
Table 2 Coordinate value quantification process result
|
|
E$_n$(mm)
|
L$_n$(mm)
|
SE_AVG$_n$
|
SL_AVG$_n$
|
E_EST$_n$(mm)
|
L_EST$_n$(mm)
|
|
평균
|
26.83±0.89
|
21.5±2.14
|
33.11±0.94
|
25.23±2.64
|
0.83±0.04mm
|
평균 ± 표준편차
3.3 최종 시스템 결과
저장된 얼굴 랜드마크 좌표 값 데이터를 바탕으로 좌 · 우 안면 근육 움직임 거리를 계산하고 좌표 값 정량화를 적용한 측정 결과를 차트화하면 그림 6과 같다. 그림 6은 피실험자 F가 정상 그룹과 비정상 그룹으로 실험을 진행한 일부 결과 값으로 편안한 기본 상태(S1), 모음 ‘ㅏ[a]’를 발음한 상태(S2),
모음 ‘ㅣ[i]’를 발음한 상태(S3), ‘ㅗ[o]’를 발음한 상태(S4), 왼쪽 윙크를 한 상태(S5), 양쪽 눈썹을 최대한 올린 상태(S6)에
대한 4가지 분석 기준의 좌 · 우 거리 값을 나타낸 것이다.
피실험자 F가 정상 그룹으로 실험에 참여한 결과인 (a)의 경우 D1의 S5 동작에서 유의미한 거리 차이를 보였다. 윙크하는 동작은 사람마다 안면신경,
동안신경 및 근육의 발달 여부에 따라 다양한 형태로 나타난다. 일반적으로, 윙크를 할 때 눈을 감는 쪽과 동일한 방향의 입꼬리가 자연스럽게 올라가고,
윙크를 하지 않는 반대쪽의 눈도 평소보다 작아지는 경향이 있다. 이에 D1에 대해 우측이 좌측보다 약 6.8mm 더 큰 움직임을 보인 것을 확인하였다.
이 밖에 모든 동작에서는 좌측과 우측의 거리 차이가 거의 나타나지 않았다. 반면, 피실험자 F가 비정상 그룹으로 실험에 참여한 결과인 (b)의 경우
입이 오른쪽으로 치우친 상태이기 때문에 같은 방향의 입꼬리가 올라가게 된다. 이에 D1에 대해 좌측이 우측보다 약 7.3mm, D2에 대해서는 약
7.4mm 더 큰 움직임을 보였다. 반대로, 입꼬리의 높이에 해당하는 D3에서는 우측이 좌측보다 약 1.8mm 더 큰 움직임을 보였다. 눈 부위의
움직임에 해당하는 기준인 D4에서는 피실험자의 왼쪽 눈과 눈썹의 움직임이 없는 상태로 스티커를 이용해 오른쪽 눈썹만 올라간 상태이다. 따라서, 양쪽
눈썹을 올리는 S6 동작에서 우측이 좌측보다 약 5.1mm 더 큰 움직임을 보인 것을 확인하였다.
그림 6 안면 근육 움직임 거리 차이 측정 결과 (a) 정상 그룹의 피실험자 F의 결과 (b) 비정상 그룹의 피실험자 F의 결과
Fig. 6 Facial muscle movement distance difference measurement result (a) Results of
subject F of the normal group, (b) Results of subject F in the abnormal group
표 3은 정상 그룹과 비정상 그룹 간의 분석 결과들이 통계적으로 유의미한지 확인하기 위해 피실험자들의 정상 S1 데이터의 평균과 비정상 S2 동작에서 S6까지의
5가지 동작에 대한 데이터 평균 간의 분석 기준별로 paired t-test 결과이다.시스템에서 제시한 한글 모음과 표정은 동일했지만 피실험자들의
고유한 입 모양 패턴, 얼굴 형태, 발음 및 표정의 정도 차이 및 안면 근육 기능의 차이 등에 따라서 동작과 분석 기준에 대한 t-test 결과는
다른 특징을 보였다. 본 연구에서 비정상 그룹에 해당하는 S2 동작에서 S6까지의 5가지 동작은 입이 오른쪽으로 치우친 상태에서 진행한다. 입이 오른쪽으로
치우친 상태의 영향으로 S1-S5, S1-S6의 R_D1, R_D2가 정상 S1 상태에서 더 큰 값을 보였으며, 모든 동작에서의 R_D3가 비정상
동작에서 더 큰 값을 보였다. 이는 정상 그룹과 비정상 그룹 간에 통계적으로 유의미한 차이가 있다는 것을 의미한다. 눈 부위의 경우 정상 S1에서는
양쪽 눈썹을 최대한 올린 상태였지만 비정상 S6에서는 얼굴 리프팅 스티커를 이용해 오른쪽 눈썹만 올린 상태로 진행했었다. 이는 S1-S6의 R_D4를
통해 확인 가능하며, 비정상 S6 상태에서 더 큰 값을 보였다. 반면, S6을 제외한 나머지 동작에서는 정상 S1의 눈 상태와 동일하다. 이는 S1-S6를
제외한 모든 경우의 L_D4, R_D4에서 정상 S1 상태와 유의미한 차이가 나지 않은 것을 통해 알 수 있다. 이를 통해 모든 비정상 동작은 입
부위와 연관된 D1, D2, D3 값들이 영향을 받았으며, 왼쪽 윙크(S5), 양쪽 눈썹 최대한 올리기(S6) 동작에서 왼쪽 눈 부위의 움직임이 없는
영향을 통해 D4가 영향을 받은 것을 확인할 수 있었다.
표 3 정상 S1의 데이터 평균과 비정상 S2 - S6 데이터 평균 간의 분석 기준별 paired t-test 결과
Table 3 Paired t-test results for each analysis standard between the mean of normal
S1 data and the mean of abnormal S2 - S6 data
|
t-test
|
기준
|
평균(mm)
|
p-value
|
t-test
|
기준
|
평균(mm)
|
p-value
|
t-test
|
기준
|
평균(mm)
|
p-value
|
|
S1-S2
|
L_D1
|
-5.10±2.68
|
p<0.01**
|
S1-S3
|
L_D1
|
-1.77±4.42
|
p>0.05
|
S1-S4
|
L_D1
|
-4.86±4.52
|
p<0.05*
|
|
|
R_D1
|
0.00±3.47
|
p>0.05
|
|
R_D1
|
4.42±4.21
|
p>0.05
|
|
R_D1
|
1.30±5.22
|
p>0.05
|
|
|
L_D2
|
1.52±2.00
|
p>0.05
|
|
L_D2
|
1.38±2.66
|
p>0.05
|
|
L_D2
|
-0.43±2.91
|
p>0.05
|
|
|
R_D2
|
4.01±2.36
|
p<0.01**
|
|
R_D2
|
3.86±2.37
|
p<0.01**
|
|
R_D2
|
1.94±2.02
|
p>0.05
|
|
|
L_D3
|
-3.50±1.56
|
p<0.01**
|
|
L_D3
|
-1.06±1.13
|
p>0.05
|
|
L_D3
|
-1.18±1.50
|
p>0.05
|
|
|
R_D3
|
-5.15±1.25
|
p<0.001***
|
|
R_D3
|
-3.64±0.88
|
p<0.001***
|
|
R_D3
|
-3.02±1.13
|
p<0.001***
|
|
|
L_D4
|
0.01±1.20
|
p>0.05
|
|
L_D4
|
0.31±1.31
|
p>0.05
|
|
L_D4
|
0.10±1.42
|
p>0.05
|
|
|
R_D4
|
0.85±1.36
|
p>0.05
|
|
R_D4
|
1.36±1.55
|
p>0.05
|
|
R_D4
|
1.02±1.60
|
p>0.05
|
|
S1-S5
|
L_D1
|
-1.87±4.63
|
p>0.05
|
S1-S6
|
L_D1
|
-1.64±4.89
|
p>0.05
|
|
|
|
|
|
|
R_D1
|
6.02±3.58
|
p<0.01**
|
|
R_D1
|
5.02±4.50
|
p<0.05*
|
|
|
|
|
|
|
L_D2
|
-0.03±2.93
|
p>0.05
|
|
L_D2
|
-0.23±3.51
|
p>0.05
|
|
|
|
|
|
|
R_D2
|
3.39±1.66
|
p<0.01**
|
|
R_D2
|
4.86±2.32
|
p<0.01**
|
|
|
|
|
|
|
L_D3
|
-0.38±1.25
|
p>0.05
|
|
L_D3
|
-0.37±2.64
|
p>0.05
|
|
|
|
|
|
|
R_D3
|
-3.34±1.13
|
p<0.001***
|
|
R_D3
|
-3.10±1.49
|
p<0.01**
|
|
|
|
|
|
|
L_D4
|
-0.09±1.29
|
p>0.05
|
|
L_D4
|
-1.67±1.36
|
p<0.05*
|
|
|
|
|
|
|
R_D4
|
1.08±1.50
|
p>0.05
|
|
R_D4
|
-5.06±3.28
|
p<0.05*
|
|
|
|
|
평균 ± 표준편차 *p<0.05 **p<0.01 ***p<0.001
본 연구 결과를 통해 안면 분석을 정량적으로 수치화하였고, 정상 그룹과 비정상 그룹 간의 유의미한 차이를 보이는 것을 확인할 수 있었다. 추후 연구로는
안면 마비 환자를 위한 진단 보조 도구의 연구로써 활용될 것으로 기대한다.
4. 고 찰
현재 환자가 안면 문제를 치료하고 관리하기 위해서는 지속적으로 전문기관에 방문해야 하기에 시간적 · 비용적으로 부담이 되는 문제가 존재한다. 또한,
안면 평가 분야에서 사용되는 지표와 임상 등급은 유용하지만 다양한 증상들을 분석하기에는 한계점이 있으며, 안면 문제의 진단 및 평가는 주관적 판단에
의존할 뿐만 아니라 임상의의 숙련도와 피로도에 영향을 받는다. 이는 임상의에 따라 상이한 결과를 제공할 수 있으며 오진으로 인해 적절한 치료 시기를
놓치게 되어 상황을 악화시킬 수 있다. 이에 주관적 평가를 뒷받침할 객관적이고 신뢰할 수 있는 보충 자료와 효율적인 측정 방법을 필요로 한다. 따라서,
안면 문제의 진단 및 평가를 위해 요구되는 임상의의 직접적인 측정 과정을 최소화하여 측정 오차의 발생과 피로도를 줄이고, 다양한 안면 근육의 움직임에
대한 분석과 객관적인 수치를 포함한 시각화된 자료로써 분석 결과를 제공하는 시스템을 개발하고자 하였다.
본 연구에서는 정확한 얼굴 랜드마크 좌표 값을 추출하기 위해 동일한 실험 환경을 유지하고 과한 메이크업, 안경 착용과 같은 노이즈들을 모두 배제하여
진행하는 것이 중요하다. 그러나, 최근 COVID-19로 인해 개인위생관리가 중요시되어 안면 비대칭 환자를 모집하는 데 한계가 있었다. 추후 연구에서는
실제 비대칭 환자를 대상으로 하여 증상에 따른 안면 움직임의 특성을 세부적으로 분석할 수 있을 것이다.
좌표 값 정량화 과정에서 피실험자들의 눈 가로길이, 입술 세로길이에 대한 실제 측정값과 본 시스템을 통해 도출된 결과를 비교 분석하였다. 피실험자별
상이한 결과를 나타낸 원인을 분석한 결과 눈과 입술의 실제 길이 측정 시 발생한 측정 오류와 좌표 값 데이터 수집 과정에서 피실험자의 미세한 움직임과
떨림 현상이 원인으로 판단된다.
차트화한 시스템 측정 결과에서 피실험자 F가 정상 그룹인 경우, D1과 D4의 S5 동작을 제외한 모든 기준에 대해 좌측과 우측의 거리 차이가 거의
나타나지 않은 것으로 보아, 안면 근육의 움직임이 대칭을 이룬다고 볼 수 있다. 반면, 비정상 그룹인 경우 전체적으로 좌측과 우측이 큰 거리 차이를
나타내었다. 이는 안면 근육 움직임의 균형이 무너진 것을 의미한다. 또한, 정상 그룹과 비정상 그룹 간의 통계 분석을 통해 시스템에서 제시하는 6가지
단계에 대한 올바른 결과 값을 보인 것을 확인하여 시스템의 정확성을 입증하였고 비대칭적인 다양한 표정과 얼굴 움직임에 대해서도 정확한 표현과 측정이
가능함을 보였다. 이로써, 객관적인 수치를 포함한 시각화된 측정 결과를 통해 임상의의 주관적인 판단에 필요한 진단 보조 도구로서 타당성을 검증하였다.
5. 결 론
본 연구에서는 실시간 웹캠 영상을 기반으로 얼굴 랜드마크 추출 알고리즘을 활용하여 한글 발음과 표정에 따른 좌, 우 얼굴 랜드마크 간의 거리 차이를
유연하게 측정할 수 있는 시스템을 개발하였으며, 최종 측정 결과는 객관적이고 신뢰할 수 있는 시각적인 자료로써 확인할 수 있도록 하였다. 또한, 추출된
좌표 값 데이터 및 측정 결과는 파일 형태로 저장되도록 하여 환자 스스로 지속적인 안면 상태를 확인하고 관찰할 수 있다. 안면 문제가 있는 비정상
그룹과 정상 그룹을 비교 측정하여 시스템의 정확성을 확인하였고 효율적인 안면 데이터 추출 방법과 객관적인 수치를 포함한 분석 결과를 통해 기존의 안면
문제 진단 및 평가의 문제점이었던 안면에 직접적인 마커 부착, 측정 오류 발생 가능성, 측정 단위의 한계, 임상의의 숙련도 및 피로도 영향 등을 보완하였다.
향후 본 시스템이 가정에서도 활용될 수 있을 것으로 기대하며 더 나아가 발음 교정 및 안면 장애 진단 등 다양한 분야에서 활용됨으로써, 비대면 의료
서비스 발전에 기여할 것으로 사료된다.
Acknowledgements
This work was supported by the Soonchunhyang University Research Fund, BK21 FOUR (Fostering
Outstanding Universities for Research) (5199990914048), and the National Research
Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (2022R1A2C1010170).
References
H. J. Kim, 2015, Analysis of Influence Factors and Improvement Study of Facial Asymmetry,
Domestic doctoral dissertation Konkuk University
K. E. Hong, 2010, Prevalence and Treatment Pattern of Korean Patients with Facial
Palsy, Journal of Acupuncture Research, Vol. 27, No. 3, pp. 137-146
Cohen M. M. Jr, 1995, Perspectives on craniofacial asymmetry. III. Common and/or well-known
causes of asymmetry, International journal of oral and maxillofacial surgery, Vol.
24, No. 2, pp. 127-133
Y. W. Cheong, L. J. Lo, 2011, Facial asymmetry: etiology, evaluation, and management,
Chang Gung medical journal, Vol. 34, No. 4, pp. 341-351
D. S. Nahm, C. H. Suhr, W. S. Yang, Y. I. Chang, 2000, Submentovertex cephalometrics
in korean adults, Korean Association of Orthodontists, vol. 30, Vol. no, No. 1, pp.
1-7
M. W. Lee, M. Jang, J. A. Kim, . H. S, 2017, Improvement of Nottingham Grading System
for Facial Asymmetry Evaluation, Journal of Rehabilitation Welfare Engineering Assistive
Technology, Vol. 11, No. 2, pp. 179-186
K. H. Suk, H. K. Ryu, B. H. Goo, J. H. Lee, S. H. Ryu, S. Y. Lee, M. J. Kim, Y. C.
Park, B. K. Seo, D. S. Park, Y. H. Baek, 2014, A Review Study and Proposal of Facial
Palsy Sequelae Evaluating Scale, The Acupuncture, Vol. 31, No. 4, pp. 99-108
J. I. Kim, H. K. Koh, C. H. Kim, 2001, A study of facial nerve grading system, The
Journal of Korean Acupuncture Moxibustion Society, Vol. 18, No. 2, pp. 1-17
Ross B. G, Fradet G, Nedzelski J. M, 1996, Development of a Sensitive Clinical Facial
Grading System, Otolaryngology Head and Neck Surgery, Vol. 114, No. 3, pp. 380-386
S. W. Kim, K. A. Cha, S. H. Park, 2019, Recognition of Korean Vowels using Bayesian
Classification with Mouth Shape, Journal of Korea Multimedia Society, Vol. 22, No.
8, pp. 852-859
M. C. Shin, W. Y. Lee, 2020, A Driver’s Condition Warning System using Eye Aspect
Ratio, The Journal of the Korea institute of electronic communication sciences, Vol.
15, No. 2, pp. 349-356
J. H. Bae, B. H. Wang, J. S. Lim, 2021, Study for Classification of Facial Expression
using Distance Features of Facial Landmarks, Journal of IKEEE, Vol. 25, No. 4, pp.
613-618
S. Y. Heo, K. M. Kim W. J. Lee, 2021, Design and Implementation of Visitor Access
Control System using Deep learning Face Recognition, Journal of Digital Convergence,
Vol. 19, No. 2, pp. 245-251
H. I. Kim, J. Y. Moon J. Y. Park, 2018, Research Trends for Deep Learning-Based High-Performance
Face Recognition Technology, Electronics and Telecommunications Trends, Vol. 33, No.
4, pp. 43-53
Y. Li, 2022, Research and Application of Deep Learning in Image Recognition, 2022
IEEE 2nd International Conference on Power, Vol. electronics and computer applications,
pp. 994-999
King. D. E, 2009, Dlib-ml: A Machine Learning Toolkit, The Journal of Machine Learning
Research 10, pp. 1755-1758
S. M. Im, H. J. Shin, D. G. Kim, C. J. Park L. R. Cho, 2010, Full mouth Rehabilitation
with Orthognathic Surgery in Facial Asymmetry Patient: Case Report, Journal of Dental
Rehabilitation and Applied Science, Vol. 26, No. 3, pp. 359-371
Movérare T, Lohmander A, Hultcrantz M Sjögreen L, 2017, Peripheral facial palsy: Speech,
communication and oral motor function, Eur Ann Otorhinolaryngol Head Neck Dis, Vol.
134, No. 1, pp. 27-31
M. A. Lee, 2018, A Lip-reading Algorithm Using Optical Flow and Properties of Articulatory
Phonation, Journal of Korea Multimedia Society, Vol. 21, No. 7, pp. 745-754
Y. H. Kim, S. W. Park D. Y. Kim, 2017, Research on Robust Face Recognition against
Lighting Variation using CNN, J. of the Korea Institute of Electronic Communication
Science, Vol. 12, No. 2, pp. 325-330
P. Viola M. Jones, 2001, Rapid object detection using a boosted cascade of simple
features, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision
and Pattern Recognition. vol. 1, pp. i-I
N. Dalal B. Triggs, 2005, Histograms of oriented gradients for human detection, 2005
IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol.
1, pp. 886-893
저자소개
Hyunwook Kim received B.S. degree at Department of Medical IT Engineering from Soonchunhyang
University, Asan, Korea, in 2023.
His research interests includes Medical Image Processing, Biometrics, Machine Learning
and Deep Learning
E-mail : kim98@sch.ac.kr
Eun Bin Kim received her B.S. and M.S. degree in Medical IT Engineering from Soonchunhyang
University in 2019,2021, respectively.
She is a Ph.D. Course in Software Convergence at Soonchunhyang university.
Her current research interests include Artificial Intelligence for Medical Image.
E-mail : ebkim0608@sch.ac.kr
Subok Kim received the B.S degree from Gimcheon University, in 2018 and
M.S., degrees from Soonchunhyang University, in 2020,
Currently, he is the Ph.D. Candidate in Department of Software Convergence, Soonchunhyang
University, Asan, Korea.
E-mail : tnqhr93@sch.ac.kr
Onseok Lee received the B.S., M.S., and Ph.D. degrees from Korea University, in 2005,
2007, and 2011, respectively,
Currently, he is a Professor in Medical IT Engingeering, Soonchunhyang University,
Asan, Korea.
E-mail : leeos@sch.ac.kr