2.1 Online Customer Review Research Trend

보편적으로 온라인 구매후기는 특정 상품을 구매하거나 서비스를 이용한 소비자들이 자신의 사용경험이나 평가를 댓글의 형태로 디지털 공간에 게재한 글이다^[7]. 오늘날 90%의 소비자들이 구매결정 시에 후기를 읽는다는 조사결과가 있는 만큼 구매후기는 중요하고 많은 영향을 주고 있다^[8,9]. 다수의 선행연구는 기본적으로 디지털화된 입소문(eWoM) 및 후기 속성에 대해 평점과 총 개수로 구분하여 기업의 성과창출에 미치는 영향에 대해 연구하였다^[10]-[12]. 구매후기는 크게 서술적인 형태로 나타나기도 하지만, 평점과 같이 점수로 표현하거나 이미지, 영상 등이 함께 제시되는 경우도 많다^[13]. 이에 구매후기 속성(평점, 댓글의 양, 이미지 정보)은 디지털 시대의 대표적인 소비자 참여 형태라 할 수 있다^[14].

나아가 구매후기의 유용성은 온라인 상품 후기가 다양한 상품에 대한 실질적인 정보(품질, 사용경험 등)를 제공하여 다른 소비자들이 구매결정을 내릴 때 도움을 주는 점도 확인되었다^{[7], [15]}. 특히, 온라인 B2C 쇼핑 사이트는 일반적으로 소비자가 후기의 유용성을 평가할 수 있는 투표 도구도 제공한다. 즉, 후기를 읽은 후 독자는 '좋아요', 󰡐도움되었어요󰡑 등의 버튼을 클릭하여 후기 유용성에 투표할 수 있다. 이러한 후기 유용성은 상당수준 제품의 품질을 반영하며 "제품을 평가하는데 도움이 됨", "제품에 익숙해지는데 도움이 됨" 또는 "제품을 이해하는데 도움이 됨"으로 측정되었다^[6]. 따라서 후기 유용성은 종종 온라인 상품 구매의사결정을 지원하는 능력의 주요 척도로 채택된다^[15]-[17].

2.2 Online Customer Review Research with AI

한편 최근 인공지능(AI) 기술이 고도화됨에 따라 디지털 기술을 활용해 고객반응을 연구하는데 많은 관심이 늘어나고 있다^{[1], [7]}. 대표적으로 대화형 챗봇을 활용하여 고객과의 상호작용을 증진한 연구는 기존 고객접점 기술 기반의 연구성과를 계승하는 결과를 잘 보여주고 있다^{[8], [9]}. 아울러 기계학습(ML) 및 딥러닝(DL) 모델을 활용하여 음식배달서비스(FDS) 도메인의 온라인 리뷰를 기반으로 고객감정을 예측한 연구도 흥미롭다^{[10], [11]}. 이러한 모델은 고객의 정서 예측에 있어 높은 정확도를 보였지만, 그 과정에 대한 자세한 설명 가능성이 부족했다. 이 문제를 해결하기 위해 Anirban과 그 동료 연구자들은 SHapley Additive exPlanations(SHAP) 및 Local Interpretable Model-agnostic Explanations(LIME)과 같은 설명 가능한 AI(XAI) 기술을 사용하여 모델에 의해 수행된 예측을 설명했다^[5]. 궁극적으로 고객 피드백을 바탕으로 개선사항을 파악하여 고객만족도를 높일 수 있었다^{[11], [14]}. 전반적으로 최근의 연구들은 식품산업에서 고객반응을 효과적으로 분석하는데 관심을 가졌다^[1]. 나아가 이를 고객경험 향상으로 연결시키는데 있어 AI와 디지털 기술의 잠재력을 공통적으로 강조하고 있다^{[6], [13]}.

또한 구매후기 작성을 위한 AI 지원에 대한 사전 연구에서는 몇 가지 주요 문제가 확인되었다. 온라인 리뷰 게시에 대한 소비자의 낮은 참여율은 항상 문제로 지적이 되어왔으며, 실제로 고객들의 의견을 반영할 수 있는 구조가 설계되어 있는지에 대해 주요 쟁점이 있어왔다^{[17], [18]}. 이는 여러 고객층, 그 중에서도 중간영역에 있는 다수의 소비자들이 리뷰 생태계 참여를 저해하는 요인에 대한 탐구로 이어져왔다^[17]. 특히, 서면 콘텐츠의 편견과 신뢰성을 평가할 때, 콘텐츠에 대한 사용자의 인식을 변화시키는데 있어 알고리즘 도구의 효과를 이해할 필요가 있다. 이에 사용자의 일반적인 작업 패턴에 부합하고 개인의 구매후기 글쓰기 과정을 지원하는 시스템과 인터페이스를 설계하는 것이 중요할 것이다. 이러한 문제는 모바일 식품 구매(MGS) 등 고객경험 및 구매리뷰 작성을 위한 AI 지원의 복잡성과 이 분야에 대한 추가 연구의 필요성을 강조한다^[18].

2.3 Challenge to Online Customer Review Future Research

바야흐로 급변하는 산업에 따라 세분화된 디지털 서비스가 출시 및 발전되며 구매후기 연구의 지평이 넓어지고 있다. 그럼에도 불구하고 많은 연구들이 구매후기의 규모와 효과에 초점을 맞추고 있어, 분야별 구매후기의 다양한 측면에 대한 심층적인 연구는 제한적이었다^[6]. 해당 분야의 연구들이 이론적 제안이나 분석의 틀로 검토되어 아직 실제 서비스에 적용될 만큼 충분한 수준에 이르지 못하고 있다. 또한 고객대상으로 실제 검증이 되지 않은 자가입력식 설문에 그치고 있어 실무적으로, 정책적으로 활용하기에 한계가 있어왔다. 이에 본 연구에서는 실제 구매후기 개선제안의 시범설계(프로토타입)를 기반으로 직접 고객들이 체험한 근거를 수치적으로 분석하고자 한다. 여기에 선행연구에서 검증된 분석틀을 활용, 고객과 생산자, 판매자와 플랫폼의 주요 이해관계자들에게 의미있는 분석결과를 제공하고자 한다.

4.1 Research Method of AI-powered Review Generation

구체적으로 연구를 수행하기 위해 2가지 단계로 조사를 설계하였다. 먼저 최근 1년 내 식품을 1회라도 온라인 및 모바일로 구매해본 이용자 30명을 대상으로 구매후기 작성경험을 개방형 질문으로 수집했다. 2023년 6월 17일부터 25일까지 수집된 주요 내용을, 선행연구를 참고하여 구매후기 작성 시 어려움을 극복하고, 도와줄 수 있는 기능에 대해 크게 4가지로 정리했다. 기존 구매고객들의 작성후기를 기반으로 주요 단어의 워드 클라우드 시각화 제시, 토픽모델링 기반 주제별 상세후기 제시, 검색 기반의 후기 모아보기와 함께 고객 희망단어 선택 시 AI 지원 구매후기 초안 제안 기능이 그것이다.

다음 단계로 해당 기능별로 고객들이 시범사용 후 설문을 응답하는 방식으로 연구를 수행하고자 했다. 온라인 구매경험이 있는 사용자라면 누구든지 쉽게 접근하여 살펴볼 수 있도록 웹(Web) 형태로 구현하고자 2023년 6월 기준 가장 경쟁력 있는 스트림릿(Streamlit) 개발도구로 작성했다. 이 해당 기능의 구현에 대해서는 다음 장에서 자세하게 더 설명하고자 한다. 나아가 시범사용 후 설문은 구글(Google) 설문도구를 활용하여 7개의 인구통계학적 질문과 함께 구매후기 작성지원 기능별 유용함과 만족도 등을 묻는 20개의 문항으로 구성하였다. 연구의 기본적인 내용과 방식, 설문참여에 대한 윤리적인 안내와 함께 자발적인 방식으로 2023년 8월 1일부터 15일 간, 온라인 커뮤니티와 게시판을 통해 무선 수집했다. 그 결과 총 273부가 수집되었으나, 불성실 응답과 시스템 오류에 따른 중복 집계된 응답을 제외 후 255부를 최종 분석에 활용했다. 이를 바탕으로 해당 기능을 사용해본 경험과 생각, 제안 등에 관한 내용을 정량적으로 분석하고자 했다. 분석에 활용된 데이터의 인구통계학적 정보는 다음과 같다.

4.2 Research Method of AI Review Generation Prototype

통상적으로 기존 웹 개발은 클라이언트와 서버(Client-Server)를 나누어 구현하는 방식을 기반으로 하나, 높은 자유도와 성능을 구현할 수 있는 장점 대비 실제 많은 자원이 소모된다. 이에 본 연구에서는 시연용 특성의 효과적 구현을 위해 빠른 웹 프로토타이핑에 적합한 스트림릿(Streamlit) 라이브러리를 이용하였다. 전 세계적으로 가장 많은 사용자를 보유한 개발도구인 만큼 오픈소스 형태로 다양한 기능을 구성요소(컴포넌트 형태)로 제공하기 때문에 적은 자원으로 빠르게 결과물을 공유할 수 있다(<그림 1>). 보일라(Voila), 플라스크(Flask) 등의 유사서비스 대비 강력한 기능과 다수 사용자의 커뮤니티 지원 기능으로 문제해결 반영을 하기에 적합하며, 구현 후 배포까지 일괄 지원한다는 장점을 가지고 있다^[19].

그림 1. 파이썬 기반 스트림릿(Streamlit) 개발도구 활용 시연페이지 개발

Fig. 1. Web demo prototyping with the Streamlit based on Python framework

해당 시연 페이지 개발은 1차 고객조사를 통해 정리한 주요 요구사항을 분석하여 기획하고, 실제 기능적으로 구현하는 데까지 약 4주의 기간이 소요되었다. 구현된 1차안으로 진행한 시범 사용(Pilot Trial) 결과, 사용자들이 남긴 후기의 정렬방식과 표출형태의 개선과 함께 접속기기(디바이스)별 모바일 최적화를 보완하였다. 이는 프로토타입 개발과 테스트가 노트북PC 웹 기반으로 진행되나, 이에 반해 실제 사용자는 이동형 접속기기로 구매 및 설문하는 비율이 더 높은 사용자행동패턴을 반영하기 위한 중요한 단계였다. 마지막으로 시연 페이지 안에서 사용자들의 이용형태와 접속기록을 수집하기 위해 데이터집계 기능(streamlit-analytics 라이브러리)도 추가하였다.

그림 2. 시연 페이지 스크린샷, a) 후기 워드클라우드 b) CombinedTM으로 생성된 주제들 c) 주제별 선별 후기들 d) 선택된 주제 기반으로 ChatGPT로 생성된 추천 후기

Fig. 2. Demo page screenshots. a) Word cloud of existing reviews. b) Topics generated by CombinedTM and pictures in relevance. c) Topic-based filtered reviews. d) ChatGPT-generated review example.

<그림 2>와 <표 2>와 같이 해당 시연 페이지의 주요 컴포넌트는 크게 4개의 영역으로 구성하였다. 상단부터 순서대로 주요 단어의 워드 클라우드 형태의 시각화 제시, 토픽모델링 기반 주제별 상세후기 제시, 검색 기반의 후기 모아보기와 함께 고객 희망단어 선택 시 AI 지원 구매후기 초안 제안 기능이다. 먼저 1번 영역인 '워드 클라우드'는 기존 고객작성 후기에서 많이 언급된 단어에 대한 시각화를 직관적으로 제공하며, 두 글자(2-gram) 이상을 기준으로 상품평가 정보를 유의미하게 전달했다. 해당 데이터는 2022.12.31 기준 국내 대표 식품전문몰(마켓컬리)의 베스트상품 90개에 대한 상품별 36개월 치 구매후기 를 기준으로 했다. 즉, 파이썬(Python) 웹 크롤링 라이브러리 셀레니움(Selenium)을 활용하여 약 196만 건을 수집하였고, 이를 분석에 활용할 수 있도록 정제하였다. 나아가 2번 영역인 '토픽모델링 기반 주제별 상세후기' 제시도 CombinedTM 알고리즘을 사용하여 수집된 식품후기에서 큰 유형으로 분류되는 상품상세, 배송상태, 활용방식 등 3가지 주제별 고빈출 단어를 3개씩 제시하였다^[20]. 이때 키워드 순서는 페이지 접근 및 실행 시마다 무작위로 제시하여 측정의 타당성을 도모했다.

또한 3번 영역인 '후기 모아보기' 기능은 토픽모델링 결과의 어휘를 포함하는 후기를 최신순으로 가중치를 부여하여 5개씩 정렬, 효과적인 정보전달을 제시했다. 마지막으로 4번 영역에는 추천목록 내 고객이 원하는 희망단어 선택 및 검색 시, 'AI 지원 구매후기 제안' 기능을 구현했다. 이는 ChatGPT API를 사용하여 적절한 후기 초안을 제시하도록 했다. 이는 고객이 아무런 기초정보(Que) 없이 후기작성에 드는 노력을 감소시키며, 초안에 불만족한 경우 새로고침 기능으로 다른 후기 초안을 참고할 수 있다. 즉, 서비스 기능적으로 빠르고 쉬운 시작(Warm Start)을 통해 어려운 출발(Cold Start) 장벽을 획기적으로 낮출 수 있도록 제안했다^[21]. 이에 시연 페이지를 기반으로 참여자들은 AI가 작성한 후기와 실제 후기를 평가하는데 참여했고, 나아가 만족도 평가를 수행했다. 우리 이 결과를 통해 AI 작성 후기의 정확성과 만족도 측면에서의 효과를 분석할 것이다.

5.1 Process satisfaction of checking and writing reviews

온라인 상품 후기의 중요도에 비하여 사용자들의 후기 확인과 작성 과정 만족도는 차이를 보인다. 온라인 상품 후기의 중요성과 후기도움 정도, 그에 따른 후기 확인 및 작성 과정에 대한 만족도에 대한 데이터를 분석한 결과는 <그림 3>과 같다. 대다수의 사용자(72%)는 후기를 자주 읽는다고 답했다. 사용자는 후기를 통해 객관적인 다른 사용자들의 평가에 따른 실제 상품의 품질과 결함을 파악할 수 있다. 사용자들은 후기정보를 통해 해당 상품에 대하여 실제로 좋은 상품인지 평가하여 더 좋은 상품을 구매하기 위해 후기를 탐색한다^[22]. 이에 따라, 후기의 도움 정도 역시 높은 수치(80%)를 보였다. 그에 비하여 후기 확인 및 작성 과정에 대한 만족도는 점차 낮아지는 경향을 보인다. 이러한 결과는 후기에 대한 중요성은 높은데 반해, 직접적으로 관련되는 후기 확인 및 작성 과정에서의 고객경험을 개선할 필요성이 있음을 알 수 있다.

그림 3. 구매후기 확인 및 후기사용과정 만족 정도 비교

Fig. 3. Comparison of frequency of purchase review confirmation and satisfaction with post-use process

5.2 Relationship between AI usage period and attitude

먼저 본 연구에서는 AI가 추천한 후기 기능에 대한 주요 인구통계학적 그룹 간의 측정항목별 유의미한 차이가 있는지 검증해보고자 했다. 이 중 <표 3>과 같이 AI 서비스 사용기간에 따라 유용함, 중요도, 신뢰도, 가치지불의향의 차이가 있는지 만-휘트니 (Mann-Whitney) U검정을 통해 분석을 진행했다. 그 결과 AI 서비스 사용기간이 3개월 이하인 사용자들이 3개월 초과 그룹 대비 AI가 제안한 후기 서비스에 대해 더 큰 가치를 지불할 의향이 있음을 알 수 있었다. 통계적으로 그 차이가 유의미했으며(*p<.05), 이는 혁신확산이론(Innovation Diffusion Theory)에 근거하여 새로운 기술 사용기간에 따른 사용자들의 반응주기로 추론할 수 있었다^[23]. 즉, 신기술 도입 초반부에 사람들이 느끼는 신기함과 호기심에 가치를 지불할 의향이 높아지는 특징을 보이다가, 일정기간이 지나 익숙해지며 대체재나 보완재의 등장에 따라 산업 내 상대가치가 낮아지는 현상과 유사했다.

또한, <표 4>와 같이 모든 사용자들이 유용성과 중요성에 대해 높은 평가를 준 것에 비해 신뢰성과 가치지불에 대해서는 상대적으로 낮은 평가를 준 특징을 확인할 수 있었다^[24]. 기술수용(TAM)의 관점에서 노력기대 부분을 고려할 때, AI 사용기간에 따라 인지된 사용용이성(PEoU) 및 유용성(PU)을 유지, 증가하는 방안을 기대해볼 수 있다^[25]. 나아가 실제 목적지향적인 재화나 서비스를 구매 및 사용하는 것보다, 부가적인 구매후기를 작성하는 행동에 AI 지원기능이 어떠한 가치를 지니는지 실증적으로 탐구한 의의가 있다. 이와 관련된 실무적인 시사점과 후속연구 제안은 다음 장에서 이어가고자 한다.

5.3 ANOVA test results by age group

또한 <그림 4>와 같이 연령대에 따라 AI가 추천한 후기 기능에 대한 인지적 차원의 차이가 있는지 분석을 진행했다. 그 결과 유용함, 만족도에 비해 가치지불지향 및 신뢰도는 상대적으로 낮은 점수가 나타났다. 이 중 신뢰도에 있어서만 각 연령대별 그룹이 통계적으로 유의한 차이를 보였다(F=3.67, p<0.5).

나아가 ANOVA 결과에서 통계적으로 유의한 차이가 나타났기 때문에, 세 그룹 간의 차이가 구체적으로 어디에서 발생하는지를 파악하기 위해 사후검증(Post-hoc Test)을 진행했다. 다양한 사후검증 방법 중, 본 연구에서는 Tukey's HSD 방법을 사용하여 20대, 30대, 그리고 40대 이상 그룹 간의 평균 차이를 비교했다. 그 결과 <표 5>와 같이 다른 집단별 차이 대비 30대 그룹(b)과 40대 이상(c) 그룹에서 약 0.536 평균차가 나타나 통계적으로 유의한 차이를 보였다(*p<.05). 관련 선행연구 중 30대가 AI 기술에 대한 관심이 많은 것만큼 기술 중립적인 입장을 취하고 있다는 결과를 지지하는 것으로 도출되었다^[26].

4차 산업혁명위원회에서 주관한 대국민 조사 인공지능 이용 인식조사 정부 보고서에 의하면 전체 국민 중 59.8%가 인공지능에 대한 관심이 높았으며, 특히 고령층에서 인공지능에 대한 관심이 크다는 분석결과가 도출되었다^[27]. 특히 2022년 과학기술정보통신부에서 발표한 디지털격차(Digital Divide) 실태조사에 따르면 고령화 정보화 수준이 향상됨에 따라, 디지털 취약계층인 고령층의 정보화 수준 향상은 기술적용 서비스에 관한 연령대의 한계가 낮아짐을 기대할 수 있다. AI 서비스에 대한 관심과 기대는 대중화된 AI기술 사용을 적극적으로 반영한 서비스에 따라 더욱 긍정적인 효과를 기대할 수 있다.

그림 4. AI 지원 고객후기 기능 관련 인식에 대한 연령대별 비교

Fig. 4. Comparison of usefulness, importance, reliability, and willingness to pay value according to age group

5.4 Usefulness and importance of the 4 main features

주요 기능에 대하여 사용자에게 효율적인 경험을 제공한 서비스가 높은 평가를 보였다. 본 연구에서 제시한 4가지 후기 관련 서비스에 대한 사용자들의 응답분석 결과는 <그림 5> <그림 6>과 같다. 설문을 통해 개별기능에 대한 유용성과 중요성에 관한 질문에 대하여, 7점 척도를 기준으로 중립(4)을 제외 후 유용함(5-7점)과 덜 유용함(1-3점), 중요함(5-7점)과 덜 중요함(1-3점)을 구분하였다. 전체적으로 후기 모아보기(필터링), 토픽모델링 기반 주제별 상세후기 제시, AI 지원 구매후기 초안 제안, 주요 단어의 워드 클라우드 시각화 제시 순으로 유용성과 중요성이 높다는 결과가 나왔다. 중요성 부분에서는 AI 지원 후기 제안 기능에 대한 신뢰성과 기술 준비도 부분에 영향으로 워드클라우드 보다 낮은 평가를 받았다고 보인다.

그림 5. AI 지원 서비스 기능별 유용성 비교

Fig. 5. Comparison of Usefulness by Feature of AI-powered Service

그림 6. AI 지원 서비스 기능별 중요성 비교

Fig. 6. Comparison of Importance by Feature of AI-powered Service

<표 6>과 같이 필터링(Filtering) 기능에서 유용한 이유에 대한 응답결과로 기존 후기 확인과정과 비교하였을 때, 효율적이며 직관적이다는 결과를 얻을 수 있었다. 다음으로 토픽 모델링(Topic Modeling) 기능의 유용성 이유로는 토픽을 제시하여 주제별 상세후기를 확인하는 과정이 직관적이라는 결과가 나왔다. AI 지원 후기 기능에 대해서는 AI가 제안한 후기로 리뷰 입력의 효율성이 증진되고 편의성이 증대하였다는 결과가 나타났다. 마지막으로 워드 클라우드(Word Cloud) 기능의 시각화 제시의 유용성 이유에 대해서는 정보의 직관성을 보여주어 효율성을 높일 수 있다는 응답이 높았다.

이에 대한 해석으로, 전체적인 사용자가 각 새로운 기술을 적용한 서비스에 대하여 공통적으로 중요하게 생각하는 가치는 󰡒효율성 증대󰡓, 󰡒직관적인 정보 제공󰡓이라는 결과를 얻을 수 있다^[26]. 각 기능별로 제공하는 정보와 사용방법, 세부적인 사용자 경험은 다르지만, 후기를 확인하고 작성하는 사용자들에게 있어 대상에게 얼마나 시간과 노력적인 측면에서 효율적으로 정보를 찾고 제공할 수 있는 지는 중요하다고 나타났다^[29]. 개별 기능의 차별점은 강화하고 부족한 점에 대하여 사용자의 특성에 맞도록 보완한다면, 온라인과 모바일 플랫폼에서 이루어지는 후기 서비스에 대한 사용자들의 고객경험이 더욱 개선될 수 있을 것이다^{[26], [29]}.