• 대한전기학회
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • 한국과학기술단체총연합회
  • 한국학술지인용색인
  • Scopus
  • crossref
  • orcid




XAI(eXplainable AI), RNN, Local Interpretable Model-agnostic Explanations, Adversarial Example Analysis, Feature Importance Analysis, Wastewater Treatment System

1. 서 론

수처리 공정은 물속의 오염물질을 제거하여 인체와 환경에 무해하게 만드는 과정으로, 처리 대상에 따라 정수처리, 하수처리, 폐수처리 등으로 구분된다. 처리 공정은 1차 처리(물리적 처리), 2차 처리(생물학적 처리), 3차 처리(고급 처리)로 구성되는데 국내에서는 주로 환경친화적 및 경제적 이유로 생물학적 처리가 주로 이용된다. 생물학적 처리는 유기물과 질소, 인과 같은 영양염류를 제거하기 위해 미생물을 활용하는 과정으로 미생물이 유기물질을 분해하고, 생물 슬러지로 변환하는 과정이다. 슬러지 재순환과 공기 공급(호기성 조건)을 제어하여 오염물질을 제거하는 것이 수처리 공정에서 최적화의 대표적인 문제이다[1-2].

슬러지 재순환은 비율이 적절하지 않으면, 활성 슬러지 공정에서 미생물 농도가 너무 높아지거나 낮아질 수 있다. 과도한 슬러지 농도는 침전지에서의 침전 효율을 저하시켜 슬러지 부상이나 배출을 야기할 수 있다. 또한, 슬러지가 재순환될 때 충분히 안정되지 않으면, 미생물 활동이 저하될 수 있다. 이는 유기물 분해 효율이 감소하고, 공정의 전반적인 성능이 떨어질 수 있다. 그리고, 슬러지 재순환이 잘못 관리될 경우, 특정 종류의 미생물이 과도하게 증식하여 슬러지 팽창 문제가 발생할 수 있다. 이로 인해 슬러지의 침전 성능이 악화되고, 최종 처리수의 품질이 저하될 수 있다.

공기 공급(호기성 조건)은 호기성 공정에서 필수적이지만, 이 과정은 상당한 에너지를 필요로 한다. 공기 공급이 과다하면 에너지 낭비로 이어지고, 비용 효율성이 떨어진다. 반대로, 공기 공급이 부족하면 산소가 충분히 공급되지 않아 미생물의 유기물 분해 능력이 저하될 수 있다. 또한, 공기 공급이 균일하게 이루어지지 않으면, 반응조 내에서 산소 농도가 불균형하게 분포할 수 있다. 이로 인해 일부 구역에서는 미생물 활동이 저하되거나 혐기성 조건이 발생하여, 유기물 분해와 질소 제거 효율이 떨어질 수 있다[3-4].

슬러지 재순환과 공기 공급을 동시에 최적화하는 것은 매우 기술적으로 어렵고 복잡한 문제이다. 두 변수는 서로 밀접하게 연결되어 있기 때문에, 하나를 변경하면 다른 하나에도 영향을 미칩니다. 예를 들어, 슬러지 농도가 높아지면 산소 요구량이 증가하므로 공기 공급을 조절해야 한다. 이러한 상호작용을 실시간으로 제어하는 것은 어렵고, 최적화가 잘못되면 공정 효율이 저하될 수 있다. 또한, 센서의 정확성과 신뢰성이 떨어질 경우, 잘못된 데이터를 기반으로 제어가 이루어져 공정 문제가 발생할 수 있다.

수처리 공정에서 이러한 제어의 복잡성을 해결하기 위해 다양한 연구들이 진행되어 왔으며, 주로 모델링, 자동화 제어 시스템, 그리고 데이터 기반 접근법이 연구되어 왔다[1-3]. 그러나 이러한 연구들도 몇 가지 한계점을 가지고 있다. 모델링 및 시뮬레이션은 수처리 공정의 동적 특성을 이해하고 예측하기 위해 수학적 모델링과 컴퓨터 시뮬레이션이 광범위하게 사용되고 있는데, 대표적인 모델로는 활성 슬러지 모델(ASM, Activated Sludge Model) 시리즈가 있으며, 이는 미생물 성장, 유기물 분해, 질소 제거 등의 과정을 수학적으로 표현한다[2]. 그러나, 수처리 공정은 매우 복잡한 시스템이며, 이를 정확하게 모델링하기 위해서는 많은 변수와 매개변수를 고려해야 한다. 이는 모델의 복잡성을 증가시켜, 모델의 해석과 적용이 어렵다. 또한, 모델은 주로 특정 환경 조건에서의 공정 동작을 기반으로 설계되기 때문에, 실시간으로 변화하는 환경 조건에 적응하기 어렵다. 모델링 과정에서 사용되는 수치와 가정들은 실제 공정과의 차이가 있을 수 있으며, 이로 인해 모델 예측의 신뢰성이 떨어질 수 있다[3]. 자동화 제어 시스템의 경우, 주로 모델 예측 제어(MPC, Model Predictive Control) 등을 활용하여 공정 변수를 실시간으로 조정한다. MPC는 공정의 동적 모델을 사용하여 미래의 상태를 예측하고, 이에 기반해 최적의 제어 입력을 계산하는 방식이다. 이 방식의 경우, 고도로 복잡한 알고리즘을 사용하기 때문에, 시스템 운영자가 이를 이해하고 효과적으로 운영하기 어려울 수 있다. 또한, 이러한 시스템의 설정과 조정은 전문 지식을 필요로 한다[5-6].

이러한 모델링 및 시뮬레이션과 MPC의 문제를 해결하기 위헤 최근에는 머신러닝과 인공지능(AI)을 활용하여 수처리 공정의 제어 문제를 해결하려는 시도가 많아지고 있다. 이 접근법은 대량의 공정 데이터를 분석하여, 패턴을 인식하고 최적의 제어 전략을 도출한다. 특히, 신경망 모델, 유전자 알고리즘, 강화학습 등이 공정 최적화에 적용되고 있다. 그러나, 머신러닝 모델의 성능은 학습에 사용된 데이터의 양과 질에 크게 의존한다. 충분히 많은 양질의 데이터가 없을 경우, 모델의 일반화 능력이 떨어져 예상치 못한 상황에서 제대로 작동하지 않을 수 있다. 특히, 딥러닝 모델은 '블랙박스' 특성을 가지고 있어, 내부 작동 원리를 이해하기 어렵습니다. 이로 인해 모델의 예측 결과에 대한 신뢰성을 확보하기 어렵고, 시스템 운영자가 모델을 쉽게 조정하거나 수정하기 어려울 수 있다[5].

따라서, 본 논문에서는 이러한 모델링의 불확실성을 줄이기 위해 데이터를 기반으로 모델을 보정하는 방법으로 XAI(eXplainable AI)를 이용하여 자동화 시스템과 머신러닝을 결합하여 더 신뢰성 있는 수처리 제어 시스템을 구축하는 방안을 제안하고자 한다. 다양한 XAI 기법을 작용하여 수처리 공정에 가장 적합한 방안을 제시하고 이를 검증하고자 한다.

설명 가능한 인공지능(XAI, Explainable AI)은 인공지능 모델, 특히 복잡한 머신러닝 모델의 결정을 이해하고 신뢰할 수 있도록 만드는 기술이다. XAI는 모델의 내부 작동 방식을 해석하고, 예측 결과의 근거를 제공하며, 사용자가 모델의 행동을 더 잘 이해할 수 있도록 돕는데, XAI 기법은 주로 모델 내재적 설명 가능성(Intrinsic Explainability)과 사후 설명 가능성(Post-hoc Explainability) 등으로 구분된다[10-12].

모델 내재적 설명 가능성은 설명 가능한 모델 자체를 사용하여 예측 결과를 이해할 수 있도록 하는 것으로 모델이 간단할수록 그 예측 결과를 해석하기 쉽다. 이 방법은 구조적으로 간단하며, 예측의 근거가 명확하게 드러나므로 사용자가 쉽게 이해할 수 있다. 그러나, 설명 가능성이 높은 대신, 복잡한 패턴을 학습하는 능력은 상대적으로 떨어져, 성능이 낮을 수 있다[10].

사후 설명 가능성 방법은 이 기법은 블랙박스 모델(예: 딥러닝 모델, 랜덤 포레스트)이 이미 학습한 후에, 해당 모델의 예측 결과를 설명하기 위한 방법을 제공한다. 이 방식은 다양한 모델에 적용 가능하며, 기존의 복잡한 모델에 사후적으로 해석을 추가할 수 있다. 또한, 여러 기법을 결합하여 다양한 설명을 제공할 수 있으며, 사용자 요구에 맞춘 맞춤형 설명이 가능하다. 복잡한 모델의 예측 성능을 유지하면서도 설명을 제공할 수 있다[11].

따라서, 본 논문에서는 수처리 공정 모델링의 불확실성을 줄이기 위해 데이터를 기반으로 모델을 보정하는 방법으로 XAI(eXplainable AI) 기법 중 사후 설명 가능성 방법을 사용한다. 사후 설명 가능성 방법의 대표적인 기법인 LIME (Local Interpretable Model-agnostic Explanations), 적대적 예제 분석(Adversarial Example Analysis, AEA), 그리고 특징 중요도 분석(Feature Importance Analysis, FIA) 3가지 기법을 적용하여 이 중에 어떠한 방법이 모델의 블랙박스 문제를 해결할 수 있는지를 충분한 데이터(3년치)를 사용하여 검증 및 비교 분석하고자 한다.

2. 생물학적 수처리 공정의 모델링

그림 1은 일반적인 생물학적 수처리 공정과 모델링을 위한 수질 센서 측정 항목을 보여준다.

그림 1. 생물학적 수처리 공정과 수질 측정 항목

Fig. 1. Activated Sludge Process and Sensors in Water Treatment System

../../Resources/kiee/KIEE.2024.73.10.1711/fig1.png

생물학적 수처리 공정의 모델링은 처리 과정의 수학적 표현을 통해 공정의 성능을 예측하고 최적화하는 과정이다. 생물학적 수처리 공정의 모델링은 미생물을 활용해 수중의 유기물질, 질소, 인 등을 제거하는 과정의 동역학을 이해하고 예측하기 위해 사용된다. 이 공정의 성공적인 모델링을 위해서는 공정의 주요 구성 요소, 반응 메커니즘, 그리고 모델에서 다루는 주요 입출력 변수를 명확히 이해하는 것이 중요하다.

활성슬러지법은 미생물을 포함한 혼합액(Mixed Liquor)에서 유기물을 산화 및 분해하는 대표적인 생물학적 수처리 방법이다. 이 공정은 그림 1에서와 같이, 유기물 및 기타 오염 물질이 포함된 원수(폐수)가 처리장으로 유입된다. 반응조에서 미생물이 존재하는 조건에서 유기물이 산화되어 CO₂, H₂O 및 새로운 세포물질로 전환된다. 침전조에서는 생물 반응 후, 혼합액을 침전시켜 고형물(슬러지)과 정화된 물로 분리한다. 반응조에서는 침전된 슬러지의 일부를 다시 반응조로 반송하여 미생물 농도를 유지합니다. 초과 슬러지는 잉여 슬러지를 처리하여 시스템에서 제거된다.

생물학적 수처리 공정 모델링에서는 다양한 입출력 변수가 필요하다. 입력변수로는 유입수의 상태 나타내는 BOD (Biochemical Oxygen Demand, 생물학적으로 분해 가능한 유기물의 농도), COD(Chemical Oxygen Demand, 화학적으로 산화 가능한 유기물의 농도), TN(Total Nitrogen, 총 질소 농도), TP(Total Phosphorus, 총 인 농도), pH(수소 이온 농도), 알칼리도(물의 완충 능력), 온도(공정 반응 속도에 영향을 미치는 수온), 유입 유량이 있으며, 운전 조건으로는 산소 공급량(호기성 공정에서 사용되는 산소 농도), 혼합 강도(반응조에서의 혼합 상태), SRT(Sludge Retention Time, 슬러지가 반응조에 머무는 시간), HRT (Hydraulic Retention Time, 폐수가 반응조에 머무는 시간), 영양염 공급(미생물의 성장을 돕기 위한 영양분 공급량) 이 있다[7].

출력 변수로는 처리된 물에서의 오염 물질 제거 효율을 나타내는 변수로 BOD, COD, TN, TP 감소율이 있으며, DO (Dissolved Oxygen, 처리수의 용존산소 농도), NH₄⁺(암모니아), NO₃⁻ (질산염), NO₂⁻ (아질산염, 질소 계열 오염 물질의 농도. SS(Suspended Solids, 처리수에서의 부유 고형물 농도), 미생물 농도(반응조 내 활성 미생물의 농도)가 있다. 또한, 생성 슬러지 특성을 나타내는 MLSS(Mixed Liquor Suspended Solids, 반응조 내 혼합액의 부유 고형물 농도), SRT(슬러지 체류 시간), 슬러지 생산량(단위 시간당 생성되는 잉여 슬러지의 양) 등이 있다[8].

생물학적 수처리 공정의 모델링에서 머신러닝(ML)과 인공지능(AI)을 사용하는 방법은 전통적인 수학적 모델링 방법과는 다르게, 데이터를 기반으로 복잡한 패턴을 학습하고 예측할 수 있는 능력을 제공한다. 이러한 방법은 특히 비선형성이 강하고 복잡한 상호작용이 존재하는 생물학적 공정에서 유용하다. 특히, 인공 신경망 (Artificial Neural Networks, ANN)은 생물학적 신경망에서 영감을 받은 모델로, 복잡한 비선형 관계를 학습할 수 있다. 여러 층의 뉴런(노드)으로 구성되며, 각 뉴런은 가중치와 활성화 함수를 통해 데이터를 처리한다. 유입수 성상과 처리 효율 간의 복잡한 비선형 관계를 학습하여 BOD, COD, TN, TP 등의 제거 효율을 예측할 수 있고, 생물반응기 내 미생물 성장 및 기질 소비 동역학 예측, 폐수 유입 패턴의 변동성에 따른 공정 반응 예측도 가능하다.

일반적으로 인공 신경망을 사용하여 유입수 성상과 처리 효율 간의 복잡한 비선형 관계를 학습하여 BOD, COD, TN, TP 등의 제거 효율을 예측하고, 이 AI 모델로 실시간 데이터를 기반으로 AI 모델이 공정 조건을 처리 효율을 최적화하 한다. 그러나 이러한 경우 AI 모델은 복잡한 모델(특히 딥러닝)은 높은 예측 성능을 제공하지만, 해석이 어렵다. 반대로, 간단한 모델(예: 선형 회귀)은 해석이 쉽지만, 복잡한 패턴을 잘 포착하지 못할 수 있다.

본 논문에서는 이를 방지하기 위해 데이터를 기반으로 모델을 보정하는 방법으로 XAI(eXplainable AI) 기법 중 사후 설명 가능성 방법 3가지를 적용하여 이 중에 어떠한 방법이 모델의 블랙박스 문제를 해결할 수 있는지를 충분한 데이터(3년치)를 사용하여 검증 및 비교 분석하고자 한다.

3. XAI(eXplainable AI)

AI 모델은 복잡한 연산과 다층 구조를 통해 높은 정확도를 제공하지만, 그 내부 구조와 결정 과정은 일반적으로 인간에게 불투명하다. 이러한 '블랙박스' 문제를 해결하기 위해 XAI 연구가 활발히 진행되고 있다. XAI는 주로 모델이 학습된 후, 결과에 대한 설명을 제공하는 사후 설명 가능성 기법을 통해 이루어진다.

본 논문에서는 XAI의 사후 설명 가능성(post-hoc explainability) 기법 중 대표적인 세 가지 방법론을 생물학적 수처리 공정에 적용하여 공정 최적화 요소에 적용하는 방안을 제시하고자 한다, 즉, 블랙박스인 생물학적 수처리 인공지능 모델로부터 유출수의 수질이 개선되는 것이 어떤 요소(입력변수)에 의한 것인지를 분석하고자 한다[10-12].

그림 2. 사후 설명 가능성 기법 3가지의 절차

Fig. 2. Procedure of post-hoc explainability in XAI

../../Resources/kiee/KIEE.2024.73.10.1711/fig2.png

사후 설명 가능성 기법 중 로컬 해석 가능성(Local Interpretable Model-Agnostic Explanations, LIME), 적대적 예제 분석(Adversarial Example Analysis, AEA), 그리고 특징 중요도 분석(Feature Importance Analysis, FIA) 방법을 다루고자 한다. 각 방법론의 작동 원리와 장단점을 분석하며, 이들 방법이 생물학적 수처리 공정에 어떻게 사용될 수 있는지 고찰한다. 그림 2는 이 3가지 사후 설명 가능성 기법의 절차를 보여준다.

LIME은 모델의 특정 예측에 대한 로컬(국소) 설명을 제공하는 방법이다. 이 방법은 원래의 복잡한 모델을 단순한 선형 모델로 근사하여 특정 예측에 대한 이해를 돕는다. LIME의 작동 방식은 설명하고자 하는 데이터 포인트 근처에서 새로운 데이터를 생성한다. 그 후, 생성된 데이터와 원본 모델의 예측을 이용해 로컬 선형 모델을 학습한다. 이 선형 모델의 가중치가 원본 모델의 예측에 기여한 각 특성의 중요도를 나타내며, 이를 통해 사용자는 특정 예측이 어떻게 이루어졌는지를 이해할 수 있다. 이러한 LIME 모델의 생물학적 수처리 공정 최적화의 적용을 위해서는 2가지가 중요하다. 즉, 1) 설명하고자 하는 데이터를 어떤 기준으로 선정할 것인가와 2) 새로운 데이터를 어떤 방식으로 생성해야 하는지가 핵심 해결 문제이다[11].

AEA는 AI 모델의 취약점을 탐지하고 설명하는 방법으로, 모델의 결정을 바꿀 수 있는 최소한의 변형을 찾아내는 방식이다. 이 기법은 모델이 매우 작은 입력 변화에 어떻게 반응하는지를 분석함으로써, 모델의 작동 방식을 드러낸다. AEA는 주로 입력 데이터에 미세한 노이즈를 추가하여 생성되며, 이로 인해 모델이 오분류하게 된다. 이를 통해 모델의 결정 경계를 파악할 수 있으며, 나아가 모델의 신뢰성과 강건성을 평가할 수 있다. 이러한 AEA의 생물학적 수처리 공정 최적화의 적용을 위해서는 3가지가 중요하다. 즉, 1) 매우 작은 입력 변화를 위한 입력변수 선정과 2) 작은 입력 변화를 어떤 방식으로 생성해야 하는지, 3) 출력변수 중에 어떤 변수의 변화를 핵심 반응변수로 할 것인가를 결정하는 것이 해결 문제이다[12].

FIA는 모델의 예측에 각 특성이 얼마나 기여했는지를 설명하는 방법이다. 이 방법은 전체 데이터셋이나 개별 예측에 대해 적용될 수 있다. 일반적으로 사용되는 기법으로는 샤플리 값(Shapley values)이나 퍼뮤테이션 중요도(Permutation Importance) 등이 있다. 샤플리 값은 게임 이론에 기반하여, 각 특성이 예측에 기여한 정도를 계산하는 반면, 퍼뮤테이션 중요도는 특정 특성을 무작위로 변형시켰을 때 모델 성능이 얼마나 저하되는지를 측정한다. 이를 통해 모델의 해석 가능성을 높이며, 중요한 특성을 식별할 수 있다. 본 논문에서는 샤플리 값(Shapley values)은 게임 이론에 기반한 것이므로 퍼뮤테이션 중요도(Permutation Importance)를 사용한다. 이러한 FIA의 생물학적 수처리 공정 최적화의 적용을 위해서는 3가지가 중요하다. 즉, 1) 무작위로 변동할 입력 변수의 선택, 2) 이 변수이 변동의 정도를 어떻게 정할 것인가, 3) 모델의 성능을 어떤 식으로 정의할 것인가이다[11].

4. 제안된 기법

본 절에서는 2절에서 제시된 생물학적 수처리 공정의 특성을 분석하여 수처리 공정 최적화를 위한 인공 신경망 모델링 기법을 제안하고, 3절에서 제시된 XAI(eXplainable AI) 기법 중 사후 설명 가능성 방법 3가지를 이 인공 신경망 모델에 적용하여 각각의 방법이 모델의 블랙박스 문제를 해결할 수 있는지에 대한 방법을 제안하고자 한다.

4.1 생물학적 수처리 공정 인공 신경망 모델

생물학적 수처리 공정의 입력변수로는 BOD, COD, TN, TP, pH, 알칼리도, 온도, 유입 유량이며, 출력변수로는 처리된 물에서의 오염 물질 제거 효율을 나타내는 변수로 BOD, COD, TN, TP, SS가 있고, 반응조의 상태를 나태는 변수로 DO , NH₄⁺, NO₃⁻, NO₂⁻. SS, 미생물 농도가 있고, 운전 조건 즉 제어 변수로 산소 공급량, 혼합 강도, MLSS, SRT, HRT, 영양염 공급이 있다. 인공 신경망 모델링을 위해서 실제적 운영을 고려하여 입력변수, 출력변수, 제어변수를 선정하는 것이 중요하다.

입력변수 선정에 있어서, 실제적으로 BOD와 알칼리도는 실시간 측정에 문제가 있어 실제적 운영에서는 COD만을 고려하고 있다. 또한 반응조의 상태를 나타내는 변수들을 입력변수로 활용하는 문제가 있다. 유입수로 반응조에 이르는 시간이 4-6시간 정도인 것과 생물학적 공정의 시간 연속성으로 유입수 수질과 반응조의 상태 변수들을 동일하게 입력변수로 보는 것이 전체적인 공정 측면에서 일반적이다.

출력변수는 처리된 물에서의 오염 물질 제거 효율을 나타내는 변수로 BOD, COD, TN, TP, SS가 있다. 여기서도 BOD는 입력변수와 동일한 이유로 제외한다.

제어변수로는 산소 공급량, 혼합 강도, MLSS, SRT, HRT, 영양염 공급 등이 있으나, 실제 공정에서는 산소 공급량과 MLSS만을 제어하기 때문에 이 두가지만 고려한다. 산소 공급량은 송풍기를 불어 공기를 유입수에 공급하는 것으로 송풍량보다는 이의 결과인 DO를 사용한다, 송풍량과 DO와의 관계가 처리장의 구조(송풍기 위치, 용량 등)에 따라 많이 다르기 때문에 DO를 사용한다. 이상을 정리하면 표 1과 같다.

표 1 인공 신경망 입출력 및 제어 변수

Table 1 Inputs, Outputs and Control variables of Artificial Neural Network

Inputs

Outputs

Primary Clarifier

Aeration

Tank

Secondary

Clarifier

COD, TN, TP,

pH, Temp.,

Influent

DO, NH₄⁺, NO₃⁻, NO₂⁻,

MLSS

COD, TN, TP, SS

Control Variables

DO, MLSS

생물학적 수처리 공정 인공신경망 모델링에 어떤 신경망이 적합한지는 해결하려는 문제의 유형, 데이터의 형태, 복잡성 등에 따라 달라진다. 본 논문에서는 순환 신경망 (Recurrent Neural Network, RNN)을 사용하고자 한다. RNN은 과거의 데이터가 현재의 상태에 영향을 미치는 시계열 데이터 처리에 강점이 있어 시간에 따라 변화하는 수처리 공정의 동적 모델링에 적합하다. 일반적으로 정수처리 공정의 실시간 모니터링 및 예측, 배출수 수질의 시간적 변화 예측에 활용된다.

RNN의 학습에는 재귀적인 형태의 모델을 시간에 대해 펼쳐서 현재 시점의 에러를 최초 시점까지 전파해 학습하는back propagation의 확장인 BPTT(Back Propagation Through Time)를 사용한다. 그림 3은 RNN의 구조를 보여준다. 여기서 $U,\: V,\: W$는 가중치를 뜻하고 $x$는 현재 시점의 입력 값, $s$는 은닉층의 메모리 셀의 출력 값, $y$는 해당 시점의 출력 값입니다.

그림 3. RNN의 구조

Fig. 3. Structure of RNN

../../Resources/kiee/KIEE.2024.73.10.1711/fig3.png

(1)은 각 시점의 Error를 나타낸 식이다,

(1)
$E_{t}(y_{t},\: \hat{y_{t}})=-y_{t}\log(\hat{y}_{t})$

그림 4는 BPTT 계산 구조를 나타낸다.

그림 4. BPTT 계산 구조

Fig. 4. Structure of BPTT

../../Resources/kiee/KIEE.2024.73.10.1711/fig4.png

그림 4에서와 같이 RNN에서는 이전의 모든 시점의 Error를 활용하여 학습을 한다. 따라서, 예를 들어, t=3 시점에서 BPTT는 식 (2)(3)(4)와 같이 계산된다.

(2)
$\dfrac{\sigma E_{3}}{\sigma W}=\dfrac{\sigma E_{3}}{\sigma\hat{y_{3}}}\dfrac{\sigma\hat{y_{3}}}{\sigma s_{3}}\dfrac{\sigma s_{3}}{\sigma W}$
(3)
$s_{3}=\tan h(Ux_{3}+ Ws_{2})$
(4)
$\dfrac{\sigma E_{3}}{\sigma W}=\sum_{k=0}^{3}\dfrac{\sigma E_{3}}{\sigma\hat{y_{3}}}\dfrac{\sigma\hat{y_{3}}}{\sigma s_{3}}\dfrac{\sigma s_{3}}{\sigma s_{k}}\dfrac{\sigma s_{k}}{\sigma W}$

가중치 $W$가 모든 시점에서 메모리 셀의 출력 값($s$)을 구할 때 사용되었기 때문에 $k$=0부터 3까지 계산하여 합한다. 이렇게 학습 시에 앞의 시점으로 계속 전파가 일어나는데, 전파가 길어질수록 기울기 값이 0에 가까워지게 되는 기울기 소실 문제가 발생할 수 있다.

4.2 XAI(eXplainable AI) : 사후 설명 가능성 방법 적용

수처리 공정 최적화를 위한 인공 신경망 모델링이 완료되면, XAI(eXplainable AI) 기법 중 사후 설명 가능성 방법 3가지를 이 인공 신경망 모델에 적용하여 한다,

LIME 적용을 위해서는 1) 설명하고자 하는 데이터를 어떤 기준으로 선정할 것인가와 2) 새로운 데이터를 어떤 방식으로 생성해야 하는지가 핵심 해결 문제이다. 본 공정에서는 처리수의 효율 항목 수질이 출력변수가 되어야 하며, 새로운 데이터는 제어변수가 되어야 한다. 즉, 설명하고자 하는 데이터는 COD, TN, TP, SS가 되고, 새로운 데이터는 제어변수인 DO와 MLSS가 된다. 기본적으로는 블랙박스 문제 해결을 위해서는 제어변수를 포함한 모든 입력변수들을 새로운 변수로 하여 이를 증가시키면 설명하고자 하는 데이터의 영향도를 살펴보는 것이 정상적이다. 그러나, 수처리 공정에서는 입력변수들 제어하는 것이 불가능하기 때문에 최적화를 위해서는 제어 변수인 DO와 MLSS를 최소값부터 조금씩 증카시키면서 COD, TN, TP, SS를 변화를 보면 최적의 DO와 MLSS를 찾는 것이 현실적이다. 증가시키는 방법은 조합이 너무 많기 때문에 일차적으로 COD, TN, TP, SS 값들이 변화가 없을 때까지 DO와 MLSS의 모든 조합으로 COD, TN, TP, SS의 변화를 관철한다. 일반적으로 일차 제어가 DO이므로 MLSS를 고정하고 DO를 최대값까지 증가시키고, 그 다음 MLSS를 조금 올리고 같은 식으로 DO를 최대값까지 증가시킨다, 이렇게 함으로써 처리수 효율 항목인 COD, TN, TP, SS가 최저인 DO와 MLSS를 찾는 가능하다. 전체적인 알고리즘은 아래와 같다.

[Step 1] DO와 MLSS 최소값과 최소 변경값($\Delta DO$, $\Delta MLSS$)을 설정(실제 토목 설계상 운영 가능한 최소값으로 설정)

[Step 2] DO 값을 $\Delta DO$ 만큼 증가하며 RNN 모델의 입력으로 설정함,

[Step 3] RNN 모델 출력값 COD, TN, TP, SS 계산

[Step 4] DO값이 DO 최대값보다 작으면 [Step 2]로 가고, DO 최대값보다 크면 MLSS를 $\Delta MLSS$ 만큼 증가시킨다.

[Step 5] DO와 MLSS 모두 최대값이면 Stop.

AEA는 적용을 위해서는 1) 매우 작은 입력 변화를 위한 입력변수 선정과 2) 작은 입력 변화를 어떤 방식으로 생성해야 하는지, 3) 출력변수 중에 어떤 변수의 변화를 핵심 반응변수로 할 것인가를 결정하는 것이 해결 문제이다. 따라서, 본 공정에 적용을 위해서 출력변수는 입력변수는 제어변수인 DO와 MLSS가 되고, 출력변수는 처리수의 효율 항목 수질인 COD, TN, TP, SS 각각이 된다. LIME은 출력변수를 전체를 보는 것이 비해 AEA는 출력변수 각각에 변화를 볼 수 있다. 전체적인 알고리즘은 다음과 같다.

[Step 1] DO와 MLSS 최소값과 최소 변경값($\Delta DO$, $\Delta MLSS$)을 설정(실제 토목 설계상 운영 가능한 최소값으로 설정)

[Step 2] DO 값을 $\Delta DO$ 만큼 증가하며 RNN 모델의 입력으로 설정함,

[Step 3] RNN 모델 출력값 COD, TN, TP, SS 모두 계산하나, 핵심 반응변수는 반드시 정해진 기준값(법정 기준치) 이내인 경우만 다음 단계로 이동.

[Step 4] DO값이 DO 최대값보다 작으면 [Step 2]로 가고, DO 최대값보다 크면 MLSS를 $\Delta MLSS$ 만큼 증가시킨다.

[Step 5] DO와 MLSS 모두 최대값이면 Stop.

FIA에서는 퍼뮤테이션 중요도(Permutation Importance) 도를 사용한다. FIA 적용을 위해서는 무작위로 변동할 입력 변수의 선택, 2) 이 변수이 변동의 정도를 어떻게 정할 것인가, 3) 모델의 성능을 어떤 식으로 정의할 것인가이다. 본 논문에서 무작위로 변동할 입력 변수의 선택을 처리수의 효율 항목 수질인 DO와 MLSS 2개만 한다. 이 경우, LIME에서 모든 조합으로 동일한 과정을 진행하기 때문에 해당 방법은 LIME의 특정한 경우에 해당됨으로 의미가 없다. 이 방법은 입력변수가 매우 작은 경우는 의미가 없다. 따라서, 본 논문에서는 LIME과 AEA만 적용한다.

5. 시뮬레이션

시뮬레이션을 위해 수도권 하수처리장의 3년치 시간 데이터를 사용하였다. 총 데이터 셋은 3년☓365일☓24시간=26,280개이다. 이중에 2년치는 RNN의 학습을 위해 사용하고, 1년치는 평가용으로 사용하였다. 표 1에 따라 RNN의 입력으로 11개 변수, 출력으로 4개의 변수를 할당하여 인공신경망 모델을 구성하여 역전파 알고리즘으로 학습을 수행하였다. 최종적으로 제안된 RNN 모델의 RMS(Root Mean Square)는 2가지로 계산하였다. 즉, 출력변수 4개에 대한 개별 RMS와 전체 평균 RMS를 계산하였다. 표 2는 RMS 결과를 보여준다. 학습모델 오차는 7.4%, 평가모델은 7.9% 모두 8% 이내의 오차를 보여준다, 일반적으로 평균 계기 오차 3%와 실제적 운영상 가능한 오차 5%(수처리 운영 전문가 견해)를 고려하면 전체적으로 8% 이내이므로 유효한 모델로 판단된다.

표 2 RNN의 RMS

Table 2 Comparison of RMS Error

Learning Model

Estimating Model

COD

0.41

0.45

TN

1.28

1.31

TP

1.03

1.12

SS

0.24

0.29

Average

0.74

0.79

학습된 RNN 모델에 제안된 LIME과 AEA 알고리즘을 적용하였다. 알고리즘 적용을 위한 DO와 MLSS의 최소값과 최대값은 3년치 데이터 셋중에서 최소값과 최대값을 찾아서 설정하였다. 그리고, Step별 증가치 $\Delta DO$, $\Delta MLSS$는 모든 데이터를 0~1사이로 정규화시켰기 때문에 최소값과 최대값 편차의 10%로 정하였다.

4.2절에서 제안한 LIME과 AEA을 학습된 RNN 모델에 적용하였다. 사용된 데이터는 3년치 데이테 셋(3년☓365일)인 10,950일에 적용하였다. 즉, DO와 MLSS를 제어하여 처리수 수질 항샹도를 나타내는 COD, TN, TP, SS의 향상 정도를 비교하였다. 기존 방식으로 DO와 MLSS를 제어한 경우와 LIME과 AEA을 통하여 최적값으로 산출된 DO와 MLSS로 제어한 경우 처리수 수질 항샹도를 비교한 결과 표 3과 같다. 수질 향상도는 식 (5)와 같이 계산한다.

(5)
$평균 수질 향상도 =100\dfrac{\sum_{t=1}^{10,\: 950}\dfrac{(y -\hat{y})}{y}}{10,\: 950}$

여기서, $t$는 전제 데이터 수(적용된 일수), $y$는 실제 처리수 수질(COD, TN, TP, SS 중에 하나), $\hat{y}$는 최적값으로 계산된 DO와 MLSS로 제어한 경우의 처리수 수질(COD, TN, TP, SS 중에 하나)을 나타낸다.

표 3은 학습된 RNN으로부터 각각 LIME과 AEA를 적용하여 처리수의 수질 향상도를 계산한 결과이다.

표 3 처리수 수질 향상도

Table 3 Improvement in treated water quality

LIME(%)

AEA(%)

COD

9.7

5.5

TN

7.2

5.2

TP

5.7

5.9

SS

6.7

6.5

Average

7.33

5.78

위의 결과를 분석하면, 기존 방식에 비해 LIME 방식이 7.33%, AEA가 5.78% 개선된 결과를 보여준다. 특히 LIME 방식의 경우, COD에서는 가장 큰 9.7% 개선이 이루어 진 것을 볼 수 있다. 즉, DO와 MLSS가 COD에 가장 큰 영향을 미치는 것을 알 수 있다. AEA 방식의 경우 거의 모든 항목이 5.2%~6.5% 개선으로 모두 비슷한 결과로 실제적으로 RNN의 블랙박스 문제 해결방식으로는 부적절한 것으로 판단된다.

또한, 부가적으로 LIME의 경우, 출력변수의 변화를 그래프로 관찰하면, TN, TP는 DO에 반비례하고, 암모니아(NH₄⁺)가 1.0 이하이면, DO와 MLSS가 올라가면 처리수의 수질 모두 개선되는 특성도 알 수 있었다.

6. 결 론

본 논문에서는 수처리 공정 중 생물학적 수처리 공정의 최적화를 위하여, XAI의 사후 설명 가능성(post-hoc explainability) 기법 중 대표적인 세 가지 방법을 검토하여, 이 중에서 LIME과 AEA 방법을 수처리 생물학적 공정에 적용하여 최적화 방안을 제시하였다. 즉, 일반적으로 수처리 공정 최적화에 많이 이용되는 수처리 인공지능 모델이 좋은 결과를 만들더라도 이것이 어떤 것에 기인되는지를 알지 못하는 블랙박스 문제를 해결하기 위하여 XAI의 사후 설명 가능성(post-hoc explainability) 기법을 적용하여 처리수의 수질이 개선되는 것이 어떤 제어 변수에 의한 것인지를 분석하였다.

분석 결과, 표 3에서 보이는 것 같이 LIME 방식이 AEA 방법보다 좀 더 처리수의 수질에 영향을 많이 미치는 제어변수의 영향도를 확인할 수 있었다. 또한, 이러한 방식이 블랙박스 문제 해결과 더불어 처리수의 수질 개선에도 기여함을 알 수 있었다.

본 논문에서 수처리 생물학적 공정에 적용한 LIME 방식의 경우, 일반적이진 않지만 결과를 그래프로 관찰하면 제어변수가 아닌 입력변수에 대해서도 출력변수의 특성 분석이 가능하였다.

향후, 이러한 그래프 분석을 알고리즘으로 체계화하면 좀 더 효과적인 LIME 방식 제안이 가능할 것으로 판단된다.

Acknowledgements

이 연구는 2023년도 극동대학교 교내연구비 지원에 의하여 수행된 것임(FEU2023S02)

References

1 
Kim, H. J., & Park, J. H., “Application of Artificial Neural Networks for Predicting the Performance of Activated Sludge Process,” Journal of Environmental Managemnt, vol. 215, pp. 25-32, 2018.DOI:10.1016/j.jenvman.2018.01.045URL
2 
Gawande, N. A., Dharmik, P. G., & Nikalje, A. P., “ Artificial Intelligence in Wastewater Treatment Process: State of the Art and Research Trends,” Environmental Technology & Innovation, vol. 20, pp. 101-121, 2020.DOI:10.1016/j.eti.2020.101089URL
3 
Ahmed, S., & Naser, J., “A Comprehensive Review of AI Applications in Wastewater Treatment: Focus on Activated Sludge Processes,” Water Research, vol. 210, pp. 118-129, 2022.DOI:10.1016/j.watres.2022.118029URL
4 
Solanki, M., Zhang, Y., & Shah, M., “Hybrid Models Combining Process-Based and Data-Driven Approaches for Wastewater Treatment Prediction,” Journal of Hydrology, vol. 598, pp. 126-136, 2021.DOI:10.1016/j.jhydrol.2021.126366URL
5 
Singh, P., & Sarkar, D., “Artificial Neural Networks in Wastewater Treatment: A Comprehensive Review,” Environmental Science and Pollution Research, vol. 28, no. 21, pp. 618-645, 2021.DOI:10.1007/s11356-021-13082-5URL
6 
Kumar, M., Singh, S., & Srivastava, P., “Applications of Machine Learning in Wastewater Treatment: A Critical Review,” Journal of Water Process Engineering, vol. 53, pp. 103-135, 2023. DOI:10.1016/j.jwpe.2023.103506URL
7 
Eui-Seok Nahm, “Optimization of activated sludge process in wastewater treatment system using explainable neural network,” The Transactions of the Korean Institute of Electrical Engineers, vol. 69, no. 12, pp. 1950-1956, 2020.URL
8 
Eui-Seok Nahm, “A Study on Fuzzy Control Method of Energy Saving for Activated Sludge Process in Sewage Treatment Plant,” The Transactions of the Korean Institute of Electrical Engineers, vol. 67, no. 11, pp. 1477-1485, 2018.DOI
9 
Eui-Seok Nahm, “A Study on Validity Verification of Input/Output Process Data and Energy Saving in Water Treatment System Using Calibration,” The Transactions of the Korean Institute of Electrical Engineers, vol. 69, no. 1, pp. 177~183, 2020.URL
10 
Ribeiro, M. T., Singh, S., & Guestrin, C., “Why should I trust you? Explaining the predictions of any classifier,” Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1135-1144, 2016.DOI
11 
Goodfellow, I. J., Shlens, J., & Szegedy, C., Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572, 2015.DOI
12 
Lundberg, S. M., & Lee, S. I., A unified approach to interpreting model predictions, In Advances in Neural Information Processing Systems, pp. 4765-4774, 2017.URL

저자소개

남의석 (Eui-Seok Nahm)
../../Resources/kiee/KIEE.2024.73.10.1711/au1.png

He received his BS (1991), MS(1993) and PhD (1998) from the Department of Electrical Engineering, Yonsei university in Korea. He worked in LSIS as an researcher for 4 years. He is presently an professor of Department of AI Computer Engineering at Far East University. His research interests include AI, Modeling and Process Control.