1. 서 론

소방청에서 발표한 통계에 따르면 2018년도의 경우 총 42,338건의 화재가 발생했으며 이로 인한 인명 피해는 2,594명, 재산 피해는 5,597억원으로 집계되었다. 그림 1과 같이 2017년과 비교하였을 때, 화재 건수는 4.2% 감소하였지만, 인명 피해는 18%, 재산 피해는 10.4%가 증가하였다. 이와 같이 화재는 많은 인명 피해와 재산 손실을 발생시키며 각종 사고 중에서 가장 쉽게 발생할 수 있는 사고이다. 따라서 화재를 초기에 진압하지 못할 시에는 대형 화재로 번질 가능성이 높기 때문에 초기에 화염을 감지하고 신속하게 방재 담당자에게 화재 신호를 알려주는 것이 중요하다.

기존의 센서 기반의 화재 탐지기로는 적외선과 자외선을 통하여 불꽃을 감지하는 불꽃 감지 센서와 열을 통하여 감지하는 열 감지 센서가 존재한다⁽¹⁾. 하지만 이러한 센서 기반의 화재 탐지기는 실내 환경에서 제한적으로 사용되며 적외선과 자외선 및 열 등에 민감할수록 다른 요인에도 쉽게 반응하여 경보 오동작으로 인해 불필요한 인력 소모를 초래한다. 또한, 화재 위치 및 화재 크기에 대한 정보를 제공할 수 없으며 물리적 센서가 화재의 발원지와 가까이 있어야 하는 등 여러 가지 한계점이 있다. 실제 화재가 대형 공장이나 산과 같이 광범위한 영역에서 발생할 경우, 기존의 센서 기반 화재 감지 시스템으로는 조기 화재 감지가 어려운 실정이다. 따라서 이를 해결하기 위해 화재 위험을 신속하고 자동으로 감지할 수 있는 새로운 접근 방식의 화재 감지 시스템들이 요구된다.

그림 1 화재 발생 현황(2017~2018)

Fig. 1 Fire occurrence status(2017~2018)

카메라 기술과 컴퓨터 비전 기술의 급속한 발전으로 일부 산업에서는 지능형 비디오 화재 감지 방법이 제안되고 적용되었다. 이런 영상 기반 화재 감지 시스템은 화재의 원인에 대한 영상 확보가 가능하므로 화재의 원인 분석에도 도움을 줄 뿐만 아니라 광범위한 영역을 감시함으로써 이에 필요한 인력 소모를 줄이고 공장 현장이나 산과 같이 접근이 어려운 지역에 대한 효율적인 화재 감지가 가능하다. 초기의 영상 기반의 화재 감지 방법은 불꽃의 특성을 색채, 움직임 그리고 모양에 중점을 두었다. Chen은 영상에서 색채와 동적인 특징을 이용하여 화염과 연기를 추출할 때 사용하였다⁽²⁾. Celik은 화염에서 발생하는 휘도와 색채를 효율적으로 검출하기 위해, RGB컬러 모델을 적은 데이터로 다양한 색상을 나타낼 수 있는 YCbCr칼러 모델로 변환함으로써 밝기에 민감한 화재 감지 방법을 제안하였다⁽³⁾. Yakun Wang은 화재 연기의 방향을 파악하기 위해 optical flow 기법을 이용하였고 질감 특징을 추출하기 위해 LBP를 이용하였다. 획득한 특징을 기반으로 서포트 벡터 머신(Support Vector Machine)을 사용하여 연기의 발생 여부를 감지하였다⁽⁴⁾. Borges는 잠재적인 화재 영역의 색상, 면적의 크기, 질감 등의 특징을 추출하였다. 이러한 특징들의 변화와 베이즈 분류기를 통해 화재를 감지하였다⁽⁵⁾. 종래의 비디오 화재 탐지 방법은 다차원 특징 벡터를 추출하고 특징 벡터를 이용하여 화재와 비화재의 클래스로 분류함으로써 문제를 해결했다. 그러나 이러한 특징 추출기는 전처리, 후보영역 분리, 샘플링 방법, 임계값 설정, 분류기 선정 커널 옵션 등 여러 단계의 복잡한 알고리즘으로 설계되어있다. 따라서, 데이터 특성과 사용자가 설정한 값에 의해 영향을 받게 되므로, 설정된 값이 실제 상황을 반영하지 못하면 좋은 성능을 내지 못할 수 있다. 2012년 ImageNet Large Scale Visual Recognition Challenge(ILSVRC) 경쟁에서 AlexNet이라는 합성곱 신경망(Convolutional Neural Network)을 사용한 모델이 우승한 이후로 합성곱 신경망은 컴퓨터 비전 및 패턴 인식에 혁명을 가져왔다. 합성곱 신경망은 하나의 네트워크에서 기능 추출 및 분류를 수행할 수 있다. 또한, 기존의 여러 단계의 복잡한 알고리즘을 대체하고 객체의 완전한 특징을 학습할 수 있다. 따라서, 더 정확한 화재 감지 시스템을 위해 합성곱 신경망 기반의 비디오 화재 탐지 방법이 제안되었다. Frizzi은 비디오 화재 및 연기 감지를 위한 합성곱 신경망을 제안했다⁽⁶⁾. 결과는 합성곱 신경망 기법이 관련 기존 비디오 화재 탐지 방법보다 우수한 성능을 보여줬다. Zhang은 산불 탐지를 위한 딥러닝 기반 방법을 제안했다⁽⁷⁾. 결합된 심층 합성곱 신경망에서 전체 이미지와 미세하게 나눠진 패치 화재 분류기를 훈련하였다. 즉, 전체 이미지는 먼저 전체 이미지 레벨 분류기에 우선적으로 테스트하고 화재가 감지될 시 미세한 패치 분류기가 화재의 정확한 위치를 감지한다. Wang은 합성곱 신경망 및 서포트 벡터 머신을 기반으로 하는 새로운 접근 방식을 개발했다⁽⁸⁾. 합성곱 신경망은 4개의 컨볼루션 레이어로 데이터 세트를 학습하도록 구성되었다. 마지막으로 서포트 벡터 머신을 사용하여 완전히 연결된 레이어와 소프트맥스(Softmax)를 대체하여 학습을 진행하였다. 그 결과 순수한 합성곱 신경망보다 더 나은 성능을 보여주었다. 이 연구들을 통해 합성곱 신경망을 이용한 화재 감지 시스템의 성능이 뛰어남을 확인할 수 있었다. 하지만 합성곱 신경망 연산에는 많은 시간과 하드웨어 용량을 차지하기 때문에 하드웨어 용량이 부족할 경우 속도 측면에서 성능이 떨어질 수 있다. 또한, 화재와 비화재 분류에 초점이 맞춰져 있다. 따라서, 실제 상황에 적용하는 면에서 제한사항이 있을 수 있다.

본 논문에서는 딥러닝 기술을 활용한 영상 기반의 화재 위치 감지 방법에 대하여 연구하였으며, 객체를 검출하기 위해 활용된 다양한 딥러닝 기술 중 Darknet의 YOLO-v3를 사용하여 데이터를 학습시키고 화재를 탐지하는 방법에 대하여 제안하였다. 2장에서는 딥러닝 기반의 객체 검출 기술 방법에 대해 설명하고, 3장에서는 객체 검출 알고리즘에 대한 모델 학습과 이에 따른 결과를 보여준다. 마지막으론 4장에서 결론과 향후 연구의 방향에 대해 논의한다.

2. 딥러닝을 이용한 화재 검출

2.1 딥러닝 기반 객체 검출 기술

딥러닝과 인공지능의 급속한 발전으로 딥러닝을 활용한 모델들이 다양한 분야에서 획기적인 성능을 보이는데 기존의 방식이 아닌 딥러닝을 적용한 모델들이 새로운 대안으로 제안되고 있다⁽⁹⁾. 컴퓨터 비전 분야에서는 대표적으로 그림 2와 같이 이미지 분류(Image classification), 객체 검출(Object detection)이 있다⁽¹⁰⁾. 이미지 분류는 그림 2-(a)와 같이 입력으로 주어진 이미지 안의 객체의 클래스를 구분하는 행위이다. 현재 클래스를 식별하는 면에서 CNN 기반 방법을 사용하는 컴퓨터의 성능은 인간을 능가하는 수준이다. 그림 2-(b)는 로컬라이제이션(Localization)을 의미하며,

그림 2 컴퓨터 비전의 객체 검출

Fig. 2 Object detection of computer vision

그림 3 YOLO v3의 구조

Fig. 3 YOLO v3 Architecture

객체의 위치를 알려주는 역할을 한다. 그림 2-(c)는 객체 검출로써 로컬라이제이션과 객체의 클래스 분류가 동시에 수행되는 것을 의미한다. 모델의 학습 목적에 따라서 특정 객체만 검출하는 경우와 여러 개의 객체를 검출하는 멀티 객체 검출 모델이 존재한다. 본 논문에서는 이 세 가지 방법 중에서 이미지 분류와 객체 검출이 수행된 객체 검출방법을 이용하여 화재 감지를 처리한다. 영상 내에 여러 객체의 위치를 검출하는 컴퓨터 비전 분야의 주요한 과제에서 뛰어난 성능을 보였던 R-CNN, SPPNet, Fast R-CNN, Faster R-CNN과 Yolo 등이 있다. R-CNN의 계열인 Fast R-CNN과 Faster R-CNN은 Selective Search 알고리즘을 통해 얻은 영역 이미지에 대하여 CNN과 서포트 벡터 머신을 거쳐 객체를 분류한다. 따라서 검출 시간이 오래 걸리며 복잡한 구조로 이루어진다⁽¹¹⁾. 또한, Multi-Stage Training을 수행하여 Back Propagation이 되지 않는다는 단점이 있다. 반면에 YOLO는 모든 단계가 단일 네트워크 안에서 이루어지므로 R-CNN 네트워크의 단점인 느린 검출 속도를 획기적으로 감소시킴으로써 주목받고 있다. 전술한 바와 같이 기존의 컬러 모델을 활용한 화재 감지 방법은 유사한 특징을 가진 객체에 대해 오검출을 발생시킬 수 있으며 임의로 임계값을 설정하므로 실제 환경에 적용하였을 때 적합하지 않다. 따라서 본 논문에서는 화재를 신속하게 검출하기 위해 다양한 딥러닝 기반의 객체 검출 기술 중 YOLO를 적용하여 연구를 진행하였다.

2.2 화재 감지를 위한 객체 검출 알고리즘

YOLO(You Only Look Once)는 그림 3과 같이 하나의 합성곱 신경망을 통해 여러 개의 경계 상자(Bounding box)를 동시에 예측하고 각 경계 상자에 대하여 분류 확률을 예측하는 알고리즘이다⁽¹²⁾. 학습 데이터 셋을 이용하여 학습을 수행한다. 이를 통해 학습된 네트워크 가중치를 적용하여 모델을 구성하게 된다. 사용된 알고리즘은 우선적으로 입력된 이미지를 S*S의 그리드(Grid)로 나눈다^(13,14). 그다음, 객체의 중심이 그리드 셀의 안에 위치하면, 해당 그리드 셀은 객체의 탐지를 담당하게 된다. 각각의 그리드 셀은 4개 좌표의 오프셋(Offset)과 신뢰 점수를 포함한 5가지 정보$(t_{x},\:t_{y},\:t_{w},\:t_{h},\:t_{o})$를 포함한다. 셀이 이미지 왼쪽 상단 모서리에서($c_{x}$,$c_{y}$)만큼 오프셋되고 앵커박스의 너비($p_{w}$)와 높이($p_{h}$)가 있는 경우, 경계 상자의 예측은 그림 4에 나타나 있는 식과 같다. 식에서 사용된 $\sigma$는 로지스틱 활성화를 의미한다. 이는 해당 그리드 셀 내에서 예측된 경계 상자를 중심으로 한다.

그림 4 앵커 박스가 있는 경계 상자의 위치 예측

Fig. 4 Location predictions of bounding boxes with anchor boxes

신뢰 점수는 식(1)에 의해 산출된 값과 같으며, 해당 경계 상자에 객체가 있을 확률이 얼마나 되는지에 대한 값이다⁽¹⁴⁾. Pr(object)는 해당 상자에 객체가 있는지에 대한 여부를 의미한다. 이러한 방법으로 경계 상자와 클래스를 추정할 때, 객체 검출을 신속하게 처리하도록 한다. 따라서, 본 논문에서 사용된 객체 검출 알고리즘은 객체의 종류와 위치를 동시에 검출이 가능하다.

(1)

$\begin{aligned} \text { confidence } &=\sigma\left(t_{0}\right) \\ &=\operatorname{Pr}(\text { Object }) * \text {IOU}^{truth} _{pred} \end{aligned}$

3. 화재 검출 모델 학습 및 실험 결과

3.2 화재 검출 모델의 학습

본 연구는 Windows 10, Visual Studio 2017, OpenCV 3.4.4, CUDA 10.0, cuDNN 7.4을 기반으로 YOLO네트워크를 구현하였다. 학습에 사용된 장비의 사양은 CPU는 GTX 1660이며, GPU는 i5-9400F 그리고 메모리 32GB로 이루어졌다. YOLO-v3 모델에서 GPU버전으로 학습을 수행하였으며 클래스의 종류는 화재 1개이므로 필터에 관한 식(2)에 의해서 18로 적용하였다.

(2)

$filters =(classes + 5)*3$

학습시간은 약 6시간이 소요되었다. YOLO 네트워크의 지향점은 뉴런의 가중치와 바이어스를 업데이트하는 것이며, 그 목적은 식에서 taining loss의 값을 최소화하는 것이다. 그림 5를 통해 학습이 진행됨에 따라 loss 값이 줄어듬을 확인할 수 있다. 학습에서의 배치의 크기는 64이며, 가중치를 갱신할 때의 갱신되는 비율을 조절하는 학습률(Learning rate)은 0.001, 누적된 기울기에 의해 현재의 기울기를 보정하는 가속도(Momentum)는 0.9, 과적합을 줄이기 위한 가중치 억제(decay)는 0.0005로 설정하여 연구하였다.

그림 5 학습 곡선

Fig. 5 Learning curve

3.3 실험 결과 및 평가

학습한 데이터를 기반으로 화재 이미지와 화재가 아닌 이미지로 화재 검출의 성능을 평가하였다. 표 2는 실제 화재와 예측한 화재와의 관계를 혼동행렬(Confusion matrix)로 나타낸 것이다. 화재 이미지에서 화재를 검출 시에는 True Positive(TP), 화재 이미지에서 화재를 검출하지 못한 경우는 False Negative(FN), 화재가 아닌 이미지에서 화재 검출 시에는 False Positive(FP) 그리고 화재가 아닌 이미지에서 화재를 검출하지 않을 경우는 True Negative(TN)이다.

혼동행렬을 기준으로 화재와 화재가 아닌 이미지에 대하여 올바르게 예측한 경우를 각각 구한 뒤 식(3)~(5)를 기준으로 정확도(Accuracy), 정밀도(Precision) 그리고 검출률(Recall)의 공식을 이용하여 평가하였다.

(3)

$Accuracy =\dfrac{TP + TN}{TP+TN+FP+FN}$

(4)

$Precision =\dfrac{TP}{TP +FP}$

(5)

$Recall =\dfrac{TP}{TP+FN}$

정밀도는 화재라고 예측한 값 중 올바르게 예측한 경우를 말한다. 정밀도와 검출률은 일종의 trade-off 관계로, 정밀도 값이 높으면 검출률 값이 낮아진다. 화재가 발생한 이미지 400장과 화재가 아닌 이미지 400장으로 검증을 진행한 결과로는 정확도는 0.997, 정밀도는 0.995 그리고 검출률은 1을 보이면서 우수한 성능을 보인다. 정밀도와 검출률은 상호보완적으로 사용할 수 있으며, 두 지표가 모두 높을수록 좋은 모델이다.

그림 6 화재 검출 이미지

Fig. 6 Fire detection results

표 2 화재 감지의 검출 결과

Table 2 Confusion matrix of the flame detection

	Actual Class
Predicted Class		Flame	Non-flame
	Flame	400 (True Positive)	2 (False Positive)
	Non-flame	0 (False Negative)	398 (True Negative)

표 3 화재 검출에 대한 성능 평가 결과

Table 3 Performance evaluation for flame detection

iteration	Accuracy	Precision	Recall
10,000	0.997	0.995	1

그림 6은 검출된 화재 이미지를 나타내고 있다. 6-(a)는 화재가 발생한 이미지에서 화재를 검출한 이미지이다. 6-(b)는 화재가 아닌 이미지에서 오검출이 발생한 이미지이다. 객체가 불꽃과 유사한 색채인 경우, 화재로 감지하여 오검출이 발생하였다.

4. 결 론

기존의 딥러닝 기반의 화재 감지 시스템은 이미지에 대해 화재의 존재 여부만 감지할 수 있는 한계점이 있었다. 본 논문에서는 이러한 단점을 개선하기 위해 화재 발생 여부와 위치 검출이 가능한 화재 감지 시스템을 제안하였다. 비교적 간단한 처리 과정으로 검출 속도가 빠른 YOLO-v3 네트워크 모델을 적용하여 수집된 데이터를 통해 학습을 진행하였다. 학습된 네트워크를 토대로 테스트 셋을 실험해 본 결과, 10,000번의 학습에 대해 정확도는 0.997, 정밀도는 0.995 그리고 검출률은 1이라는 신뢰할 만한 결과값을 얻을 수 있었다. 이를 통해 학습된 신경망은 화재를 검출하는 면에서 뛰어난 효과를 나타낼 수 있었다.

화재가 발생하지 않은 이미지에 대해서 화재가 발생한 것으로 분류가 되어 잘못 검출된 경우가 있었다. 이는 연구에서 학습 및 테스트에 적용된 데이터들이 모두 8개의 한정된 장소에서 촬영된 영상이라는 한계점이 있었다. 본 연구에서 사용된 객체 검출 알고리즘은 이미지에 대하여 객체를 검출할 때, 화염 이미지의 검출에 중점을 두어 화염과 유사한 색상이나 모양을 가진 객체를 화염으로 착각하여 발생하는 오검출에 대해 고려되지 않았다. 추후 연구에서는 화염과 유사한 객체에 대한 오검출을 줄이기 위해 전체 이미지에서 화재 영역이라 의심되는 영역을 따로 추출한 다음, 화재와 비화재 이미지 분류에 중점을 두어 화재와 유사한 객체에 대한 오검출을 줄일 것이다.

다음으로 본 연구에서는 화염만을 화재로 구분한다. 하지만 화재는 연소 물질에 따라 연기가 먼저 발생하는 경우가 있다. 이러한 상황에서도 화재를 조기에 감지하기 위해 연기의 이미지를 추가 학습시켜 여러 조건에서도 화재를 감지할 수 있도록 진행할 예정이다. 따라서 연기의 데이터를 추가적으로 획득하여 데이터베이스를 구축하고 화재 감지 시스템을 확장할 예정이다.