이재희
(Jae-Hee Lee)
*iD
박시형
(Si-Hyung Park)
**iD
김지섭
(Ji-Sub Kim)
***iD
서창진
(Chang-Jin Seo)
†iD
-
(Dept. of Electrical and Electronic Engineering, DongSeoul University, South Korea.)
-
(Dept. of Computer Engineering, Chungang University, South Korea.)
-
(Dept. of Metaverse, Soongsil University, South Korea.)
Copyright © The Korean Institute of Electrical Engineers
Key Words
Coral Dual Edge TPU, YOLOv8n, EfficientDet-Lite0, LPRNet
1. 서 론
최근 인공지능 기술의 발전은 엣지 컴퓨팅(Edge Computing) 환경에서도 실시간 인공지능 서비스를 가능하게 하고 있다[1]. 특히 차량번호판 인식 시스템은 도심 주차 관리, 교통 단속, 범죄 수사 등 다양한 분야에서 활용되고 있으며, 이를 실시간으로 처리하기 위한 온
디바이스 AI(On-Device AI)의 중요성이 대두되고 있다[2]. Raspberry Pi 5와 같은 소형 엣지 디바이스는 저전력·저비용 환경에서 유용하나, 복잡한 딥러닝 연산을 처리하기엔 성능에 한계가 있다.
이에 따라 AI 가속기(Accelerator)를 통해 이러한 한계를 극복하고자 하는 시도가 활발히 이루어지고 있다. 본 연구는 Raspberry Pi
5 기반의 엣지 환경에서 AI 가속기들(Coral USB Single TPU, Coral M.2 Dual Edge TPU)을 적용하여 YOLOv8n,
EfficientDet-Lite0과 같은 객체 검출모델과 LPRNet 문자인식 모델의 성능을 비교 분석하고, 실시간 추론에 적합한 최적의 시스템 구성을
도출하여 엣지 AI를 이용한 실시간으로 동작하는 휴대용 차량번호 인식기를 최초로 개발하고자 한다.
2. 차량번호판 검출을 위한 모델
본 연구에서는 캡처한 이미지에서 차량번호판을 검출하기 위해 엣지 컴퓨팅 환경에 적합한 기존의 객체 검출 모델YOLOv8n, EfficientDet-Lite0의
성능을 비교 평가하였다.
2.1 YOLOv8n 모델
YOLO(You Only Look Once)는 실시간 객체 탐지를 위해 널리 사용되는 딥러닝 기반 모델로, YOLOv8은 최신 버전으로서 Anchor-Free
방식과 C2f 구조를 도입하여 정확도와 추론 속도를 동시에 향상시켰다[3]. 특히 YOLOv8n은 경량화된 버전으로 엣지 디바이스에서의 적용 가능성이 높다. YOLOv8의 구조는 다음 세 부분으로 구성된다. Backbone
(CSP 구조 기반)은 입력 이미지를 처리하여 특성(feature)을 추출하고 경량 구조 채택(C2f, ELAN)한다. Neck (FPN+PAN 비슷한
경량 구조)는 다양한 해상도에서 특성을 병합하는 역할을 한다. Head는 객체의 위치(Bounding Box)와 클래스(Class)를 예측하는데 Anchor-free
방식 적용하였다. 그림 1은 YOLOv8n 모델의 구조 블록도이다.
그림 1. YOLOv8n모델의 블록도
Fig. 1. Structural block diagram of the YOLOv8n model
2.2 EfficientDet-Lite0 모델
EfficientDet-Lite0은 Google에서 개발한 EfficientDet 계열의 경량화 모델로, BiFPN(Bidirectional Feature
Pyramid Network) 구조와 Compound Scaling 전략을 통해 연산 효율성과 정확도를 동시에 확보하였다[4]. 모델 크기가 약 5.6MB로 작아 온디바이스 환경에 매우 적합한 모델이다[2]. EfficientDet-Lite0는 Backbone, BiFPN, Head의 3개의 부분으로 구성되어 있다. Backbone에서는 이미지 특징
추출, Mobile-friendly 버전의 EfficientNet BiFPN에서는 다양한 크기의 피처맵을 병합 (멀티스케일 정보 활용), 가중치 기반
feature fusion으로 연산량을 줄이면서 성능 유지를 수행하고 Box/Class Prediction Head에서는 물체의 위치(bounding
box)와 클래스(class label)를 예측 기능을 수행한다. 그림2는 EfficientDet-Lite0 모델의 구조 블록도이다.
그림 2. EfficientDet-Lite0 모델의 구조 블록도
Fig. 2. Structural block diagram EfficientDet-Lite0 model
3. 차량번호판 문자인식을 위한 모델
3.1 LPRNet 모델
LPRNet (License Plate Recognition Network)은 러시아의 SIA 그룹이 2018년에 발표한 모델로, End-to-End
방식으로 번호판 이미지를 바로 문자열(번호판 텍스트)로 예측하는 경량 딥러닝 모델이다[5]. 차량번호판의 문자열을 인식하기 위한 End-to-End 방식의 경량 합성곱 신경망(CNN) 기반 모델로, 복잡한 전처리 없이 전체 번호판 이미지를
입력받아 문자열을 직접 추출할 수 있다. LPRNet 모델은 OCR(Optical Character Recognition) 방식보다 추론 속도가 빠르고
구현이 간편하여 실시간 응용에 적합한 모델이다[5]. 그림 3은 LPRNet 모델의 구조 블록도이다.
그림 3. LPRNet 모델의 구조 블록도
Fig. 3. Structural block diagram of LPRNet model
4. 한국형 자동차 번호판 데이터 기반의 모델 전이학습
본 연구에서는 한국형 자동차 번호판 데이터를 기반으로 각 모델의 파인튜닝(Fine Tuning)을 수행하기 위해 과학기술정보통신부의 재원으로 한국지능정보사회진흥원의
지원을 받아 구축된 "자동차 차종/연식/번호판 인식용 영상 데이터"를 활용하였다. 약 11만 개의 데이터 중 사용할 수 없는 파일을 데이터 전처리
과정을 통해 제거하여 학습에 사용할 5만 6천 개의 데이터 세트를 만들었다. 총번호판 이미지 데이터는 56,666장이고, 훈련용 데이터로 39,666장,
검증데이터로 11,333장, 테스트 데이터로 5,667장을 사용하였다. 그림 4와 5는 차량번호판 검출모델(YOLOv8n, EfficientDet-Lite0)을 전이학습을 수행한 결과이고 그림 6은 문자인식 모델 (LPRNet)을 전이학습을 수행한 결과이다.
그림 4. 차량번호판 검출모델(YOLOv8n) 전이학습 수행결과
Fig. 4. Results of transfer learning of vehicle license plate detection model (YOLOv8n)
그림 5. 차량번호판 검출모델(EfficientDet-Lite0) 전이학습 수행결과
Fig. 5. Results of transfer learning of vehicle license plate detection model (EfficientDet-Lite0)
그림 6. 문자인식 모델 (LPRNet)을 전이학습을 수행한 결과
Fig. 6. Results of transfer learning on the character recognition model (LPRNet)
5. 모델 최적화 및 형식 변환
본 연구에서는 전이학습을 수행하여 얻은 각 모델을 8-bit 정수 양자화를 통해 TensorFlow Lite 형식으로 변환하여, 엣지 환경에서 연산
효율성을 높였다. 양자화 기술은 모델 신경망 가중치와 활성화 함수 출력을 더 작은 비트 크기로 압축하는 기술이다. 리소스가 제한된 환경에서도 사용할
수 있도록 하게 한다. 빠른 모델 실행 속도가 필요한 시스템, 특히 실시간 추론을 필요로 하는 경우에 이상적이다. 8bit 정수로 양자화를 수행하고
모델 파일 형식을 Pytorch(.pt)에서 TPU에서 수행할 수 있는 파일 형식은 TensorFlow Lite(.tflite)로 변환하였다. 그림 7은 양자화 과정과 모델 파일 형식 변환 과정의 블록도이다.
그림 7. 모델의 양자화 및 모델 형식 변환 블록도
Fig. 7. Model quantization and model format conversion block diagram
6. 실험 및 성능평가
6.1 실험 환경 구축
6.1.1 엣지 AI를 이용한 휴대용 차량번호 인식기 하드웨어와 소프트웨어 규격, 엣지 AI를 이용한 휴대용 차량번호 인식기 하드웨어와 소프트웨어
규격은 표 1과 같다.
표 1. 엣지 AI를 이용한 휴대용 차량번호 인식기 하드웨어와 소프트웨어 사양
Table 1. Hardware and software specifications for portable license plate recognition
using edge AI
|
구분
|
항목
|
사양
|
|
Raspberry Pi 5
|
H/W
|
CPU
|
Broadcom BCM2712
|
|
RAM
|
8GB LPDDR4X-4267
|
|
S/W
|
OS: Debian12(BookWorm)
Python: 3.9.12, 3.11.2
opencvpython: 4.10.0.84
torch: 2.0.1
torchvision: 0.15.2
|
|
Google Coral USB Single TPU
|
Performance
|
4 TOPS
(Coral Single TPU)
|
|
S/W
|
Python: 3.9.12
edge-tpu-silva: 1.0.4
|
|
power worker consumption
|
2W
|
|
Google Coral M.2 Dual Edge TPU
|
Performance
|
8 TOPS
(Coral dual TPU)
|
|
S/W
|
Python: 3.9.12
edge-tpu-silva: 1.0.4
|
|
power consumption
|
4W
|
|
Camera Module 3
|
S/W
|
libcamera: 0.4.0
rpicam-apps: 1.6.0
|
|
Touch Display
|
Size
|
7 inch
|
|
Power Supply
|
Battery
|
USB PD (5V/2.4A)
|
|
PD Trigger
|
5V 5A mode
|
6.2 차량번호판 검출 성능측정 방식 및 실험 결과치 분석
본 연구의 실험에서 사용한 차량번호판 검출 성능 평가 방식에 대한 설명은 표2와 같다.
표 2. 차량번호판 검출 성능평가 방식
Table 2. Vehicle license plate detection performance evaluation method
|
구분
|
내용
|
|
mAP@50-95
|
추론 성능을 평가하는 측정치로 100장의 테스트 이미지를 이용하여 mAP@50-95 측정
|
|
Video Avg FPS
|
처리 속도를 평가하는 측정치로 90초 길이의 테스트 영상을 10회 실행하여 평균 FPS를 측정
|
|
Static Frame FPS
|
처리 속도를 평가하는 측정치로 100장의 테스트 이미지를 150 Frame Count 대상으로 추론을 수행하고, 평균 FPS를 계산
|
본 연구의 실험에서 YOLOv8n모델을 사용하여 AI 가속기별 차량번호판 검출 성능 실험 결과는 표 3과 같다.
표 3. 차량번호판 AI 하드웨어 구조별 검출 성능 실험 결과
Table 3. Vehicle license plate AI accelerator detection performance experiment results
|
하드웨어 구조
|
mAP (50-95)↑
|
Video Avg FPS ↑
|
Static Frame Avg FPS ↑
|
AI 가속기 사용 유무
|
TFLite
(Raspberry Pi5 CPU)
|
0.715
|
13.29
|
6.64
|
미사용
|
TFLite
(Raspberry Pi5+ Coral USB Single TPU)
|
0.715
|
27.6
|
14.44
|
사용
|
TFLite
(Raspberry Pi5+ Dual Coral M.2 Dual Edge TPU)
|
0.736
|
54.3
|
30.33
|
사용
|
표 3의 mAP(50-95)지표는 인공지능 모델의 객체탐지(Object Detection)성능을 측정한 지표 이고 Video Avg FPS는 AI모델의
동영상의 처리속도를 나나내는 지표, Static Frame Avg FPS는 한 장 한 장 독립된 이미지들을 정리할 때의 평균속도 이다. 각 하드웨어
사양에 따라 YOLOv8n모델을 이용한 차량번호판 검출 성능 실험 결과를 분석해 보면 Raspberry Pi5 자체 CPU, USB Single TPU,
Dual Edge TPU 순서로 성능이 우수함을 알 수 있다[6-
7].
6.3 차량번호판 검출모델별 성능 실험 결과
차량번호판 검출모델 YOLOv8n과 EfficientDet-Lite0 모델 간의 성능을 비교한 실험 결과는 표4와 같다. 모델의 크기는 EfficientDet-Lite0 가 크지만, 성능은 YOLOv8n에 비해 우수함을 알 수 있다.
표 4는 각 차량번호판 검출모델별 성능 실험 결과이다. 모델별 차량번호판을 검출한 실험 결과는 그림 8과 같다.
6.4 차량번호 인식 성능 측정 방식 및 실험 결과 분석
본 연구의 실험에서 사용한 차량번호 인식 성능평가 방식에 대한 설명은 표4, 표5, 그림8과 같다. 표 4를 보면 Raspberry Pi5 CPU 하드웨어 사양에서 차량 번호판 객체 검출 성능비교에서 YOLOv8n모델에 비해 EfficientDet-Lite0모델이
mAP@50-95 측정치가 0.161만큼 우수함을 알 수 있다.
표 4. 차량번호판 검출모델별 성능 실험 결과
Table 4. Performance test results by vehicle license plate detection model
|
모델
|
크기
|
측정 방식
|
|
mAP@50-95
|
|
YOLOv8n
|
3.4 Mbyte
|
0.715
|
|
EfficientDet-Lite0
|
5.6 Mbyte
|
0.876
|
그림 8. 차량번호판을 검출모델별 실험 결과
Fig. 8. Vehicle license plate detection model-specific experimental results
표 5는 차량번호판의 번호 및 문자를 인식성능을 측정하는 츶정지표에 대한 설명과 측정방식에 대한 설명이다.
표 5. 차량번호 인식 성능 측정 지표 설명 및 실험
Table 5. Performance Metrics and Experiments for License Plate Recognition
|
구분
|
내용
|
CER
(Character Error Rate)
|
텍스트의 문자(Character) 단위로 틀린 비율을 계산하는 지표
|
|
5,667장의 테스트 이미지를 이용하여 LPRNet의 CER 측정
|
EMA
(Exact Match Accuracy)
|
전체 문장이나 답변이 정답과 글자 하나 틀리지 않고 100% 똑같은지를 보는 지표
|
|
5,667장의 테스트 이미지를 이용하여 LPRNet의 Exact Match Accuracy 측정
|
6.5 차량번호 인식모델별 실험 결과
차량번호 인식모델인 LPRNet 모델을 Tensorflow 형식의 .pb 확장자 모델과 양자화를 수행하여 Tensorflow Lite 형식의 .tflite
확장자 모델 간의 크기와 성능평가를 수행한 결과를 보면 .pb 형식에서 .tflite으로 변환시 크기는 1/10 줄었지만 성능의 감소가 거의 미미한
정도이다. 그러므로 모델의 형식을 .pb에서 .tflite 형식으로 변환하여 AI 가속기를 사용하여 차량번호 인식 기능의 실시간을 구현하는 데 중점을
두었다[8]. 차량번호판을 검출한 실험 결과는 그림 9와 같다. 본 연구에서 차량번호 인식모델 LPRNet을 이용한 차량번호 인식 실험 결과는 그림 9와 같다.
그림 9. LPRNet을 이용한 차량번호 인식 실험 결과
Fig. 9. Vehicle number recognition experiment results
본 연구의 실험에서 차량번호판의 번호 및 문자 인식 모델로 선택한 EfficientDet-Lite0모델의 Tensorflow형식(.pb)과 TPU에서
동작하는 Tensorflow Lite(.tflite)형식별 인식 성능과 모델의 크기를 비교한 결과는 표 6과 같다.
표 6. 차량번호 인식 성능의 모델형식별 실험 결과
Table 6. Vehicle number recognition performance test results
|
구분
|
형식
|
크기
|
성능평가 방식
|
|
CER↓
|
EMA↑
|
|
인식 모델
|
Tensorflow(.pb)
|
10.2 Mbyte
|
0.0024
|
0.9834
|
|
Tensorflow Lite(.tflite)
|
1 Mbyte
|
0.0029
|
0.9811
|
표 6의 결과를 보면 (.pb)형식이 (.tflite)형식에 비해 CER, EMA 츶겅값에서 미세 우수하지만 TPU에서 동작시키기 위해서는 (.tflite)
형식변환이 필수적이다.
6.6 엣지 AI를 이용한 휴대용 실시간 처리 차량번호 인식기 구현
본 연구에서 엣지 AI를 이용한 휴대용 차량번호 인식기를 차량번호판 검출 부분은 Efficient_Lite0을 전이학습을 수행한 모델을 사용하고 인식
부분은 LPRNet을 전이학습한 모델을 사용하여 구현하였다. 전이학습을 수행한 모델들은 휴대용 차량번호 인식기의 실시간성을 구현하기 위해 .tflite형식을
변환하여 AI 가속기로 Coral M.2 Dual Edge TPU를 통해 실행하였다. 본 연구에서 제안한 엣지 AI를 이용한 휴대용 차량번호 인식기의
시스템 구성도는 그림 10이다.
제안한 방식의 전체 시스템 구성 및 동작 결과는 그림 11과 같다.
그림 10. 제안한 방식의 전체 시스템 구성도
Fig. 10. Overall system configuration of the proposed method
그림 11. 제안한 방식의 전체 시스템 구성 및 동작 결과
Fig. 11. Overall system configuration and operation results of the proposed method
7. 결 론
본 연구는 엣지 컴퓨팅 환경에서 실시간으로 차량번호판을 인식할 수 있는 휴대용 인식 시스템을 구현하는 것을 목표로 하였다. 이를 위해 메인보드로 Raspberry
Pi 5를 사용하고, AI 가속기로는 Coral USB Single TPU 및 M.2 Dual Edge TPU를 비교 평가하였다. 차량번호판 검출에는
EfficientDet-Lite0이, 문자인식에는 LPRNet이 각각 선택되었으며, 모델 경량화 및 성능 향상을 위해 전이학습(transfer learning)과
8-bit 정수 양자화(quantization)를 적용하였다. 실험 결과, 차량번호판 검출에서 EfficientDet-Lite0은 YOLOv8n보다
우수한 정확도(mAP@50-95 : 0.876)를 기록하였으며, Coral Dual TPU를 사용한 경우 실시간 처리 속도(FPS)도 큰 폭으로 향상되었다.
문자인식 모델 LPRNet 역시 .tflite 형식으로 경량화한 후에도 높은 인식 정확도(CER: 0.0029, EMA: 0.9811)를 유지하여
실시간 인식 시스템에 적합함을 확인하였다. 제안된 시스템이 실제 교통 환경에서의 번호판 인식에 적용할 수 있는 저전력·저비용의 실시간 ALPR (Automatic
License Plate Recognition) 솔루션으로서 충분한 가능성을 지니고 있음을 보여준다. 특히, 본 연구는 온디바이스 AI(On-Device
AI) 기반의 경량 딥러닝 모델을 활용하여 엣지 환경에서의 AI 실용화 가능성을 입증하였다는 점에서 학문적, 산업적 의의가 있다. 향후 연구에서는
야간, 악천후, 고속 이동 차량 등 다양한 환경 변화에 대한 견고성 평가가 필요하다. 또한, 다양한 국가의 번호판 양식을 인식할 수 있도록 멀티 포맷
학습 데이터와 다국어 OCR 기능 통합 연구가 병행되어야 할 것이다.
Acknowledgements
본 연구는 2025년도 동서울대학교 연구지원센터의 지원에 의하여 이루어진 연구입니다.
References
Electronics and Telecommunications Research Institute (ETRI), ETRI Technical Report,
TP-2021-103, 2021., "Deep Learning-Based Image Recognition Technology and Edge AI
Application Research," 2021.
Hyunseok Song, Kyungho Park, "A Study on Smart Traffic Management System Using Edge
Computing," vol. 19, no. 1, pp. 67-79, 2023.
X. Wang, "A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1
to YOLOv8 and YOLO-NAS," arXiv preprint arXiv:2304.00501, 2023.
M. Tan, R. Pang, Q. V. Le, "EfficientDet: Scalable and efficient object detection,"
arXiv preprint arXiv:1911.09070, 2020.
Sergey Zherzdev, Alexey Gruzdev, "LPRNet: License Plate Recognition via Deep Neural
Networks," arXiv preprint arXiv:1806.10447, 2018.
R. Goyal, P. Patel, "Edge AI for Smart Transportation Systems: Real-time ALPR Implementation
using Jetson Nano and Google Coral TPU," IEEE Transactions on Intelligent Transportation
Systems, vol. 23, no. 7, pp. 1128-1140, 2022.
H. Chen, Y. Wang, Z. Xu, "Deep Learning-based ALPR System for Smart Cities Challenges
and Solutions," IEEE Access, vol. 9, pp. 14455-14468, 2021.
Google AI Research, Google Cloud Technical Report. 2023., "Edge TPU: Accelerating
TensorFlow Models on Edge Devices," 2023.
저자소개
Ph.D. in Electronic Communication, Kwangwoon University. Researcher, Agency for Defense
Development (1987–1993). Professor, Department of Information and Communication, Dong
Seoul University (1999–present). Research Interests: Embedded Systems, Electric Vehicles,
Mobile IPTV, Ubiquitous Networks.
Email: ljh7314@du.ac.kr
B.S. in Computer Software, Dong Seoul University (February 2026). M.S. Candidate in
Computer Engineering, Chungang University (March 2026–present)
B.S. in Computer Software, Dong Seoul University (February 2026). M.S. Candidate in
Metaverse Studies, Soongsil University (March 2026–present)
Ph.D. in Multimedia Engineering, Pusan National University. Professor, Department
of Information Security Engineering, Sangmyung University (2013–present). Research
Interests: Deep Learning, Artificial Intelligence, Security, Malware Analysis.
Email: cjseo@smu.ac.kr