• ๋Œ€ํ•œ์ „๊ธฐํ•™ํšŒ
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • ํ•œ๊ตญ๊ณผํ•™๊ธฐ์ˆ ๋‹จ์ฒด์ด์—ฐํ•ฉํšŒ
  • ํ•œ๊ตญํ•™์ˆ ์ง€์ธ์šฉ์ƒ‰์ธ
  • Scopus
  • crossref
  • orcid

  1. (Smart Electrical & Signaling Division, Korea)
  2. (Railroad Research Institute, Korea)



Urban railway station, Load pattern, Deep learning, Recursive neural networks, Gated recurrent unit

1. ์„œ๋ก 

ํšจ์œจ์ ์ธ ์—๋„ˆ์ง€ ์†Œ๋น„์˜ ํ•„์š”์„ฑ์ด ๋†’์•„์ง€๋ฉด์„œ, ์šฉ๋Ÿ‰์ด ํฐ ๋ถ€ํ•˜ ์ค‘์˜ ํ•˜๋‚˜์ธ ๋„์‹œ์ฒ ๋„์˜ ์ „๋ ฅ๋ถ€ํ•˜์— ๋Œ€ํ•œ ๊ด€์‹ฌ ์—ญ์‹œ ๋†’์•„์ง€๊ณ  ์žˆ๋‹ค. ๋„์‹œ์ฒ ๋„ ์ „๋ ฅ๋ถ€ํ•˜๋Š” ํฌ๊ฒŒ ์ฐจ๋Ÿ‰๋ถ€ํ•˜์™€ ์—ญ์‚ฌ๋ถ€ํ•˜(๊ณ ๋ฐฐ์šฉ ๋ถ€ํ•˜)๋กœ ๋‚˜๋ˆŒ ์ˆ˜ ์žˆ๋‹ค(1). ์ด ์ค‘ ์ฐจ๋Ÿ‰๋ถ€ํ•˜๋Š” ์ฐจ๋Ÿ‰์˜ ์šดํ–‰์ผ์ •์— ๋”ฐ๋ผ ๊ฒฐ์ •๋˜๊ธฐ ๋•Œ๋ฌธ์— ์กฐ์ •ํ•˜๋Š” ๊ฒƒ์ด ์–ด๋ ค์šฐ๋ฉฐ, ์—ญ์‚ฌ๋ถ€ํ•˜์— ๋Œ€ํ•˜์—ฌ ๋ถ€ํ•˜ ๊ด€๋ฆฌ ๊ธฐ์ˆ ์ด ์—ฐ๊ตฌ๋˜๊ณ  ์žˆ๋‹ค.

์—๋„ˆ์ง€์ €์žฅ์žฅ์น˜๋ฅผ ํ†ตํ•˜์—ฌ ์ฒจ๋‘๋ถ€ํ•˜๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” ๊ธฐ์ˆ ์ด ์—ฐ๊ตฌ๋˜๊ณ  ์žˆ๋Š”๋ฐ, ๋„์‹œ์ฒ ๋„ ์ „๋ ฅ๋ถ€ํ•˜์˜ ์ฒจ๋‘ ๋ฐœ์ƒ ์‹œ๊ฐ„๋Œ€๊ฐ€ ์ „๋ ฅ๊ฐ€๊ฒฉ์˜ ์ฒจ๋‘ ์‹œ๊ฐ„๋Œ€์™€ ๋‹ค๋ฅธ ํŠน์„ฑ์„ ํ™œ์šฉํ•˜์—ฌ ์ „๊ธฐ์š”๊ธˆ์„ ์ ˆ๊ฐํ•˜๋Š” ๋ฐฉ๋ฒ•์ด ์ œ์•ˆ๋˜์—ˆ๋‹ค(2). ๊ทธ๋ฆฌ๊ณ  ์—๋„ˆ์ง€์ €์žฅ์žฅ์น˜๋ฅผ ์ฒจ๋‘๋ถ€ํ•˜ ๊ด€๋ฆฌ ๋ฐ ์ „๋ ฅ์‚ฌ์šฉ๋Ÿ‰ ๊ฐ์†Œ์— ํ™œ์šฉํ•  ๋•Œ ํ˜„์žฌ๊ฐ€์น˜๋ฒ•(net present value, NPV)์„ ์ ์šฉํ•˜์—ฌ ๊ฒฝ์ œ์„ฑ์„ ๋ถ„์„ํ•˜์˜€์œผ๋ฉฐ(3), ์ด๋ ‡๊ฒŒ ํ™•๋ณดํ•œ ์ „๋ ฅ์ˆ˜์š”์ž์›์œผ๋กœ ์ˆ˜์š”์ž์›์‹œ์žฅ์— ์ฐธ์—ฌํ•˜์˜€์„ ๋•Œ ๊ฒฝ์ œ์„ฑ์„ ๋ถ„์„ํ•˜์˜€๋‹ค(4). ์ด์ฒ˜๋Ÿผ ์‹ ์žฌ์ƒ์—๋„ˆ์ง€์›, ์—๋„ˆ์ง€์ €์žฅ์žฅ์น˜๋‚˜ ์Šค๋งˆํŠธ๊ทธ๋ฆฌ๋“œ ๊ธฐ์ˆ  ๋ฐ ์—๋„ˆ์ง€๊ด€๋ฆฌ์‹œ์Šคํ…œ์˜ ์ ์šฉ์— ๋Œ€ํ•œ ์—ฐ๊ตฌ ๋ฐ ์‹ค์ฆ์ด ์ด๋ฃจ์–ด์ง€๊ณ  ์žˆ๋‹ค(5,6).

์ด๋Ÿฌํ•œ ์—ฐ๊ตฌ๋“ค์„ ์‚ดํŽด๋ณด๋ฉด ์—ญ์‚ฌ๋ถ€ํ•˜ ์ค‘ ๊ทธ ์‚ฌ์šฉ๋Ÿ‰์„ ์กฐ์ •ํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€ํ•˜์˜ ๋น„์œจ์„ ํŒŒ์•…ํ•˜๋Š” ๊ฒƒ์ด ํ•„์š”ํ•˜๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ์ „๋ ฅ์ˆ˜์š”์ž์› ๊ด€๋ฆฌ๋ฅผ ์œ„ํ•ด์„œ๋Š” ํ•„์š”์‹œ ์ฐจ๋‹จ์ด ๊ฐ€๋Šฅํ•œ ๋ถ€ํ•˜๋Ÿ‰๊ณผ ๋ถˆ๊ฐ€๋Šฅํ•œ ๋ถ€ํ•˜๋Ÿ‰์„ ํŒŒ์•…ํ•˜๋Š” ๊ฒƒ์ด ํ•„์š”ํ•˜๋‹ค. ์ด๋ฅผ ์œ„ํ•˜์—ฌ ๊ณ„์ธก ์„ค๋น„๋ฅผ ์„ค์น˜ํ•˜์—ฌ ๊ฐ ์šฉ๋„๋ณ„ ์†Œ๋น„์ „๋ ฅ์„ ์ง์ ‘ ์ธก์ •ํ•  ์ˆ˜๋„ ์žˆ์ง€๋งŒ, ์„ค์น˜ ๋น„์šฉ์ด๋‚˜ ์œ ์ง€ ๋น„์šฉ์ด ๋ฐœ์ƒํ•˜๊ฒŒ ๋œ๋‹ค. ๋”ฐ๋ผ์„œ ์ถ”๊ฐ€์ ์ธ ๊ณ„์ธก ์„ค๋น„๋ฅผ ์„ค์น˜ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ๋Š” ๋ฐฉ๋ฒ•์ด ๋ฐ”๋žŒ์งํ•˜๋‹ค.

์ตœ๊ทผ ๋“ค์–ด ๋”ฅ๋Ÿฌ๋‹(deep learning)๊ณผ ๊ฐ™์€ ์ธ๊ณต์ง€๋Šฅ(artificial intelligence, AI) ๊ธฐ์ˆ ์ด ๋ฐœ์ „ํ•˜๋ฉด์„œ ์ „๋ ฅ๊ณ„ํ†ต ๋ถ„์•ผ์—์„œ๋„ ์ˆ˜์š” ์˜ˆ์ธก ๋“ฑ ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ์ ์šฉ์„ ์‹œ๋„ํ•˜๊ณ  ์žˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹ ์ค‘ RNN (recursive neural network, ์ˆœํ™˜์‹ ๊ฒฝ๋ง)์„ ์ ์šฉํ•˜์—ฌ ํ’๋ ฅ๋ฐœ์ „๋Ÿ‰์„ ์žฅ๊ธฐ ์˜ˆ์ธกํ•˜๊ฑฐ๋‚˜(7,8), RNN ์ค‘ LSTM(long short-term memory, ์žฅ๋‹จ๊ธฐ ๊ธฐ์–ต ๋„คํŠธ์›Œํฌ) ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์—ฌ ๊ฐ€์ •์šฉ ์ „๋ ฅ ๋ถ€ํ•˜๋ฅผ ์˜ˆ์ธกํ•œ ์—ฐ๊ตฌ๊ฐ€ ์ˆ˜ํ–‰๋˜์—ˆ๋‹ค(9). ์ „๋ ฅ์ˆ˜์š”๋Ÿ‰ ์˜ˆ์ธก์— ์žˆ์–ด์„œ๋„ ๋”ฅ๋Ÿฌ๋‹์˜ ์ž…๋ ฅ ํŒจํ„ด์— ๋”ฐ๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ๋ถ„์„ํ•˜๊ฑฐ๋‚˜(10), LSTM์„ ์ ์šฉํ•˜์—ฌ ์ „๋ ฅ๋ถ€ํ•˜๋ฅผ ์˜ˆ์ธกํ•˜์˜€๋‹ค(11).

ํ˜„์žฌ ๊ธฐ๋ณธ์ ์œผ๋กœ ์ธก์ •๋˜๊ณ  ์žˆ๋Š” ๋ฐ์ดํ„ฐ์—๋Š” ๋„์‹œ์ฒ ๋„ ๋ณ€์ „์†Œ์˜ ์ „๋ ฅ์†Œ๋น„๋Ÿ‰์ด ์žˆ์œผ๋ฉฐ, ๊ทธ๋ฐ–์— ๊ธฐ์˜จ, ๊ฐ•์ˆ˜๋Ÿ‰, ๋ฏธ์„ธ๋จผ์ง€ ๋“ฑ ๊ธฐํ›„ ๋ฐ์ดํ„ฐ ๋“ฑ์ด ๊ณต๊ณต๋ฐ์ดํ„ฐ๋กœ์„œ ๊ณต๊ฐœ๋˜๊ณ  ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ๋“ค์— ๋Œ€ํ•ด ๋น…๋ฐ์ดํ„ฐ ๊ธฐ๋ฒ•์œผ๋กœ ๋ถ€ํ•˜๋ฅผ ๋ถ„์„ํ•˜๊ณ  ๋‹คํ•ญํšŒ๊ท€๋ฒ•์„ ์ ์šฉํ•˜์—ฌ ์šฉ๋„๋ณ„ ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•˜์˜€๋‹ค(12). ๋ถ„์„ ๊ฒฐ๊ณผ ์—ญ์‚ฌ๋ถ€ํ•˜ ์ค‘์—์„œ ๊ฐ€์žฅ ํฐ ๋น„์ค‘์„ ์ฐจ์ง€ํ•˜๋Š” ๋ถ€ํ•˜๋Š” ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€(ๅ•†่ก—)๋ถ€ํ•˜์˜€๋‹ค. ์ด๋“ค ์šฉ๋„๋ณ„ ๋ถ€ํ•˜๋Ÿ‰์— ๋Œ€ํ•˜์—ฌ ๋‹คํ•ญํšŒ๊ท€ ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์—ฌ ์ง์ ‘ ๊ณ„์ธกํ•˜์ง€ ์•Š๊ณ  ์šฉ๋„๋ณ„ ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•˜์˜€๋‹ค.

๋ณธ ๋…ผ๋ฌธ์—์„œ๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์—ฌ ๋„์‹œ์ฒ ๋„ ์—ญ์‚ฌ๋ถ€ํ•˜์˜ ์šฉ๋„๋ณ„ ์‚ฌ์šฉ๋Ÿ‰์„ ์ถ”์ •ํ•˜์˜€๋‹ค. ๋„์‹œ์ฒ ๋„ ๋ณ€์ „์†Œ์—์„œ ์ธก์ •ํ•œ ์‹ค์ œ ๋ถ€ํ•˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต๋ฐ์ดํ„ฐ๋กœ ์‚ฌ์šฉํ•˜์˜€์œผ๋ฉฐ, ๊ทธ ์™ธ์— ๊ธฐ์˜จ, ๊ฐ•์ˆ˜๋Ÿ‰, ๋ฏธ์„ธ๋จผ์ง€ ๋“ฑ ๊ธฐํ›„ ๋ฐ์ดํ„ฐ์™€ ์š”์ผ, ํŠน์ˆ˜์ผ ์—ฌ๋ถ€ ๋“ฑ ๊ณต๊ณต ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต๋ฐ์ดํ„ฐ๋กœ ์‚ฌ์šฉํ•˜์˜€๋‹ค.

์ผ๋ฐ˜์ ์ธ ๋ถ€ํ•˜์˜ˆ์ธก์€ ํŠน์ • ์‹œ์ ์—์„œ ๊ณผ๊ฑฐ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชฉ์ ํ•˜๋Š” ๋ฐ์ดํ„ฐ์ธ ๋ถ€ํ•˜๋Ÿ‰์„ ์˜ˆ์ธกํ•˜๊ฒŒ ๋œ๋‹ค. ๋ณธ ์—ฐ๊ตฌ์—์„œ ์ถ”์ •ํ•˜๊ณ ์ž ํ•˜๋Š” ๋ฐ์ดํ„ฐ์ธ ์šฉ๋„๋ณ„ ๋ถ€ํ•˜ ์‚ฌ์šฉ๋Ÿ‰์€ ์ˆ˜์ง‘๋œ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ๋“ค์˜ ๊ณผ๊ฑฐ ๊ฐ’์„ ๊ฐ€์ง€๊ณ  ํŠน์ • ์‹œ์ ์—์„œ ๋ชฉ์  ๋ฐ์ดํ„ฐ์ธ ์šฉ๋„๋ณ„ ๋ถ€ํ•˜ ์‚ฌ์šฉ๋Ÿ‰์„ ์ถ”์ •ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๋”ฐ๋ผ์„œ ๋ถ€ํ•˜์˜ˆ์ธก๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์›ํ•˜๋Š” ๊ฐ’์„ ์ถ”์ •ํ•˜๋Š” ๋ฌธ์ œ์ด๋‹ค. ์ด์— ์ ํ•ฉํ•œ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ๋กœ์„œ ์‹œ๊ณ„์—ด ์˜ˆ์ธก ๋“ฑ์— ๋งŽ์ด ์“ฐ์ด๋Š” RNN ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•˜์˜€๋‹ค. ๊ตฌ์ฒด์ ์œผ๋กœ๋Š” RNN ๊ธฐ๋ฒ• ์ค‘ LSTM๊ณผ ๋น„์Šทํ•œ ์„ฑ์งˆ์„ ๊ฐ€์ง€์ง€๋งŒ ๋” ๊ฐ„๋‹จํ•œ ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” GRU gated recurrent unit) ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์˜€๋‹ค(13).

2. RNN๊ณผ LSTM, GRU ๋ชจ๋ธ

RNN(recurrent neural network, ์ˆœํ™˜์‹ ๊ฒฝ๋ง)์€ ์€๋‹‰๊ณ„์ธต์˜ ์ถœ๋ ฅ์„ ๋‹ค์‹œ ์ž…๋ ฅ์œผ๋กœ ์ˆœํ™˜์‹œ์ผœ ์ˆœ์ฐจ์ ์ธ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•˜์—ฌ ๋ถ„๋ฅ˜(classification)๋‚˜ ์˜ˆ์ธก์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๊ธฐ๋ฒ•์ด๋‹ค. RNN์€ ์Œ์„ฑ ์ธ์‹, ํ•„๊ธฐ์ฒด ์ธ์‹, ํ…์Šค์ฒ˜ ์ธ์‹์ด๋‚˜ ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ ์˜ˆ์ธก ๋“ฑ ์‹œ๊ณ„์—ด๋ถ„์„ ๊ด€๋ จ ๋ฌธ์ œ์— ํ™œ์šฉ๋˜๊ณ  ์žˆ๋‹ค.

๊ธฐ์กด์˜ DNN(deep neural network, ์‹ฌ์ธต์‹ ๊ฒฝ๋ง)์€ ๊ฐ ๊ณ„์ธต(layer)๋งˆ๋‹ค ํŒŒ๋ผ๋ฏธํ„ฐ๋“ค์ด ๋…๋ฆฝ์ ์ด๋‚˜, RNN์—์„œ๋Š” ์ด๋ฅผ ๊ณต์œ ํ•˜์—ฌ ๊ตฌ์„ฑํ•˜๊ฒŒ ๋œ๋‹ค. ์ด๋ ‡๊ฒŒ RNN์—์„œ๋Š” ๋ฃจํ”„(loop)๋ฅผ ํ†ตํ•˜์—ฌ ๊ณผ๊ฑฐ์˜ ๋ฐ์ดํ„ฐ๊ฐ€ ๋ฏธ๋ž˜์— ์˜ํ–ฅ์„ ์ค„ ์ˆ˜ ์žˆ๊ฒŒ ๋˜๋ฉฐ, ์€๋‹‰๊ณ„์ธต(hidden layer)์€ ์ผ์ข…์˜ ๋ฉ”๋ชจ๋ฆฌ ์—ญํ• ์„ ํ•˜๊ฒŒ ๋œ๋‹ค. ๊ทธ๋ฆผ. 1์€ RNN์˜ ๋„คํŠธ์›Œํฌ ๊ตฌ์กฐ์™€ ๋ฃจํ”„๋ฅผ ํ’€์–ด์„œ ํ‘œํ˜„ํ•œ ๊ทธ๋ฆผ์ด๋‹ค. ๋ฃจํ”„๋ฅผ ํ’€์–ด์„œ ๋‚˜ํƒ€๋‚ธ ์˜ค๋ฅธ์ชฝ ๋ถ€๋ถ„์„ ๋ณด๋ฉด ํ•˜๋‚˜์˜ ๋„คํŠธ์›Œํฌ๊ฐ€ ์—ฌ๋Ÿฌ ๊ฐœ ๋ณต์‚ฌ๋œ ํ˜•ํƒœ์ž„์„ ์•Œ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ฐ๊ฐ์˜ ๋„คํŠธ์›Œํฌ๋Š” ๋‹ค์Œ ๋‹จ๊ณ„๋กœ ์ •๋ณด๋ฅผ ๋„˜๊ฒจ์ฃผ๊ฒŒ ๋œ๋‹ค.

๊ทธ๋ฆผ. 1. RNN์˜ ๋„คํŠธ์›Œํฌ ๊ตฌ์กฐ(14)

Fig. 1. Recurrent Neural Networks

../../Resources/kiee/KIEE.2018.67.11.1536/fig1.png

RNN์€ ์ด๋ ‡๊ฒŒ ์ด์ „์˜ ์ •๋ณด๋ฅผ ํ˜„์žฌ์˜ ๋ฌธ์ œ ํ•ด๊ฒฐ์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค. ํ•˜์ง€๋งŒ ํ˜„์žฌ์˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š”๋ฐ ์ค‘์š”ํ•œ ์ •๋ณด๋ฅผ ๊ฐ€์ง„ ๋ฐ์ดํ„ฐ๊ฐ€ ์˜ค๋žœ ์‹œ๊ฐ„ ์ „์— ๋ฐœ์ƒํ•˜์˜€์„ ๋•Œ, ์ด๋ฅผ ๋ฐ˜์˜ํ•˜๊ธฐ ํž˜๋“  ๋ฌธ์ œ๊ฐ€ ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ์žฅ๊ธฐ ์˜์กด์„ฑ(long- term dependency) ๋ฌธ์ œ๋ผ๊ณ  ํ•œ๋‹ค.

์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด LSTM(long short term memory, ์žฅ๋‹จ๊ธฐ ๊ธฐ์–ต ๋„คํŠธ์›Œํฌ)๊ฐ€ ์ œ์•ˆ๋˜์—ˆ๋‹ค. ๊ทธ๋ฆผ. 2๋Š” ํ‘œ์ค€ RNN ๋ชจ๋“ˆ์˜ ํ•œ ์˜ˆ์™€ LSTM์˜ ๋ชจ๋“ˆ์„ ๊ทธ๋ฆผ์œผ๋กœ ๋‚˜ํƒ€๋‚ธ ๊ฒƒ์ด๋‹ค. LSTM๋„ ์ฒด์ธ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ์œผ๋‚˜ ๊ฐ ๋ชจ๋“ˆ์€ ๋‹ค๋ฅธ ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ตฌ์กฐ๋ฅผ ํ†ตํ•˜์—ฌ ๊ณผ๊ฑฐ์˜ ์ •๋ณด๊ฐ€ ํฌ๊ฒŒ ๋ณ€ํ•˜์ง€ ์•Š๊ณ  ๋‹ค์Œ ๋‹จ๊ณ„๋กœ ์ „๋‹ฌ๋  ์ˆ˜ ์žˆ๊ฒŒ ๋œ๋‹ค.

๊ทธ๋ฆผ. 2. LSTM์˜ ๋„คํŠธ์›Œํฌ ๊ตฌ์กฐ(14)

Fig. 2. Long Short Term Memory Networks

../../Resources/kiee/KIEE.2018.67.11.1536/fig2.png

GRU(gated recurrent unit)๋Š” LSTM์˜ ์žฅ์ ์„ ์œ ์ง€ํ•˜๋ฉด์„œ๋„ ๊ณ„์‚ฐ๋ณต์žก์„ฑ์„ ๋‚ฎ์ถ˜ ์…€ ๊ตฌ์กฐ์ด๋‹ค. ๊ทธ๋ฆผ. 3์€ GRU์˜ ๋„คํŠธ์›Œํฌ ๋ชจ๋ธ์„ ๋‚˜ํƒ€๋‚ด๊ณ  ์žˆ๋‹ค. ์ด๋Š” ๋ช‡ ๊ฐ€์ง€ ๊ฒŒ์ดํŠธ๋ฅผ ํ•ฉ์ณ์„œ ๋ณดํ†ต์˜ LSTM ๋ชจ๋ธ๋ณด๋‹ค ๋‹จ์ˆœํ•˜๊ฒŒ ๋งŒ๋“ค์–ด, LSTM๊ณผ ๋น„์Šทํ•œ ์„ฑ์งˆ์„ ๊ฐ€์ง€์ง€๋งŒ ๊ณ„์‚ฐ๋Ÿ‰์„ ๊ฐ์†Œ์‹œ์ผฐ๋‹ค. ์ด ๋ชจ๋ธ์€ ์ ์  ๋” ๋งŽ์ด ํ™œ์šฉ๋˜๊ณ  ์žˆ์œผ๋ฉฐ, ๋ชจ๋ธ์— ๋Œ€ํ•œ ๋” ์ž์„ธํ•œ ์ˆ˜ํ•™์ ์ธ ํ•ด์„์€ ์ฐธ๊ณ ๋ฌธํ—Œ [13(13), 14(14)]๋ฅผ ์ฐธ๊ณ ํ•  ์ˆ˜ ์žˆ๋‹ค.

๊ทธ๋ฆผ. 3. GRU์˜ ๋„คํŠธ์›Œํฌ ๊ตฌ์กฐ(14)

Fig. 3. The Gated Recurrent Unit Networks

../../Resources/kiee/KIEE.2018.67.11.1536/fig3.png

3. ์ˆ˜์š” ์ถ”์ • ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ

์„œ๋ก ์—์„œ ๋งํ•œ ๋ฐ”์™€ ๊ฐ™์ด ๋”ฅ๋Ÿฌ๋‹์„ ์ „๋ ฅ์ˆ˜์š”์˜ˆ์ธก์— ์ ์šฉํ•˜๋Š” ์—ฐ๊ตฌ๋“ค์ด ์ด๋ฃจ์–ด์ง€๊ณ  ์žˆ๋‹ค. ๋ณธ ์—ฐ๊ตฌ์—์„œ๋Š” ํ˜„์žฌ ์ธก์ •๋˜๊ณ  ์žˆ๋Š” ๋„์‹œ์ฒ ๋„ ๋ณ€์ „์†Œ์˜ ์ „์ฒด ์ „๋ ฅ ์‚ฌ์šฉ๋Ÿ‰์„ ์•Œ๊ณ  ์žˆ๋‹ค๋Š” ๊ฐ€์ • ํ•˜์—์„œ, ๋”ฅ๋Ÿฌ๋‹์„ ์ด์šฉํ•˜์—ฌ ์—ญ์‚ฌ๋ถ€ํ•˜ ์ค‘ ํฐ ๋น„์ค‘์„ ์ฐจ์ง€ํ•˜๋Š” ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€ ๋ถ€ํ•˜์˜ ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•˜์˜€๋‹ค. ์ด๋ฅผ ์œ„ํ•˜์—ฌ ๊ธฐ์˜จ, ๊ฐ•์ˆ˜๋Ÿ‰, ๋ฏธ์„ธ๋จผ์ง€ ๋“ฑ ๊ธฐํ›„๋ฐ์ดํ„ฐ์™€ ์š”์ผ, ํŠน์ˆ˜์ผ ๋“ฑ์˜ ๊ณต๊ฐœ๋˜์–ด ์žˆ๋Š” ๊ณต๊ณต๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต๋ฐ์ดํ„ฐ๋กœ ์ž…๋ ฅํ•˜์˜€๋‹ค. ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์™€ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ๊ตฌํ˜„์€ ํŒŒ์ด์ฌ(python) ์–ธ์–ด ๋ฐ ์ผ€๋ผ์Šค(Keras) ๋ชจ๋“ˆ์„ ์‚ฌ์šฉํ•˜์˜€๋‹ค.

3.1 ๋ฐ์ดํ„ฐ ์ƒ์„ฑ

๋ณธ ๋…ผ๋ฌธ์—์„œ๋Š” 2016๋…„ 8์›”๋ถ€ํ„ฐ 2017๋…„ 7์›”๊นŒ์ง€ ๋„์‹œ์ฒ ๋„ ๋ณ€์ „์†Œ์—์„œ ์ธก์ •ํ•œ ์ „๋ ฅ๋ถ€ํ•˜ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•˜์—ฌ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•˜์˜€๋‹ค. ๋ชฉํ‘œ ๋ฐ์ดํ„ฐ๋Š” ๊ฐ ์‹œ๊ฐ„๋Œ€๋ณ„ ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€ ๋ถ€ํ•˜๋Ÿ‰์ด๊ณ  ์ „์ฒด ์ „๋ ฅ ๋ถ€ํ•˜๋Ÿ‰์€ ํ•™์Šต ๋ฐ์ดํ„ฐ๋กœ ์ •ํ•˜์˜€๋‹ค. ์ „์ฒด ์ „๋ ฅ ๋ถ€ํ•˜๋Ÿ‰ ์™ธ์— ๊ธฐ์˜จ, ๊ฐ•์ˆ˜๋Ÿ‰, ๋ฏธ์„ธ๋จผ์ง€(PM10, PM2.5) ๋“ฑ ๊ธฐํ›„ ๋ฐ์ดํ„ฐ์™€ ์‹œ๊ฐ„, ์š”์ผ, ํŠน์ˆ˜์ผ ์—ฌ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต ๋ฐ์ดํ„ฐ๋กœ ์ถ”๊ฐ€ํ•˜์˜€๋‹ค.

๋ฐ์ดํ„ฐ๋Š” ํ•™์Šต(training), ๊ฒ€์ฆ(validation), ํ‰๊ฐ€(test) ๋ฐ์ดํ„ฐ๋กœ ๊ตฌ๋ถ„ํ–ˆ๋‹ค. ํ•™์Šต๋ฐ์ดํ„ฐ๋Š” ๋ชจ๋ธ์„ ํ•™์Šตํ•˜๋Š”๋ฐ ์‚ฌ์šฉํ•˜๋Š” ๋ฐ์ดํ„ฐ์ด๊ณ , ๊ฒ€์ฆ๋ฐ์ดํ„ฐ๋Š” ํ•™์Šต์ด ์ง„ํ–‰๋˜๋Š” ๋™์•ˆ ์„ฑ๋Šฅ์„ ๊ฒ€์ฆํ•˜๋Š”๋ฐ ์‚ฌ์šฉํ•˜๋Š” ๋ฐ์ดํ„ฐ์ด๋ฉฐ, ํ‰๊ฐ€๋ฐ์ดํ„ฐ๋Š” ํ•™์Šต์„ ๋งˆ์น˜๊ณ  ๋‚˜์„œ ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์„ ํ‰๊ฐ€ํ•˜๋Š”๋ฐ ์‚ฌ์šฉํ•˜๋Š” ๋ฐ์ดํ„ฐ์ด๋‹ค. ์ผ๋ฐ˜์ ์œผ๋กœ ๊ฒ€์ฆ๋ฐ์ดํ„ฐ๋Š” ํ•™์Šต๋ฐ์ดํ„ฐ์—์„œ ์ผ์ • ๋น„์œจ๋กœ ์ถ”์ถœํ•˜์—ฌ ์‚ฌ์šฉํ•˜๋ฉฐ, ํ•™์Šตํ•  ๋•Œ๋งˆ๋‹ค ๊ฒ€์ฆ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์†์‹ค๊ฐ’์„ ํ‰๊ฐ€ํ•จ์œผ๋กœ์จ ๋ชจ๋ธ์ด ํ•™์Šต ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด์„œ๋งŒ ๊ณผ์ ํ•ฉ(overfitting)๋˜๋Š” ๊ฒƒ์„ ๋ฐฉ์ง€ํ•˜๋Š” ์—ญํ• ์„ ํ•œ๋‹ค.

์‹ ๊ฒฝ๋ง์€ ๏ผ1์—์„œ 1 ์‚ฌ์ด์˜ ๊ฐ’์—์„œ ๊ฐ€์žฅ ์ž˜ ์ž‘๋™ํ•˜๋ฏ€๋กœ ์‹ ๊ฒฝ๋ง์— ์ž…๋ ฅํ•˜๊ธฐ ์ „์— ๋ฐ์ดํ„ฐ ๊ฐ’์˜ ๋ฒ”์œ„๋ฅผ ์กฐ์ •ํ•ด์•ผ ํ•œ๋‹ค. ๋”ฐ๋ผ์„œ ๋‹ค์Œ ์‹์„ ํ†ตํ•˜์—ฌ ํ•™์Šต ๋ฐ์ดํ„ฐ๋ฅผ ์ •๊ทœํ™”ํ•˜์˜€๋‹ค.

(1)
x n e w = x - x m i n x m a x - x m i n

๊ทธ๋ฆผ. 4๋Š” ์ •๊ทœํ™”ํ•œ ํ•™์Šต ๋ฐ์ดํ„ฐ์ธ ๊ธฐ์˜จ๊ณผ ๋ชฉํ‘œ ๋ฐ์ดํ„ฐ์ธ ๊ณต์กฐ๋ถ€ํ•˜ ๋ฐ์ดํ„ฐ์˜ ์ผ๋ถ€๋ฅผ ๊ทธ๋ž˜ํ”„๋กœ ๋‚˜ํƒ€๋‚ธ ๊ทธ๋ฆผ์ด๋‹ค.

๊ทธ๋ฆผ. 4. ์ •๊ทœํ™”๋œ ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ๋ชฉํ‘œ ๋ฐ์ดํ„ฐ์˜ ์˜ˆ

Fig. 4. Example of normalized training data

../../Resources/kiee/KIEE.2018.67.11.1536/fig4.png

์ด๋ ‡๊ฒŒ ๊ตฌ์„ฑ๋œ ํ•™์Šต๋ฐ์ดํ„ฐ๋ฅผ ์ด์šฉํ•˜์—ฌ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•˜์˜€๋Š”๋ฐ, ํ•™์Šตํ•˜๋Š” ๊ณผ์ •์—์„œ 1ํšŒ ์—ฐ์‚ฐ ์‹œ ์ ์šฉํ•˜๋Š” ๋ฐ์ดํ„ฐ์˜ ๋ฒ”์œ„์— ๋”ฐ๋ผ ๊ฒฐ๊ณผ์˜ ์ •ํ™•๋„๊ฐ€ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ๋‹ค. ๋„ˆ๋ฌด ์ข์€ ๋ฒ”์œ„์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๊ณ ๋ คํ•  ์ˆ˜ ์žˆ๋Š” ํŠน์„ฑ์„ ๋†“์น  ์ˆ˜ ์žˆ๊ณ , ๋„“์€ ๋ฒ”์œ„์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ํŠน์„ฑ์ด ์˜…์–ด์งˆ ์ˆ˜ ์žˆ๋‹ค. ์ด ๋…ผ๋ฌธ์—์„œ๋Š” ์—ฐ์‚ฐ ์‹œ 1์ฃผ ์ „๊นŒ์ง€์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ์™€ 2์ฃผ ์ „๊นŒ์ง€์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ๋ฅผ ๋น„๊ตํ•˜์˜€๋‹ค.

3.2 RNN ๋ชจ๋ธ ๊ตฌ์„ฑ ๋ฐ ํ•™์Šต

๋ณธ ๋…ผ๋ฌธ์—์„œ๋Š” RNN ๊ธฐ๋ฒ• ์ค‘ ํ•˜๋‚˜์ธ GRU๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋ธ์„ ๊ตฌ์„ฑํ•˜์˜€๋‹ค. ์ž…๋ ฅ๊ณ„์ธต์— GRU๋ฅผ ์‚ฌ์šฉํ•˜์˜€์œผ๋ฉฐ, ์ถœ๋ ฅ๋ฐ์ดํ„ฐ๋Š” 0๊ณผ 1 ์‚ฌ์ด๋กœ ์ œํ•œ๋˜์–ด ์žˆ์–ด, ์ถœ๋ ฅ๊ณ„์ธต์€ ์‹œ๊ทธ๋ชจ์ด๋“œ(sigmoid) ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜์˜€๋‹ค. ์ด ๋…ผ๋ฌธ์—์„œ๋Š” GRU ๊ณ„์ธต์˜ ๊ฐœ์ˆ˜์— ๋”ฐ๋ฅธ ๋ชจ๋ธ์˜ ์ •ํ™•๋„๋ฅผ ๋น„๊ตํ•˜๊ธฐ ์œ„ํ•ด 1๊ฐœ ๊ณ„์ธต๋ถ€ํ„ฐ ์ตœ๋Œ€ 4๊ฐœ๊นŒ์ง€์˜ GRU ๊ณ„์ธต์„ ์ง๋ ฌ๋กœ ์—ฐ๊ฒฐํ•œ ๋ชจ๋ธ๊นŒ์ง€ ๊ตฌ์„ฑํ•˜์—ฌ ๊ฒฐ๊ณผ๋ฅผ ๋น„๊ตํ•˜์˜€๋‹ค.

ํ•™์Šต์—์„œ ์‚ฌ์šฉํ•˜๋Š” ์†์‹ค ํ•จ์ˆ˜(loss function)๋Š” ์ตœ์†Œ์ œ๊ณฑ์˜ค์ฐจ(mean square error, MSE)๋ฅผ ์ตœ์†Œํ™”ํ•  ์†์‹ค ํ•จ์ˆ˜๋กœ ์‚ฌ์šฉํ•˜์˜€๋‹ค. ์ด๋ฅผ ํ†ตํ•˜์—ฌ ๋ชจ๋ธ์˜ ์ถœ๋ ฅ๊ฐ’์ด ์ถœ๋ ฅ ์‹ ํ˜ธ์™€ ์–ผ๋งˆ๋‚˜ ์ผ์น˜ํ•˜๋Š”์ง€ ์ธก์ •ํ•˜์˜€๋‹ค. ๊ทธ๋ฆฌ๊ณ  RNN ๋ชจ๋ธ์˜ ํŠน์„ฑ์ƒ ํ•™์Šต ์ดˆ๊ธฐ ์‹œํ€€์Šค์˜ ์‹œ์ž‘ ๋ถ€๋ถ„์—์„œ๋Š” ์ž…๋ ฅ ์‹ ํ˜ธ๊ฐ€ ๋ถ€์กฑํ•˜์—ฌ ๋ถ€์ •ํ™•ํ•  ์ˆ˜ ์žˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋ชจ๋ธ์˜ ์ผ์ • ์‹œ๊ฐ„ ๋‹จ๊ณ„๋ฅผ ์˜ˆ์—ด(warmup) ๊ธฐ๊ฐ„์œผ๋กœ ์ƒ๊ฐํ•˜๊ณ  ์ •ํ™•๋„๋ฅผ ์‹ ๋ขฐํ•˜์ง€ ์•Š์Œ์œผ๋กœ์จ ์ •ํ™•๋„ ํ–ฅ์ƒ์„ ๊พ€ํ–ˆ๋‹ค.

๊ทธ๋ฆฌ๊ณ  ํ•™์Šต์„ ํ•œ ๋ฒˆ ํ•  ๋•Œ ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ๊ณ„์‚ฐ์— ๋„ฃ์„ ์ˆ˜ ์—†์œผ๋ฏ€๋กœ ๋ฐฐ์น˜(batch)๋ฅผ ๋งŒ๋“ค์–ด ํ•œ ๋ฒˆ ๊ณ„์‚ฐ์— ๋“ค์–ด๊ฐ€๋Š” ๋ฐ์ดํ„ฐ ์ˆ˜๋ฅผ ์ •ํ•˜์˜€๋‹ค. ๋ณธ ๋…ผ๋ฌธ์—์„œ๋Š” ๋ฐฐ์น˜์ˆ˜๋ฅผ 64๊ฐœ์™€ 128๊ฐœ๋กœ ํ•˜์—ฌ ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋น„๊ตํ•˜์˜€๋‹ค.

์‹ ๊ฒฝ๋ง์˜ ๊ฐ€์ค‘์น˜๋ฅผ ์กฐ์ •ํ•˜๋Š” ์ตœ์ ํ™” ๋ฐฉ๋ฒ•์œผ๋กœ ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(gradient descent) ๋ฐฉ๋ฒ• ์ค‘ ํ•˜๋‚˜์ธ RMSProp์„ ์ ์šฉํ•˜์˜€๋‹ค. RMSProp์€ Adagrad(adaptive gradient)์˜ ๋‹จ์ ์„ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ์ œํ”„๋ฆฌ ํžŒํŠผ(Geoffrey Hinton)์ด ์ œ์•ˆํ•œ ๋ฐฉ๋ฒ•์ด๋‹ค. Adagrad๋Š” ๋ณ€์ˆ˜๋“ค ์ค‘์—์„œ ์—…๋ฐ์ดํŠธ ์‹œ ๋งŽ์ด ๋ณ€ํ™”ํ•˜์ง€ ์•Š์•„ ๊ทธ๋ผ๋””์–ธํŠธ๊ฐ€ ๋‚ฎ์€ ๋ณ€์ˆ˜๋“ค์€ ์Šคํ… ์‚ฌ์ด์ฆˆ๋ฅผ ํฌ๊ฒŒ ํ•˜๊ณ , ๋งŽ์ด ๋ณ€ํ™”ํ•ด์„œ ๊ทธ๋ผ๋””์–ธํŠธ๊ฐ€ ํฐ ๋ณ€์ˆ˜๋“ค์€ ์Šคํ… ์‚ฌ์ด์ฆˆ๋ฅผ ์ž‘๊ฒŒ ํ•˜์—ฌ ์ตœ์†Œ๊ฐ’์„ ์ฐพ์•„๊ฐ€๋Š” ์†๋„๋ฅผ ๋†’์ด๋Š” ๋ฐฉ๋ฒ•์ด๋‹ค. RMSProp์€ ์—…๋ฐ์ดํŠธ๋ฅผ ํ•  ๋•Œ Adagrad์™€ ๊ฐ™์ด ์ œ๊ณฑ ๊ทธ๋ผ๋””์–ธํŠธ์˜ ํ‰๊ท ์„ ์ด์šฉํ•˜์ง€ ์•Š๊ณ , ์ด๋™ํ‰๊ท (moving average)๋ฅผ ์ด์šฉํ•จ์œผ๋กœ์จ ๊ธ‰์ง„์ ์ด๊ณ  ๋‹จ์กฐ ๊ฐ์†Œํ•˜๋Š” ํ•™์Šต์†๋„๋ฅผ ๊ฒฝ๊ฐํ•œ๋‹ค.

ํ•™์Šตํ•˜๋Š” ๋™์•ˆ Keras์˜ ์ฝœ๋ฐฑ(call back) ๊ธฐ๋Šฅ์„ ํ™œ์šฉํ•˜์—ฌ ๋งˆ์ง€๋ง‰ ์—ํฌํฌ(epoch) ์ดํ›„ ๊ฒ€์ฆ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์†์‹ค๊ฐ’์ด ๊ฐœ์„ ๋˜์ง€ ์•Š์œผ๋ฉด ํ•™์Šต๋ฅ ์„ ๊ฐ์†Œ์‹œํ‚ค๊ฒŒ ์„ค์ •ํ•˜์˜€๋‹ค. ์ด ๋•Œ ์ตœ์†Œ ํ•™์Šต๋ฅ ์€ 1e-4๋กœ ํ•˜์˜€๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ •ํ•ด์ง„ ์ˆ˜์˜ ์—ํฌํฌ๊ฐ€ ๋‹ค ์ˆ˜ํ–‰๋˜์ง€ ์•Š์•˜๋”๋ผ๋„ 5ํšŒ ๋™์•ˆ์˜ ์—ํฌํฌ ๋™์•ˆ ์†์‹ค๊ฐ’์ด ๊ฐœ์„ ๋˜์ง€ ์•Š์œผ๋ฉด ํ•™์Šต์„ ์ค‘์ง€ํ•˜๋„๋ก ํ•˜์˜€๋‹ค.

4. ๊ฒฐ๊ณผ ๋ถ„์„

4.1 ๋ชจ๋ธ ํŒŒ๋ผ๋ฏธํ„ฐ ๊ฒฐ์ •

์•ž ์žฅ์—์„œ ์–ธ๊ธ‰ํ•œ ๋ฐ”์™€ ๊ฐ™์ด ์ตœ์ ์˜ ํ•™์Šต ๋ชจ๋ธ์„ ์ฐพ๊ธฐ ์œ„ํ•˜์—ฌ ํ‘œ 1์˜ ์กฐ๊ฑด๋“ค์— ๋Œ€ํ•˜์—ฌ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•˜๊ณ  ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋น„๊ตํ•˜์˜€๋‹ค. GRU ๋ชจ๋ธ ์ƒ์„ฑ ๋ฐ ํ•™์Šต์€ ํŒŒ์ด์ฌ ์–ธ์–ด ํ™˜๊ฒฝ์—์„œ Keras ๋ชจ๋“ˆ์„ ํ†ตํ•˜์—ฌ ๊ตฌํ˜„ํ•˜์˜€๋‹ค.

ํ‘œ 1. GRU ๋ชจ๋ธ ์ƒ์„ฑ ํŒŒ๋ผ๋ฏธํ„ฐ์˜ ์กฐ๊ฑด๋“ค

Table 1. Parameters for GRU model

ํ•ญ๋ชฉ

์กฐ๊ฑด

๋ฐ์ดํ„ฐ ๋‹น ์‹œ๊ฐ„ ๋ฒ”์œ„

1, 2 ์ฃผ

ํ•™์Šต ๋‹น ๋ฐฐ์น˜(batch) ์ˆ˜

64, 128 ๊ฐœ

GRU ๋ชจ๋ธ

๊ณ„์ธต ์ˆ˜

1, 2, 3, 4 ๊ฐœ

๋…ธ๋“œ ์ˆ˜

32, 64, 128 ๊ฐœ

ํŒŒ๋ผ๋ฏธํ„ฐ๋“ค์˜ ๊ฐ ์กฐํ•ฉ์— ๋Œ€ํ•ด์„œ ๋ชจ๋ธ์„ ์ƒ์„ฑํ•œ ๋‹ค์Œ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•˜๊ณ , ์‹œํ—˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•˜์—ฌ ์ƒ์„ฑ๋œ ๋ชจ๋ธ์„ ํ‰๊ฐ€ํ•˜์˜€๋‹ค. ๊ทธ๋ฆผ. 5๋Š” ์ด๋ ‡๊ฒŒ ๊ตฌ์„ฑ๋œ GRU ๋ชจ๋ธ์˜ ๊ตฌ์กฐ๋ฅผ ๋‚˜ํƒ€๋‚ธ ๊ทธ๋ฆผ์ด๋ฉฐ, ์˜ˆ์‹œ๋กœ์„œ GRU ๊ณ„์ธต์ด 2๊ฐœ์ธ ๋ชจ๋ธ์„ ๋‚˜ํƒ€๋‚ด๊ณ  ์žˆ๋‹ค. ๊ณ„์ธต ์ˆ˜์— ๋”ฐ๋ผ์„œ GRU ๊ณ„์ธต์˜ ์ˆ˜๊ฐ€ ๋‹ฌ๋ผ์ง€๊ฒŒ ๋˜๋ฉฐ, ๋…ธ๋“œ ์ˆ˜์— ๋”ฐ๋ผ GRU ๊ณ„์ธต ๋‚ด ๋…ธ๋“œ์˜ ๊ฐœ์ˆ˜๊ฐ€ ๋‹ฌ๋ผ์ง„๋‹ค. ์ถœ๋ ฅ๊ณ„์ธต์—๋Š” ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€์— ๋Œ€ํ•œ 3๊ฐœ์˜ ๋…ธ๋“œ๊ฐ€ ์žˆ๋‹ค.

๊ทธ๋ฆผ. 5. GRU ๋ชจ๋ธ์˜ ๊ตฌ์„ฑ

Fig. 5. Block diagram of GRU model

../../Resources/kiee/KIEE.2018.67.11.1536/fig5.png

์ถ”์ •๊ฐ’์ด๋‚˜ ์˜ˆ์ธก๊ฐ’๊ณผ ์‹ค์ œ ๊ฐ’ ๊ฐ„ ์ฐจ์ด๋ฅผ ๋‹ค๋ฃจ๋Š” ๋Œ€ํ‘œ์ ์ธ ๋ฐฉ๋ฒ•์—๋Š” RMSE๊ณผ MAPE๊ฐ€ ์žˆ๋‹ค. RMSE(root mean square error, ํ‰๊ท ์ œ๊ณฑ๊ทผ์˜ค์ฐจ)๋Š” ์‹(2)๋ฅผ ํ†ตํ•˜์—ฌ ๊ตฌํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ ํ‰๊ฐ€์˜ ์ฒ™๋„๊ฐ€ ์˜ˆ์ธกํ•˜๋ ค๋Š” ๊ฐ’์˜ ํฌ๊ธฐ์— ์˜์กด์ ์ด๋ผ๋Š” ๋‹จ์ ์ด ์žˆ๋‹ค. MAPE (mean absolute percentage error, ํ‰๊ท ์ ˆ๋Œ€์˜ค์ฐจ๋ฐฑ๋ถ„์œจ)์€ ์‹(3)์„ ํ†ตํ•˜์—ฌ ๊ตฌํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ RMSE์˜ ๋‹จ์ ์„ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•œ ๋ฐฉ๋ฒ•์ด๋‹ค. ์ด ๋…ผ๋ฌธ์—์„œ๋Š” MAPE๋ฅผ ํ†ตํ•˜์—ฌ ๋ชจ๋ธ์— ์˜ํ•œ ์ถ”์ • ๊ฒฐ๊ณผ๋ฅผ ํ‰๊ฐ€ํ•˜์˜€๋‹ค.

(2)
R M S E = 1 n โˆ‘ t = 1 n Y t - F t 2

(3)
M A P E = 100 n โˆ‘ t = 1 n Y t - F t Y t

์—ฌ๊ธฐ์—์„œ

Yt : ์‹ค์ œ ๊ฐ’

Ft : ๋ชจ๋ธ์— ์˜ํ•ด ๊ตฌํ•œ ์ถ”์ •๊ฐ’

ํ‰๊ฐ€๋ฅผ ์œ„ํ•˜์—ฌ ์„ธ ๊ฐ€์ง€ ๋ชฉ์ ๋ณ€์ˆ˜์ธ ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€๋ถ€ํ•˜์— ๋Œ€ํ•˜์—ฌ MAPE๋ฅผ ๊ณ„์‚ฐํ•˜์—ฌ ๋น„๊ตํ•˜์˜€๋‹ค. ํŒŒ๋ผ๋ฏธํ„ฐ์˜ ์กฐํ•ฉ์— ๋”ฐ๋ฅธ ๋ชจ๋ธ์˜ ๊ฐœ์ˆ˜๋Š” ์ด 48๊ฐ€์ง€์ด๋ฉฐ, ๊ฐ ๋ชจ๋ธ์— ๋Œ€ํ•ด์„œ ์„ธ ๊ฐ€์ง€ ๋ณ€์ˆ˜์— ๋Œ€ํ•œ MAPE์™€ ๊ทธ ํ‰๊ท ๊ฐ’์„ ์ˆœ์„œ๋Œ€๋กœ ์ •๋ฆฌํ–ˆ์œผ๋ฉฐ, ์ด ์ค‘ MAPE์˜ ํ‰๊ท ๊ฐ’์ด ์ž‘์€ ์ƒ์œ„ 10๊ฐœ์˜ ๋ชจ๋ธ์„ ํ‘œ 2์— ์ •๋ฆฌํ•˜์˜€๋‹ค. ์—ฌ๋Ÿฌ ๋ชจ๋ธ ์ค‘์—์„œ MAPE์˜ ํ‰๊ท ๊ฐ’์ด ๊ฐ€์žฅ ์ž‘์€ ๊ฒฝ์šฐ๋ฅผ ์ตœ์  ๋ชจ๋ธ๋กœ ์ •ํ•˜์˜€๋‹ค.

ํ‘œ 2. ํŒŒ๋ผ๋ฏธํ„ฐ์— ๋”ฐ๋ฅธ GRU ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ ๋น„๊ต

Table 2. Comparison of GRU models according to parameters

ํŒŒ๋ผ๋ฏธํ„ฐ

MAPE

๋ฐฐ์น˜

์ฃผ

๋…ธ๋“œ

๊ณ„์ธต

์กฐ๋ช…

๊ณต์กฐ

์ƒ๊ฐ€

ํ‰๊ท 

128

2

128

1

9.571

21.711

8.641

13.308

64

2

128

1

10.275

21.630

8.393

13.433

128

1

64

3

10.197

20.148

10.066

13.470

64

2

64

1

10.129

20.648

10.024

13.600

128

1

64

1

10.551

21.943

8.656

13.717

128

2

64

3

10.186

21.736

9.276

13.732

128

1

64

2

10.295

22.372

8.572

13.746

128

1

128

1

10.123

22.477

8.982

13.861

64

1

128

4

10.032

21.674

10.047

13.918

128

1

128

3

10.063

23.285

8.628

13.992

4.2 ํ•™์Šต ๊ณผ์ • ๋ฐ ์ถ”์ • ๊ฒฐ๊ณผ

๊ทธ๋ฆผ. 6์€ ์ œ์•ˆํ•œ GRU ๋ชจ๋ธ์˜ ํ•™์Šต ๊ณก์„ ์„ ๋ณด์—ฌ์ฃผ๊ณ  ์žˆ๋‹ค. ํ•™์Šต๊ณก์„ ์„ ๋ณด๋ฉด ํ•™์Šต ์ดˆ๊ธฐ์—๋Š” ํ•™์Šต๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์†์‹คํ•จ์ˆ˜์˜ ๊ฐ’๊ณผ ํ•™์Šต๋งˆ๋‹ค ๊ฒ€์ฆ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์†์‹คํ•จ์ˆ˜์˜ ๊ฐ’์ด ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•จ์— ๋”ฐ๋ผ ๊ฐ์†Œํ•จ์„ ๋ณผ ์ˆ˜ ์žˆ๋‹ค. ํ•˜์ง€๋งŒ ์—ํฌํฌ๊ฐ€ 17ํšŒ ์ด์ƒ ๋„˜์–ด๊ฐ€๋ฉด ํ•™์Šต๋ฐ์ดํ„ฐ๋กœ ๊ตฌํ•œ ์†์‹ค์€ ๊ณ„์† ์ค„์–ด๋“ค์ง€๋งŒ ๊ฒ€์ฆ๋ฐ์ดํ„ฐ๋กœ ๊ตฌํ•œ ์†์‹ค์€ ์ค„์–ด๋“ค์ง€ ์•Š์Œ์„ ๋ณผ ์ˆ˜ ์žˆ๋‹ค. ๋ชจ๋ธ์ด ํ•™์Šต๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด ๊ณผ์ ํ•ฉ๋˜๋Š” ๊ฒƒ์„ ๋ง‰๊ธฐ ์œ„ํ•˜์—ฌ ๊ฒ€์ฆ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์†์‹ค๊ฐ’์ด ์ค„์–ด๋“ค์ง€ ์•Š์œผ๋ฉด ํ•™์Šต์„ ์กฐ๊ธฐ ์ข…๋ฃŒ(early stopping)์‹œ์ผฐ๋‹ค.

๊ทธ๋ฆผ. 6. ์ œ์•ˆํ•œ GRU ๋ชจ๋ธ์˜ ํ•™์Šต ๊ณก์„ 

Fig. 6. Learning curve of the proposed GRU model

../../Resources/kiee/KIEE.2018.67.11.1536/fig6.png

์ด๋ ‡๊ฒŒ ํ•™์Šต๋œ GRU ๋ชจ๋ธ๋กœ ๋ชฉ์ ๋ณ€์ˆ˜์ธ ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€์˜ ๊ฐ’๋“ค์„ ์ถ”์ •ํ•˜์—ฌ ์‹ค์ œ ๊ฐ’๊ณผ ๋น„๊ตํ•˜์˜€๋‹ค. ๊ทธ๋ฆผ. 7์€ ํ‰๊ฐ€๋ฐ์ดํ„ฐ์˜ ์ผ๋ถ€์— ๋Œ€ํ•˜์—ฌ ์ถ”์ •ํ•œ ๊ฐ’๊ณผ ์‹ค์ œ ๊ฐ’์„ ๊ทธ๋ž˜ํ”„๋กœ ๋‚˜ํƒ€๋‚ด๊ณ  ์žˆ๋‹ค.

๊ทธ๋ฆผ. 7. ๋”ฅ๋Ÿฌ๋‹์„ ํ†ตํ•˜์—ฌ ์ถ”์ •ํ•œ ๊ฐ’๊ณผ ์‹ค์ œ ๊ฐ’์˜ ๋น„๊ต ์˜ˆ

Fig. 7. Example of estimate values of estimation by deep learning

../../Resources/kiee/KIEE.2018.67.11.1536/fig7.png

์‹ค์ œ ๋„์‹œ์ฒ ๋„ ๋ณ€์ „์†Œ์˜ ๊ฒฝ์šฐ ๋™์ผํ•œ ๋…ธ์„ ์—์„œ๋Š” ๊ฑฐ์˜ ๊ฐ™์€ ์šฉ๋Ÿ‰๊ณผ ๊ตฌ์„ฑ์„ ๊ฐ€์ง€๊ฒŒ ๋˜๋ฉฐ, ๋„์‹œ์ฒ ๋„ ์—ญ์‚ฌ์˜ ์ „๋ ฅ๋ถ€ํ•˜ ๊ตฌ์„ฑ ์—ญ์‹œ ์ง€์ƒ์—ญ์‚ฌ๋ผ๋ฆฌ ๋˜๋Š” ์ง€ํ•˜์—ญ์‚ฌ๋ผ๋ฆฌ๋Š” ํฌ๊ฒŒ ๋‹ค๋ฅด์ง€ ์•Š์€ ๋ถ€ํ•˜ ๊ตฌ์„ฑ์„ ๊ฐ€์ง„๋‹ค. ๋”ฐ๋ผ์„œ ์ด ์—ฐ๊ตฌ์—์„œ ๊ตฌ์„ฑํ•œ ์ถ”์ •๋ชจ๋ธ์„ ์ ์šฉํ•˜๋ฉด ๊ฐ™์€ ๋…ธ์„ ์— ์†ํ•œ ๊ฐ ๋ณ€์ „์†Œ์—์„œ๋Š” ์šฉ๋„๋ณ„ ์ „๋ ฅ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ • ๊ฐ€๋Šฅํ•˜๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๊ฐ™์€ ๋„์‹œ์ฒ ๋„ ์—ญ์‚ฌ๋ผ๋„ ์„ค๋น„์˜ ์ฆ๊ฐ ๋“ฑ ๋ถ€ํ•˜ ํŠน์„ฑ์ด ๋ณ€๊ฒฝ๋˜๋ฉด ์ถ”์ •์˜ ์ •ํ™•๋„๊ฐ€ ๋–จ์–ด์ง€๊ฒŒ ๋  ๊ฒƒ์ด๋‹ค. ์ด๋ฅผ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•ด์„œ ์„ค๋น„์˜ ์šฉ๋Ÿ‰ ๋“ฑ์˜ ์š”์†Œ์™€ ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”๊ฐ€๋กœ ๊ณ ๋ คํ•œ ๋ชจ๋ธ์„ ๊ตฌ์„ฑํ•˜๊ณ  ํ•™์Šตํ•จ์œผ๋กœ์จ ๋” ๋ฒ”์šฉ์ธ ๋ถ€ํ•˜์ถ”์ •๋ชจ๋ธ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์„ ๊ฒƒ์ด๋‹ค.

์šฉ๋„๋ณ„ ์ „๋ ฅ ๋ถ€ํ•˜๋Ÿ‰์„ ์ด๋ ‡๊ฒŒ ๋”ฅ๋Ÿฌ๋‹์œผ๋กœ ๊ตฌํ•œ ๊ฒฐ๊ณผ์™€ [12](12)์—์„œ ์ œ์•ˆํ•œ ๋‹คํ•ญํšŒ๊ท€๋ฅผ ํ†ตํ•˜์—ฌ ๊ตฌํ•œ ๊ฒฐ๊ณผ๋ฅผ MAPE๋ฅผ ํ†ตํ•˜์—ฌ ๋น„๊ตํ•˜๋ฉด ํ‘œ 3๊ณผ ๊ฐ™๋‹ค. ๋‹คํ•ญํšŒ๊ท€๋Š” 3๊ฐ€์ง€ ๋ชฉ์ ๋ณ€์ˆ˜ ๋Œ€ํ•ด์„œ ๊ฐ๊ฐ ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ๋†’์€ ๋…๋ฆฝ๋ณ€์ˆ˜๋“ค์— ๋Œ€ํ•ด 3์ฐจ ๋˜๋Š” 4์ฐจ์˜ ๋‹คํ•ญํšŒ๊ท€๋ถ„์„์„ ์ˆ˜ํ–‰ํ•œ ๊ฒฐ๊ณผ์ด๋‹ค. ์ƒ์„ธํ•œ ๋‹คํ•ญํšŒ๊ท€๋ถ„์„์˜ ์กฐ๊ฑด์€ [12](12)์— ๊ธฐ์ˆ ๋˜์–ด ์žˆ๋‹ค.

ํ‘œ 3. ๋‹คํ•ญํšŒ๊ท€๋ถ„์„๊ณผ ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฒ•์— ์˜ํ•œ ๊ฒฐ๊ณผ์— ๋Œ€ํ•œ MAPE ๊ฐ’ ๋น„๊ต

Table 3. Comparison between results by polynomial regression and by deep learning

๋ชฉ์ ๋ณ€์ˆ˜

๋‹คํ•ญํšŒ๊ท€๋ถ„์„

๋”ฅ๋Ÿฌ๋‹(RNN)

์กฐ๋ช…

17.380

9.571

๊ณต์กฐ

25.053

21.711

์ƒ๊ฐ€

9.958

8.641

MAPE๋ฅผ ๋น„๊ตํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด๋ฉด 3๊ฐœ์˜ ๋ชฉ์ ๋ณ€์ˆ˜ ๋ชจ๋‘ ๋”ฅ๋Ÿฌ๋‹์„ ํ†ตํ•œ ์ถ”์ •์˜ ๊ฒฐ๊ณผ๊ฐ€ ๋” ์ข‹์•„์ง„ ๊ฒƒ์„ ์•Œ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ํŠนํžˆ ์กฐ๋ช…๋ถ€ํ•˜์— ๋Œ€ํ•ด์„œ ๋” ๋งŽ์€ ํ–ฅ์ƒ์ด ์ด๋ฃจ์–ด์กŒ๋‹ค. ์กฐ๋ช…๋ถ€ํ•˜๋Š” ๋‹ค๋ฅธ ๋‘ ๋ถ€ํ•˜์— ๋น„ํ•˜์—ฌ ๊ทœ์น™์„ฑ์ด ๊ฐ•ํ•œ ํŠน์„ฑ์„ ๊ฐ–๋Š”๋ฐ, ์ด ๊ฒฝ์šฐ ๋”ฅ๋Ÿฌ๋‹์ด ํšŒ๊ท€๋ถ„์„์— ๋น„ํ•ด ๋” ๋‚˜์€ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ด๋Š” ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค. ์ด์™€ ๊ฐ™์ด ๋™์ผํ•œ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด ๋‹คํ•ญํšŒ๊ท€๋ถ„์„๊ณผ ๋”ฅ๋Ÿฌ๋‹ ๋ฐฉ๋ฒ• ์ค‘ RNN์„ ํ†ตํ•˜์—ฌ ๋ถ€ํ•˜๋ฅผ ์ถ”์ •ํ•ด ๋ณธ ๊ฒฐ๊ณผ RNN์ด ๋” ์ข‹์€ ์„ฑ๋Šฅ์„ ๋‚˜ํƒ€๋‚ด์—ˆ์œผ๋ฉฐ, ๋ฐ์ดํ„ฐ์˜ ํŠน์„ฑ์— ๋”ฐ๋ผ ๊ทธ ํ–ฅ์ƒ ์ •๋„๋Š” ๋‹ฌ๋ž๋‹ค.

5. ๊ฒฐ ๋ก 

๋„์‹œ์ฒ ๋„์—์„œ ์ „๋ ฅ ์†Œ๋น„์˜ ํšจ์œจ์„ ๋†’์ด๊ธฐ ์œ„ํ•˜์—ฌ ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ๋ถ€ํ•˜๊ด€๋ฆฌ ๊ธฐ์ˆ ๋“ค์ด ์ ์šฉ๋˜๊ณ  ์žˆ์œผ๋ฉฐ, ์ด๋ฅผ ์œ„ํ•ด์„œ๋Š” ์šฉ๋„๋ณ„ ์ „๋ ฅ๋ถ€ํ•˜๋Ÿ‰์„ ํŒŒ์•…ํ•˜๋Š” ๊ฒƒ์ด ํ•„์š”ํ•˜๋‹ค. ์ด๋ฅผ ์œ„ํ•˜์—ฌ ๊ณ„์ธก ์„ค๋น„๋ฅผ ์„ค์น˜ํ•˜์—ฌ ์ง์ ‘ ์ธก์ •ํ•  ์ˆ˜ ์žˆ์œผ๋‚˜ ์„ค์น˜๋‚˜ ์œ ์ง€๊ด€๋ฆฌ ๋น„์šฉ์ด ๋ฐœ์ƒํ•˜๊ฒŒ ๋œ๋‹ค. ์ด๋Ÿฌํ•œ ๊ณ„์ธก ์„ค๋น„ ์ถ”๊ฐ€ ์—†์ด ํ˜„์žฌ ์ด๋ฏธ ์ธก์ •ํ•˜๊ณ  ์žˆ๋Š” ๋ณ€์ „์†Œ ์ „์ฒด ๋ถ€ํ•˜๋Ÿ‰๊ณผ ๊ณต๊ณต ๋ฐ์ดํ„ฐ์ธ ๊ธฐ์˜จ, ๊ฐ•์ˆ˜๋Ÿ‰, ๋ฏธ์„ธ๋จผ์ง€๋Ÿ‰ ๋“ฑ ๊ธฐํ›„ ๋ฐ์ดํ„ฐ๋ฅผ ์ด์šฉํ•˜์—ฌ ์šฉ๋„๋ณ„ ์ „๋ ฅ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•˜์˜€๋‹ค.

๊ธฐ์กด ์—ฐ๊ตฌ์—์„œ๋Š” ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„์„ ํ†ตํ•œ ๋‹คํ•ญํšŒ๊ท€๋ฐฉ๋ฒ•์œผ๋กœ ์šฉ๋„๋ณ„ ์ „๋ ฅ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•˜์˜€์œผ๋ฉฐ, ์ด ๋…ผ๋ฌธ์—์„œ๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์˜€๋‹ค. ๋”ฅ๋Ÿฌ๋‹์—๋Š” ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ๊ธฐ๋ฒ•์ด ์žˆ์œผ๋ฉฐ ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค๋ฃจ๋Š” ๋ฐ์—๋Š” RNN(recursive neural network, ์ˆœํ™˜์‹ ๊ฒฝ๋ง)์ด ์ ๋‹นํ•˜๋‹ค. RNN์˜ ์…€ ๊ฐ€์šด๋ฐ ํ•˜๋‚˜์ธ GRU(gated recurrent unit)๋ฅผ ํ™œ์šฉํ•˜์˜€๋‹ค. RNN์€ ๊ณผ๊ฑฐ ๋ฐ์ดํ„ฐ์˜ ๋ฐ˜์˜์ด ์–ด๋ ต๋‹ค๋Š” ๋‹จ์ ์ด ์žˆ๋Š”๋ฐ, ์ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•˜์—ฌ LSTM(long short- term memory, ์žฅ๋‹จ๊ธฐ ๊ธฐ์–ต ๋„คํŠธ์›Œํฌ)์ด ์ œ์•ˆ๋˜์—ˆ์œผ๋ฉฐ, GRU๋Š” LSTM๊ณผ ๋น„์Šทํ•œ ํŠน์„ฑ์„ ๊ฐ€์ง€๋ฉด์„œ ๊ณ„์‚ฐ๋Ÿ‰์„ ์ค„์ธ ๋ฐฉ๋ฒ•์ด๋‹ค.

์ œ์•ˆํ•˜๋Š” ๋ฐฉ๋ฒ•์„ 2016๋…„ 8์›”๋ถ€ํ„ฐ 2017๋…„ 7์›”๊นŒ์ง€ ๋„์‹œ์ฒ ๋„ ๋ณ€์ „์†Œ์—์„œ ์ธก์ •ํ•œ ์ „๋ ฅ๋ถ€ํ•˜ ๋ฐ์ดํ„ฐ์— ์ ์šฉํ•˜์˜€๋‹ค. ๋ชฉ์ ๋ณ€์ˆ˜๋Š” ์—ญ์‚ฌ ๋ถ€ํ•˜์—์„œ ํฐ ๋น„์ค‘์„ ์ฐจ์ง€ํ•˜๋Š” ์กฐ๋ช…, ๊ณต์กฐ, ์ƒ๊ฐ€ ๋ถ€ํ•˜๋Ÿ‰์ด๋ฉฐ ํ•™์Šต ๋ฐ์ดํ„ฐ๋Š” ์ „์ฒด ์ „๋ ฅ ๋ถ€ํ•˜๋Ÿ‰๊ณผ ๊ธฐ์˜จ, ๊ฐ•์ˆ˜๋Ÿ‰, ๋ฏธ์„ธ๋จผ์ง€(PM10, PM2.5) ๋“ฑ ๊ธฐํ›„ ๋ฐ์ดํ„ฐ, ๊ทธ๋ฆฌ๊ณ  ์‹œ๊ฐ„, ์š”์ผ, ํŠน์ˆ˜์ผ ์—ฌ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ์ ์šฉํ•˜์˜€๋‹ค. ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต(training), ๊ฒ€์ฆ(validation), ํ‰๊ฐ€(test) ๋ฐ์ดํ„ฐ๋กœ ๊ตฌ๋ถ„ํ•˜์—ฌ ํ•™์Šต์„ ์ง„ํ–‰ํ•˜์˜€๋‹ค. ๊ณ„์ธต(layer)๊ณผ ๋…ธ๋“œ ์ˆ˜, ๋ฐ์ดํ„ฐ์˜ ํ•™์Šต ๋ฒ”์œ„๋ฅผ ๋ณ€๊ฒฝํ•˜๋ฉด์„œ ๋ชจ๋ธ์„ ๊ตฌ์„ฑํ•˜๊ณ , ๊ฐ ๋ชจ๋ธ์— ๋Œ€ํ•˜์—ฌ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•˜์—ฌ ๋ชจ๋ธ์˜ ์ตœ์  ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์ฐพ์•˜๋‹ค. ๊ตฌ์„ฑํ•œ GRU ๋ชจ๋ธ๋กœ ์šฉ๋„๋ณ„ ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•œ ๊ฒฐ๊ณผ ๋‹คํ•ญํšŒ๊ท€๋ถ„์„์„ ํ†ตํ•˜์—ฌ ์ถ”์ •ํ•œ ๊ฒฐ๊ณผ๋ณด๋‹ค ๋” ์ •ํ™•ํ•œ ๊ฒฐ๊ณผ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์—ˆ๋‹ค.

์ง€๊ธˆ๊นŒ์ง€ ์‚ดํŽด๋ณธ ๋ฐ”์™€ ๊ฐ™์ด ์ด ๋…ผ๋ฌธ์—์„œ๋Š” ์ „์ฒด๋ถ€ํ•˜๋Ÿ‰๊ณผ ๊ธฐํƒ€ ๊ณต๊ณต๋ฐ์ดํ„ฐ๋ฅผ ์ด์šฉํ•˜์—ฌ ์›ํ•˜๋Š” ์šฉ๋„๋ณ„ ๋ถ€ํ•˜๋Ÿ‰์„ ์ถ”์ •ํ•˜์˜€์œผ๋ฉฐ, ๊ทธ ๋ฐฉ๋ฒ•์œผ๋กœ ๋”ฅ๋Ÿฌ๋‹ ์ค‘ RNN์„ ์ ์šฉํ•˜์˜€๋‹ค. ์ผ๋ฐ˜์ ์ธ ๋ถ€ํ•˜ ์˜ˆ์ธก์„ ํ•˜๋Š” ๊ฒฝ์šฐ์—๋Š” ํŠน์ • ์‹œ์ ์˜ ๋ถ€ํ•˜๋Ÿ‰์„ ๋ชฉ์ ๋ณ€์ˆ˜๋กœ ํ•˜๊ณ  ๊ทธ ์‹œ์ ์—์„œ ๊ณผ๊ฑฐ๋ฐ์ดํ„ฐ๋ฅผ ์ผ์ • ๊ธฐ๊ฐ„๋งŒํผ ์‹œํ”„ํŠธ ์‹œํ‚จ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต๋ฐ์ดํ„ฐ๋กœ ์ด์šฉํ•˜๋ฉด RNN์„ ์ ์šฉํ•˜์—ฌ ํ•™์Šต ๋ฐ ์˜ˆ์ธก์ด ๊ฐ€๋Šฅํ•˜๋‹ค.

๊ฐ์‚ฌ์˜ ๊ธ€

๋ณธ ์—ฐ๊ตฌ๋Š” ํ•œ๊ตญ์ฒ ๋„๊ธฐ์ˆ ์—ฐ๊ตฌ์› ์ฃผ์š”์‚ฌ์—…์˜ ์—ฐ๊ตฌ๋น„ ์ง€์›์œผ๋กœ ์ˆ˜ํ–‰๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

References

1 
Kim Han-Su, Kwon Oh-Kyu, 2014, Power demand forecasting in the DC urban railway substation, Trans. of KIEE, Vol. 63, No. 11, pp. 1608-1614Google Search
2 
Heo Jae-Haeng, Shin Seungkwon, Park Jong-young, Kim Hyeongig, 2015, Study on the optimal operation of ESS considering urban railway load characteristic, Trans. of KIEE, Vol. 64, No. 10, pp. 1508-1516Google Search
3 
Park Jong-young, Heo Jae-Haeng, Shin Seungkwon, Kim Hyungchul, 2017, Economic evaluation of ESS in urban railway substation for peak load shaving based on net present value, Journ. of Electr. Eng. Technol, Vol. 12, No. 2, pp. 981-987DOI
4 
Park Jong-young, Heo Jae-Haeng, Kim Hyeongig, Kim Hyungchul, Shin Seungkwon, 2017, Economic evaluation of ESS applying to demand response manage- ment in urban railway system, Trans. of KIEE, Vol. 66, No. 1, pp. 222-228Google Search
5 
Jung Hosung, Kim Hyungchul, Shin Seoungkwon, Yoon Kiyong, Kim Jae-moon, Kim Yang-su, 2013, Installation of power monitoring system for load pattern analysis on DC urban transit system, ISGC&E 2013Google Search
6 
Lee Hansang, Jung Seungmin, Jung Hosung, Kim Hyungchul, Jang Gilsoo, 2012, Power management for electric railway system to reduce the railway operating cost, 2012 KIEE fall conf., pp. 411-413Google Search
7 
Barbounis Thanasis G., Theocharis John B., Alexiadis Minas C., Dokopoulos Petros S., 2006, Long-term wind speed and power forecasting using local recurrent neural network models, IEEE Trans. Energy Conver., Vol. 21, No. 1, pp. 273-284DOI
8 
Shi Zhichao, Liang Hao, Dinavahi Venkata, 2018, Direct interval forecast of uncertain wind power based on recurrent neural networks, IEEE Trans. Sustain. Energy, Vol. 9, No. 3, pp. 1177-1187DOI
9 
Kong Weicong, Dong Zhao Yang, Hill David J., Luo Fengji, Xu Yan, 2018, Short-term residential load forecasting based on resident behaviour learning, IEEE Trans. Power Syst., Vol. 33, No. 1, pp. 1087-1088DOI
10 
Shin Dong-Ha, Kim Chang-Bok, 2016, A study on deep learning input pattern for summer power demand prediction, Journ. of KIIT, Vol. 14, No. 11, pp. 127-134Google Search
11 
Park Jun-Ho, Shin Dong-Ha, Kim Chang-Bok, 2017, Deep learning model for electric power demand prediction using special day separation and prediction elements extension, Journ. of Advanc. Navigat. Technol., Vol. 21, No. 4, pp. 365-370Google Search
12 
Park Jong-young, 2018, Analysis of electrical loads in the urban railway station by big data analysis, Trans. of KIEE, Vol. 67, No. 3, pp. 460-466Google Search
13 
Cho Kyunghyun, Bahdanau Dzmitry, Bougares Fethi, Schwenk Holger, Bengio Yoshua, 2014, Learning phrase representations using RNN encoder-decoder for statistical machine translation, Proc. of EMNLPGoogle Search
14 
Sep. 11. 2018, Understanding LSTM Networks, http://colah.github.io/posts/2015-08-Understanding-LSTMsGoogle Search

์ €์ž์†Œ๊ฐœ

๋ฐ• ์ข… ์˜ (Jong-young Park)
../../Resources/kiee/KIEE.2018.67.11.1536/au1.png

1976๋…„ 8์›”์ƒ

1999๋…„ ์„œ์šธ๋Œ€ํ•™๊ต ์ „๊ธฐ๊ณตํ•™๋ถ€ ์กธ์—…

2007๋…„ ๋™ ๋Œ€ํ•™์› ์ „๊ธฐ์ปดํ“จํ„ฐ๊ณตํ•™๋ถ€ ์กธ์—…(๊ณตํ•™๋ฐ•์‚ฌ)

2007~2009๋…„ ํ•œ๊ตญ์ „๊ธฐ์—ฐ๊ตฌ์›

2009๋…„~2013๋…„ LS์‚ฐ์ „

2013๋…„~ํ˜„์žฌ ํ•œ๊ตญ์ฒ ๋„๊ธฐ์ˆ ์—ฐ๊ตฌ์› ์—ฐ๊ณ„ํ™˜์Šน์—ฐ๊ตฌํŒ€ ์„ ์ž„์—ฐ๊ตฌ์›

Tel: 031-460-5731

Fax: 031-460-5749

E-mail : jypark@krri.re.kr