[캡스톤디자인] 시계열 예측 모델(LSTM, ARIMA, ..) 기초

Time Series?

• Time Series: In mathematics, a time series is a series of data points indexed (or listed or graphed) in time order
• thus it is a sequence of discrete-time data
• 간격이 동일하지 않으면 Time Series Data X

 

Characteristics of Time Series Data

• A time series ccan be stationary or non-stationary
  • Stationary Time Series: has statistical properties that are constant over time
  • statistics like the mean, variance, autocorelation don change over the data
  • most statistical methods, including ARIMA, are based on the assumption that the series can be mad approximately stationary through one or more transformations(한 번 이상의 변환을 통해서 data가 stationary를 만족할 수 있다고 가정)
  • comparatively easy to predict
  • non-stationary data is possible but difficult with an approach like ARIMA
• Another key feature of time series data is whether it has a trend present in the data
  • ex) the prices in a grocery store from the last 50 years would exhibit a trend because inflation would drive those prices higher
  • Predicting data that contains trends can be difficult
  • if the data has a stable trend line -> trend line을 fitting한 이후, data로부터 trend를 subtracting(제거)하면 stationary 확보 가능
• if the data isn't trend-stationary, then it might be difference-stationary -> can be removed by differencing
  • The simplest way of differencing is to subtract the previous value from each value 
  • Y(t)-Y(t-1)

 

ARIMA(Autoregressive Integrated Moving Average)

• Autoregressive Integrated Moving Average: Autoregressive(자기회귀) + Moving Average(이동평균) + Differencing
  • Autoregressive Model(AR): 자신의 이전 값 + 확률적 항(불완전하게 예측 가능한 항)에 선형적으로 의존하는 모델 → 자기 자신을 입력 데이터로 하여 스스로를 예측하는 모델(이전 값들을 바탕으로 예측)
    • 현재 시점까지 생성한 output을 사용하여 다음 시점의 output 예측 수행
    • stationary data에 유리
  • Moving Average(MV): 노이즈 제거 → 패턴 파악을 더 쉽게 함
• 기존의 ARMA 모델: stationary Data에만 적용 가능
  • Stationary: 평균, 분산, 자기상관계수 등의 통계적 요소들이 시간의 흐름에 따라 변하지 않음
  • common time-series dataset은 non-stationary → 이를 해결하는 것이 differencing(차분)
  • non-stationary data는 꾸준한 데이터 변화의 방향성인 trend가 존재하는데, 이를 제거하는 과정이 differencing
• 기존의 ARMA model + differencing = ARIMA → non-stationary data에도 적용 가능

- Two Cases

• Non-seasonal ARIMA model: doesn't require accounting for seasonality in time series data
  • predict the future simply based on based on patterns in the past data
• Seasonal ARIMA model: account for seasonality which is regular cycles that affect the time series
  • these cycles can be daily, weekly, or monthly

 

LSTM(Long Short Term Memory)

https://sypdevlog.tistory.com/162

[논문 리뷰] Attention Is All You Need

-> 이전에 정리한 글 참고

• LSTM is a type of RNN(recurrent neural network)
• aimed at mitigating the vanishing gradient problem(기울기 소멸 문제)
  • 기존 RNN의 문제인 기울기 소멸 문제 방지 -> 과거의 정보가 점차 소실되는 문제
  • 이전 정보를 오랫동안 기억할 수 있는 메모리 셀 소유 -> long sequence data 처리 가능

• input gate, forget gate, output gate를 가져, 셀의 값을 얼마나 기억할지 결정 가능
• sigmoid 함수의 값(0 ~ 1)에 따라서 cell state 정보 기억 여부 결정
  • 0: cell state 소실
  • 1: cell state 그대로 전달

---

참고자료

• https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE12042152

클라우드 데이터센터의 안정적인 운영을 위한 워크로드 예측 모델 비교 연구 | DBpia

• https://en.wikipedia.org/wiki/Time_series

Time series - Wikipedia

• https://www.ibm.com/think/topics/arima-model

What are ARIMA Models? | IBM

• https://en.wikipedia.org/wiki/Long_short-term_memory

Long short-term memory - Wikipedia

• https://ctkim.tistory.com/entry/LSTMLong-short-time-memory-%EA%B8%B0%EC%B4%88-%EC%9D%B4%ED%95%B4

LSTM(Long short time memory) : 기초 이해

• https://velog.io/@choonsik_mom/ARIMA-LSTM%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EC%8B%9C%EA%B3%84%EC%97%B4-%EB%B6%84%EC%84%9D-%EC%9E%85%EB%AC%B8

ARIMA, LSTM을 이용한 시계열 분석 입문