Модель авторегресії — ковзного середнього

У статистичному аналізі часових рядів моделі авторегресії — ковзного середнього (АРКС, англ. autoregressive–moving-average models, ARMA) пропонують економний опис (слабко) стаціонарного стохастичного процесу в термінах двох многочленів, одного для авторегресії (АР), а другого — для ^[en] (КС). Загальну модель АРКС було описано 1951 року в дисертації ^[en] «Перевірка гіпотез в аналізі часових рядів» і популяризовано в книзі ^[en] та ^[en] 1970 року.

Для заданого часового ряду даних X_t модель АРКС є інструментом для розуміння та, можливо, передбачування майбутніх значень цього ряду. Частина АР передбачає регресування цієї змінної за її власними запізнюваними (тобто, минулими) значеннями. Частина КС передбачає моделювання члену похибки як лінійної комбінації членів похибки, що стаються в поточний момент та в різні моменти часу в минулому. На цю модель зазвичай посилаються як на модель АРКС(p, q), де p — порядок частини АР, а q — порядок частини КС (як визначено нижче).

Моделі АРКС може бути оцінювано за допомогою ^[en].

Авторегресійна модель

Детальніші відомості з цієї теми ви можете знайти в статті Авторегресійна модель.

Позначення АР(p) стосується авторегресійної моделі порядку p. Модель АР(p) записують як

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}$

де ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ є параметрами, ${\displaystyle c}$ є сталою, а випадкова величина ${\displaystyle \varepsilon _{t}}$ є білим шумом.

Щоби ця модель залишалася (стаціонарною), для значень цих параметрів необхідні деякі обмеження. Наприклад, процеси в моделі АР(1) за ${\displaystyle |\varphi _{1}|\geq 1}$ стаціонарними не є.

Модель ковзного середнього

Детальніші відомості з цієї теми ви можете знайти в статті ^[en].

Позначення КС(q) стосується моделі ковзного середнього порядку q:

${\displaystyle X_{t}=\mu +\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}+\cdots +\theta _{q}\varepsilon _{t-q}=\mu +\varepsilon _{t}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}\,}$

де ${\displaystyle \theta _{1},\ldots ,\theta _{q}}$ є параметрами моделі, ${\displaystyle \mu }$ є математичним сподіванням ${\displaystyle X_{t}}$ (що часто вважають рівним 0), а ${\displaystyle \varepsilon _{t}}$, ${\displaystyle \varepsilon _{t-1}}$, … є, знов-таки, членами похибки білого шуму.

Модель АРКС

Позначення АРКС(p, q) стосується моделі з p авторегресійними членами та q членами ковзного середнього. Ця модель містить моделі АР(p) та КС(q),

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

Загальну модель АРКС було описано 1951 року в дисертації ^[en], який використовував математичний аналіз (ряд Лорана та аналіз Фур'є) та статистичне висновування. Моделі АРКС було популяризовано книгою 1970 року ^[en] та ^[en], які виклали ітераційний метод (^[en]) для їхнього вибирання та оцінювання. Цей метод був корисним для многочленів нижчих порядків (третього або нижчого ступеня).

Зауваження про члени похибки

Члени похибки ${\displaystyle \varepsilon _{t}}$, як правило, вважають незалежними однаково розподіленими випадковими величинами (НОР), відбираними з нормального розподілу з нульовим середнім: ${\displaystyle \varepsilon _{t}}$ ~ N(0, σ²), де σ² є дисперсією. Ці припущення може бути послаблено, але це змінить властивості моделі. Зокрема, зміна припущення про НОР призведе до принципової відмінності.

Визначення в термінах оператора запізнювання

В деяких текстах ці моделі визначатимуть у термінах (оператора запізнювання) L. В цих термінах модель АР(p) подають як

${\displaystyle \varepsilon _{t}=\left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\varphi (L)X_{t}\,}$

де ${\displaystyle \varphi }$ представляє многочлен

${\displaystyle \varphi (L)=1-\sum _{i=1}^{p}\varphi _{i}L^{i}.\,}$

Модель КС(q) подають як

${\displaystyle X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}=\theta (L)\varepsilon _{t},\,}$

де θ представляє многочлен

${\displaystyle \theta (L)=1+\sum _{i=1}^{q}\theta _{i}L^{i}.\,}$

Нарешті, об'єднану модель АРКС(p, q) подають як

${\displaystyle \left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,,}$

або, лаконічніше,

${\displaystyle \varphi (L)X_{t}=\theta (L)\varepsilon _{t}\,}$

або

${\displaystyle {\frac {\varphi (L)}{\theta (L)}}X_{t}=\varepsilon _{t}\,.}$

Альтернативний запис

Деякі автори, включно з ^[en], ^[en] та Рейнзелем, використовують іншу угоду щодо коефіцієнтів авторегресії. Це дозволяє всім многочленам, до яких входить (оператор запізнювання), всюди мати подібний вигляд. Таким чином модель АРКС буде записано як

${\displaystyle \left(1-\sum _{i=1}^{p}\phi _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,.}$

Більше того, якщо ми встановимо ${\displaystyle \phi _{0}=-1}$ та ${\displaystyle \theta _{0}=1}$, то отримаємо ще елегантніше формулювання: ${\displaystyle -\sum _{i=0}^{p}\phi _{i}L^{i}\;X_{t}=\sum _{i=0}^{q}\theta _{i}L^{i}\;\varepsilon _{t}\,.}$

Пристосовування моделей

Вибір р та q

Пошук відповідних значень p та q в моделі АРКС(p, q) може бути полегшено шляхом побудови ^[en] задля оцінки p, а також використання (автокореляційних функцій) задля оцінки q. Додаткову інформацію можливо підбирати, розглядаючи ті ж функції для залишків моделі, пристосованої початковим вибором p та q.

Броквел та Девіс для пошуку р та q радять застосовувати інформаційний критерій Акаіке (ІКА).

Оцінювання коефіцієнтів

Моделі АРКС після вибору р та q загалом може бути пристосовувано за допомогою регресії найменших квадратів задля знаходження значень параметрів, які мінімізують член похибки. Загалом доброю практикою вважають знаходити найменші значення р та q, які забезпечують прийнятну пристосованість до даних. Для чистої моделі АР для забезпечення пристосованості можна використовувати рівняння Юла-Вокера.

Втілення в статистичних пакетах

• В R функцію arima (зі стандартного пакунку stats) описано в ARIMA Modelling of Time Series [ 17 лютого 2019 у Wayback Machine.]. Пакунки розширення містять пов'язану та розширену функціональність, наприклад, пакунок tseries містить функцію arma, описану в «Fit ARMA Models to Time Series»; пакунок fracdiff [ 8 жовтня 2016 у Wayback Machine.] містить fracdiff() для дробово інтегрованих АРКС-процесів тощо. Перегляд задач CRAN на Time Series [ 18 січня 2017 у Wayback Machine.] містить посилання на більшість із них.
• Mathematica має повну бібліотеку функцій часових рядів, включно з АРКС.
• MATLAB містить такі функції, як arma [ 11 квітня 2018 у Wayback Machine.] та ar [ 2 квітня 2018 у Wayback Machine.] для оцінювання моделей АР, АРК (авторегресійні екзогенні) та АРКСК. Для отримання додаткової інформації див. System Identification Toolbox [ 2 квітня 2018 у Wayback Machine.] та Econometrics Toolbox [ 16 лютого 2018 у Wayback Machine.].
• Julia має деякі підтримувані спільнотою пакунки, що втілюють пристосовування за допомогою моделі АРКС, такі як arma.jl [ 29 жовтня 2020 у Wayback Machine.].
• Модуль Python Statsmodels містить багато моделей та функцій для аналізу часових рядів, включно з АРКС. Колишня частина (scikit-learn), він тепер є автономним і добре поєднується з (pandas). Докладніше див. тут [ 19 листопада 2016 у Wayback Machine.].
• має втілення моделей АРКС на основі Python, включно з баєсовими моделями АРКС.
• Чисельні бібліотеки (IMSL) — це бібліотеки функціональності чисельного аналізу, включно з процедурами АРКС та АРІКС, втіленими стандартними мовами програмування, такими як C, Java, C# .NET та Fortran.
• ^[en] також може оцінювати моделі АРКС, див. тут, де про це згадувано [ 4 квітня 2008 у Wayback Machine.].
• GNU Octave може оцінювати моделі АР за допомогою функцій з додаткового пакунку octave-forge [ 17 серпня 2010 у Wayback Machine.].
• (Stata) містить функцію arima, яка може оцінювати моделі АРКС та (АРІКС). Докладніше див. тут [ 26 липня 2020 у Wayback Machine.].
•  — це бібліотека Java чисельних методів, включно з комплексними статистичними пакунками, в яких одновимірні/багатовимірні моделі АРКС, АРІКС, АРКСК та ін. втілено за допомогою об'єктно-орієнтованого підходу. Ці втілення описано в «SuanShu, a Java numerical and statistical library» [ 22 березня 2018 у Wayback Machine.].
• ^[en] має економетричний пакунок, ETS, який оцінює моделі АРІКС. .

Застосування

АРКС є доречною, коли система є функцією як ряду не спостережуваних струсів (частина КС, або ковзне середнє), так і своєї власної поведінки. Наприклад, ціни акцій можуть струшуватися основною інформацією, а також демонструвати технічні прямування та ефекти ^[en] через учасників ринку.^[]

Узагальнення

Якщо не вказано інше, то залежність X_t від минулих значень та членів похибки ε_t вважається лінійною. Якщо ця залежність є нелінійною, то модель спеціально називають моделлю нелінійного ковзного середнього (НКС, англ. nonlinear moving average, NMA), нелінійної авторегресії (НАР, англ. nonlinear autoregressive, NAR) або нелінійної авторегресії — ковзного середнього (НАРКС, англ. nonlinear autoregressive–moving-average, NARMA).

Моделі авторегресії — ковзного середнього може бути узагальнювано й іншими способами. Див. також (моделі авторегресії — умовної гетероскедастичності) (АРУГ, англ. autoregressive conditional heteroskedasticity, ARCH) та (моделі авторегресії — інтегрованого ковзного середнього) (АРІКС, англ. autoregressive integrated moving average, ARIMA). Якщо потрібно пристосовуватися до декількох часових рядів, то можна пристосовувати векторну ​​модель АРІКС (або ВАРІКС, англ. VARIMA). Якщо часовий ряд, про який йдеться, демонструє довгу пам'ять, то може бути доцільним дробове (англ. fractional) моделювання АРІКС (ДАРІКС, англ. FARIMA, інколи зване АРДІКС, англ. ARFIMA): див. ^[en]. Якщо вважається, що дані містять сезонні ефекти, то їх можна моделювати моделлю САРІКС (сезонна АРІКС, англ. SARIMA), або періодичною (англ. periodic) моделлю АРКС.

Іншим узагальненням є багатомасштабна авторегресійна (БАР, англ. multiscale autoregressive, MAR) модель. Модель БАР індексовано вузлами дерева, тоді як стандартну авторегресійну модель (дискретного часу) індексовано цілими числами.

Зауважте, що модель АРКС є одновимірною моделлю. Розширеннями для багатовимірного випадку є векторна авторегресія (ВАР, англ. vector autoregression, VAR) та векторна авторегресія — ковзне середнє (ВАРКС, англ. Vector Autoregression Moving-Average, VARMA).

Модель авторегресії — ковзного середнього з екзогенними входами (модель АРКСК, ARMAX)

Позначення АРКСК(p, q, b) стосується моделі з p авторегресійними членами, q членами ковзного середнього та b членами екзогенних входів. Ця модель містить моделі АР(p) та КС(q), а також лінійну комбінацію останніх b членів відомих і зовнішніх часових рядів ${\displaystyle d_{t}}$. Її задають як

${\displaystyle X_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}+\sum _{i=1}^{b}\eta _{i}d_{t-i}.\,}$

де ${\displaystyle \eta _{1},\ldots ,\eta _{b}}$ — параметри екзогенного входу ${\displaystyle d_{t}}$.

Було визначено деякі нелінійні варіанти моделей з екзогенними змінними: див., наприклад, (нелінійну авторегресійну екзогенну модель).

Статистичні пакети втілюють модель АРКСК за допомогою «екзогенних», або «незалежних» змінних. При інтерпретуванні виходу цих пакетів слід бути обережними, оскільки оцінювані параметри зазвичай (наприклад, в R та gretl) стосуються регресії

${\displaystyle X_{t}-m_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}(X_{t-i}-m_{t-i})+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

де до m_t входять всі екзогенні (або незалежні) змінні:

${\displaystyle m_{t}=c+\sum _{i=0}^{b}\eta _{i}d_{t-i}.\,}$

Див. також

• (Авторегресійне інтегроване ковзне середнє) (АРІКС, ARIMA)
• (Експоненційне згладжування)
• (Лінійне передбачувальне кодування)
• ^[en]

Примітки

1. (1970). Multiple time series. Wiley series in probability and mathematical statistics. New York: John Wiley and Sons. (англ.)
2. Whittle, P. (1951). Hypothesis Testing in Time Series Analysis. Almquist and Wicksell. (англ.) Whittle, P. (1963). Prediction and Regulation. English Universities Press. ISBN . (англ.)

   Перевидано як Whittle, P. (1983). Prediction and Regulation by Linear Least-Square Methods. University of Minnesota Press. ISBN . (англ.)

3. Hannan та Deistler, (1988, p. 227) : ; Deistler, Manfred (1988). Statistical theory of linear systems. Wiley series in probability and mathematical statistics. New York: John Wiley and Sons.
4. Box, George; Jenkins, Gwilym M.; Reinsel, Gregory C. (1994). Time Series Analysis: Forecasting and Control (вид. Third). Prentice-Hall. ISBN . (англ.)
5. Brockwell, P. J.; Davis, R. A. (2009). Time Series: Theory and Methods (вид. 2nd). New York: Springer. с. 273. ISBN . (англ.)
6. Функції часових рядів в Mathematica [ 24 листопада 2011 у Wayback Machine.] (англ.)
7. ARIMA Modelling of Time Series [ 17 лютого 2019 у Wayback Machine.], документація R

Література

• Mills, Terence C. (1990). Time Series Techniques for Economists. Cambridge University Press. ISBN . (англ.)
• Percival, Donald B.; Walden, Andrew T. (1993). Spectral Analysis for Physical Applications. Cambridge University Press. ISBN . (англ.)
• Francq, C.; Zakoïan, J.-M. (2005), Recent results for linear time series models with non independent innovations, у Duchesne, P.; Remillard, B. (ред.), Statistical Modeling and Analysis for Complex Data Problems, Springer, с. 241—265. (англ.)