Автокореляція

Автокореля́ція (англ. autocorrelation), іноді відома як послідо́вна кореля́ція (англ. serial correlation), у випадку ^[en] — це кореляція сигналу із затриманою копією самого себе як функція від затримки. Неформально — це схожість між спостереженнями як функція від відставання в часі (англ. time lag) між ними. Аналіз автокореляції — це математичний інструмент для пошуку повторюваних закономірностей, таких як наявність періодичного сигналу, заекранованого ^[en], або визначення ^[en] в сигналі, на яку натякають його гармонічні частоти. Його часто використовують в обробці сигналів для аналізу функцій або рядів значень, таких як сигнали часової області.

Нагорі: графік ряду зі 100 випадкових чисел, що приховують функцію синуса. Внизу: ця функція синуса, виявлена в корелограмі, отриманій за допомогою автокореляції.

Наочне порівняння згортки, взаємної кореляції та автокореляції. Для операцій, що включають функцію f, і виходячи з припущення, що висота f становить 1,0, значення результату в 5 різних точках показано затіненою областю під кожною точкою. Також, вертикальна симетрія f є причиною того, що ${\displaystyle g*f}$ та ${\displaystyle f\star g}$ у цьому прикладі ідентичні.

Різні галузі досліджень визначають автокореляцію по-різному, й не всі ці визначення є рівнозначними. У деяких галузях цей термін використовують взаємозамінно з автоковаріацією.

Особливими видами процесів із автокореляцією є процеси з ^[en], ^[en], ^[en] та ^[en].

Автокореляція стохастичних процесів

У статистиці автокореляція дійсного або комплексного випадкового процесу — це кореляція Пірсона між значеннями цього процесу в різні моменти часу як функція від двох моментів часу, або від відставання в часі. Нехай ${\displaystyle \left\{X_{t}\right\}}$ — випадковий процес, а ${\displaystyle t}$ — будь-яка точка в часі (${\displaystyle t}$ може бути цілим числом для ^[en], або дійсним числом для ^[en] процесу). Тоді ${\displaystyle X_{t}}$ — це значення (або ^[en]), отримане в результаті заданого ^[en] процесу в момент часу ${\displaystyle t}$. Припустімо, що цей процес у момент часу ${\displaystyle t}$ має середнє значення ${\displaystyle \mu _{t}}$ та дисперсію ${\displaystyle \sigma _{t}^{2}}$, для будь-якого ${\displaystyle t}$. Тоді визначенням автокореляці́йної фу́нкції (англ. auto-correlation function) між моментами часу ${\displaystyle t_{1}}$ та ${\displaystyle t_{2}}$ є^{:с.388:с.165}

${\displaystyle \operatorname {R} _{XX}(t_{1},t_{2})=\operatorname {E} \left[X_{t_{1}}{\overline {X}}_{t_{2}}\right]}$

(1)

де ${\displaystyle \operatorname {E} }$ — оператор математичного сподівання, а риска подає комплексне спряження. Зауважте, що це математичне сподівання може не бути ^[en].

Віднімання середнього значення перед множенням дає автоковаріаці́йну фу́нкцію (англ. auto-covariance function) між моментами часу ${\displaystyle t_{1}}$ та ${\displaystyle t_{2}}$:^{:с.392:с.168}

${\displaystyle \operatorname {K} _{XX}(t_{1},t_{2})=\operatorname {E} \left[(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}\right]=\operatorname {E} \left[X_{t_{1}}{\overline {X}}_{t_{2}}\right]-\mu _{t_{1}}{\overline {\mu }}_{t_{2}}}$

(2)

Зауважте, що цей вираз не є однозначно визначеним для всіх часових рядів та процесів, оскільки середнього значення може не існувати, або дисперсія може бути нульовою (для сталого процесу) чи нескінченною (для процесів із розподілом без коректних моментів, таких як певні типи степеневого розподілу).

Визначення для стаціонарного в широкому сенсі стохастичного процесу

Якщо ${\displaystyle \left\{X_{t}\right\}}$ — стаціонарний у широкому сенсі процес, то середнє значення ${\displaystyle \mu }$ та дисперсія ${\displaystyle \sigma ^{2}}$ незалежні від часу, й відтак автоковаріаційна функція залежить лише від відставання між ${\displaystyle t_{1}}$ та ${\displaystyle t_{2}}$: автоковаріація залежить лише від часової відстані між парою значень, але не від їхнього положення в часі. Це відтак означає, що автоковаріацію та автокореляцію можливо виразити як функцію від відставання в часі, й що вона буде парною функцією відставання в часі ${\displaystyle \tau =t_{2}-t_{1}}$. Це дає звичніші вигляди автокореляційної функції^:с.395

${\displaystyle \operatorname {R} _{XX}(\tau )=\operatorname {E} \left[X_{t+\tau }{\overline {X}}_{t}\right]}$

(3)

та автоковаріаційної функції:

${\displaystyle \operatorname {K} _{XX}(\tau )=\operatorname {E} \left[(X_{t+\tau }-\mu ){\overline {(X_{t}-\mu )}}\right]=\operatorname {E} \left[X_{t+\tau }{\overline {X}}_{t}\right]-\mu {\overline {\mu }}}$

(4)

Унормовування

Поширеною практикою в деяких дисциплінах (наприклад, у статистиці та аналізі часових рядів) є унормовувати автоковаріаційну функцію, щоб отримувати залежний від часу коефіцієнт кореляції Пірсона. Проте в деяких інших дисциплінах (наприклад, в інженерії) унормовування зазвичай пропускають, а терміни «автокореляція» та «автоковаріація» використовують як взаємозамінні.

Визначення коефіцієнта автокореляції стохастичного процесу:^:с.169

$${\displaystyle \rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{t_{1}}\sigma _{t_{2}}}}={\frac {\operatorname {E} \left[(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}\right]}{\sigma _{t_{1}}\sigma _{t_{2}}}}.}$$

Якщо функція ${\displaystyle \rho _{XX}}$ однозначно визначена, її значення мусять лежати в діапазоні ${\displaystyle [-1,1]}$, причому 1 вказує на ідеальну кореляцію, а −1 — на ідеальну антикореляцію.

Для слабко стаціонарного, стаціонарного в широкому сенсі (СШС) процесу, визначення таке:

$${\displaystyle \rho _{XX}(\tau )={\frac {\operatorname {K} _{XX}(\tau )}{\sigma ^{2}}}={\frac {\operatorname {E} \left[(X_{t+\tau }-\mu ){\overline {(X_{t}-\mu )}}\right]}{\sigma ^{2}}}}$$

де

$${\displaystyle \operatorname {K} _{XX}(0)=\sigma ^{2}.}$$

Унормовування важливе як тому, що інтерпретація автокореляції як кореляції забезпечує безмасштабну міру сили статистичної залежності, так і тому, що воно впливає на статистичні властивості оцінюваних автокореляцій.

Властивості

Властивість симетрії

Той факт, що автокореляційна функція ${\displaystyle \operatorname {R} _{XX}}$ парна, може бути сформульовано як^:с.171

$${\displaystyle \operatorname {R} _{XX}(t_{1},t_{2})={\overline {\operatorname {R} _{XX}(t_{2},t_{1})}}}$$

відповідно, для СШС процесу:^:с.173

$${\displaystyle \operatorname {R} _{XX}(\tau )={\overline {\operatorname {R} _{XX}(-\tau )}}.}$$

Максимум в нулі

Для СШС процесу^:с.174

$${\displaystyle \left|\operatorname {R} _{XX}(\tau )\right|\leq \operatorname {R} _{XX}(0)}$$

Зверніть увагу, що ${\displaystyle \operatorname {R} _{XX}(0)}$ завжди дійсна.

Нерівність Коші — Буняковського

Нерівність Коші — Буняковського, нерівність для стохастичних процесів:^:с.392

$${\displaystyle \left|\operatorname {R} _{XX}(t_{1},t_{2})\right|^{2}\leq \operatorname {E} \left[|X_{t_{1}}|^{2}\right]\operatorname {E} \left[|X_{t_{2}}|^{2}\right]}$$

Автокореляція білого шуму

Автокореляція неперервночасового сигналу білого шуму матиме сильний пік (представлений дельта-функцією Дірака) при ${\displaystyle \tau =0}$, й дорівнюватиме ${\displaystyle 0}$ для всіх інших ${\displaystyle \tau }$.

Теорема Вінера — Хінчина

^[en] пов'язує автокореляційну функцію ${\displaystyle \operatorname {R} _{XX}}$ зі спектральною густиною потужності ${\displaystyle S_{XX}}$ через перетворення Фур'є:

$${\displaystyle \operatorname {R} _{XX}(\tau )=\int _{-\infty }^{\infty }S_{XX}(f)e^{i2\pi f\tau }\,{\rm {d}}f}$$

$${\displaystyle S_{XX}(f)=\int _{-\infty }^{\infty }\operatorname {R} _{XX}(\tau )e^{-i2\pi f\tau }\,{\rm {d}}\tau .}$$

Для дійснозначних функцій симетрична автокореляційна функція має дійсне симетричне перетворення, тож ^[en] можливо виразити в термінах лише дійсних косинусів:

$${\displaystyle \operatorname {R} _{XX}(\tau )=\int _{-\infty }^{\infty }S_{XX}(f)\cos(2\pi f\tau )\,{\rm {d}}f}$$

$${\displaystyle S_{XX}(f)=\int _{-\infty }^{\infty }\operatorname {R} _{XX}(\tau )\cos(2\pi f\tau )\,{\rm {d}}\tau .}$$

Автокореляція випадкових векторів

(Потенційно залежна від часу) автокореляці́йна ма́триця (англ. auto-correlation matrix, також звана другим моментом) (потенційно залежного від часу) випадкового вектора ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$ — це матриця ${\displaystyle n\times n}$, яка містить як елементи автокореляції всіх пар елементів випадкового вектора ${\displaystyle \mathbf {X} }$. Автокореляційну матрицю використовують у різних алгоритмах цифрової обробки сигналів.

Для випадкового вектора ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$, що містить випадкові елементи, математичне сподівання та дисперсія яких існують, автокореляційну матрицю визначають як^{:с.190:c.334}

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }\triangleq \ \operatorname {E} \left[\mathbf {X} \mathbf {X} ^{\rm {T}}\right]}$

(5)

де ${\displaystyle {}^{\rm {T}}}$ позначує транспонування, й має розміри ${\displaystyle n\times n}$.

У поелементному записі:

$${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }={\begin{bmatrix}\operatorname {E} [X_{1}X_{1}]&\operatorname {E} [X_{1}X_{2}]&\cdots &\operatorname {E} [X_{1}X_{n}]\\\\\operatorname {E} [X_{2}X_{1}]&\operatorname {E} [X_{2}X_{2}]&\cdots &\operatorname {E} [X_{2}X_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{n}X_{1}]&\operatorname {E} [X_{n}X_{2}]&\cdots &\operatorname {E} [X_{n}X_{n}]\\\\\end{bmatrix}}}$$

Якщо ${\displaystyle \mathbf {Z} }$ — ^[en], то автокореляційну матрицю натомість визначають як

$${\displaystyle \operatorname {R} _{\mathbf {Z} \mathbf {Z} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {Z} ^{\rm {H}}].}$$

Тут ${\displaystyle {}^{\rm {H}}}$ позначує ермітове транспонування.

Наприклад, якщо ${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$ — випадковий вектор, то ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$ — матриця ${\displaystyle 3\times 3}$, чиїм ${\displaystyle (i,j)}$-м елементом є ${\displaystyle \operatorname {E} [X_{i}X_{j}]}$.

Властивості автокореляційної матриці

• Автокореляційна матриця — ермітова матриця для комплексних випадкових векторів, і симетрична матриця для дійсних випадкових векторів.^:с.190
• Автоковаріаційна матриця додатно напіввизначена,^:с.190 тобто, ${\displaystyle \mathbf {a} ^{\mathrm {T} }\operatorname {R} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0}$ для всіх ${\displaystyle \mathbf {a} \in \mathbb {R} ^{n}}$ для дійсного випадкового вектора, й відповідно ${\displaystyle \mathbf {a} ^{\mathrm {H} }\operatorname {R} _{\mathbf {Z} \mathbf {Z} }\mathbf {a} \geq 0}$ для всіх ${\displaystyle \mathbf {a} \in \mathbb {C} ^{n}}$ у разі комплексного випадкового вектора.
• Усі власні значення автокореляційної матриці є дійсними та невід'ємними.
• Автоковаріаційна матриця пов'язана з автокореляціною матрицею наступним чином:
  $${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}}$$
  Відповідно, для комплексних випадкових векторів:
  $${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ])(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ])^{\rm {H}}]=\operatorname {R} _{\mathbf {Z} \mathbf {Z} }-\operatorname {E} [\mathbf {Z} ]\operatorname {E} [\mathbf {Z} ]^{\rm {H}}}$$

Автокореляція детермінованих сигналів

В обробці сигналів наведене вище визначення часто використовують без унормовування, тобто без віднімання середнього значення й ділення на дисперсію. Коли автокореляційну функцію унормовують за середнім значенням та дисперсією, її іноді називають коефіціє́нтом автокореля́ції (англ. autocorrelation coefficient) або автоковаріаційною функцією.

Автокореляція неперервночасового сигналу

За заданого сигналу ${\displaystyle f(t)}$ неперервну автокореляцію ${\displaystyle R_{ff}(\tau )}$ найчастіше визначають як неперервний взаємнокореляційний інтеграл ${\displaystyle f(t)}$ із самим собою, з відставанням ${\displaystyle \tau }$.^:с.411

${\displaystyle R_{ff}(\tau )=\int _{-\infty }^{\infty }f(t+\tau ){\overline {f(t)}}\,{\rm {d}}t=\int _{-\infty }^{\infty }f(t){\overline {f(t-\tau )}}\,{\rm {d}}t}$

(6)

де ${\displaystyle {\overline {f(t)}}}$ являє собою комплексне спряження ${\displaystyle f(t)}$. Зверніть увагу, що параметр ${\displaystyle t}$ в інтегралі є фіктивною змінною, необхідною лише для обчислення інтеграла. Вона не несе конкретного змісту.

Автокореляція дискретночасового сигналу

Дискретна автокореляція ${\displaystyle R}$ за відставання ${\displaystyle \ell }$ для дискретночасового сигналу часу ${\displaystyle y(n)}$:

${\displaystyle R_{yy}(\ell )=\sum _{n\in Z}y(n)\,{\overline {y(n-\ell )}}}$

(7)

Наведені вище визначення працюють для квадратно інтегровних або квадратно сумовних сигналів, тобто, зі скінченною енергією. Сигнали, що «тривають вічно», натомість розглядають як випадкові процеси, й у цьому випадку необхідні відмінні визначення, на основі математичних сподівань. Для стаціонарних у широкому сенсі випадкових процесів автокореляції визначають як

$${\displaystyle {\begin{aligned}R_{ff}(\tau )&=\operatorname {E} \left[f(t){\overline {f(t-\tau )}}\right]\\R_{yy}(\ell )&=\operatorname {E} \left[y(n)\,{\overline {y(n-\ell )}}\right].\end{aligned}}}$$

Для процесів, що не є стаціонарними, вони також будуть функціями від ${\displaystyle t}$ та ${\displaystyle n}$.

Для процесів, що є також ^[en], математичне сподівання можливо замінити границею усереднення за часом. Автокореляцію ергодичного процесу іноді визначають як, або прирівнюють до

$${\displaystyle {\begin{aligned}R_{ff}(\tau )&=\lim _{T\rightarrow \infty }{\frac {1}{T}}\int _{0}^{T}f(t+\tau ){\overline {f(t)}}\,{\rm {d}}t\\R_{yy}(\ell )&=\lim _{N\rightarrow \infty }{\frac {1}{N}}\sum _{n=0}^{N-1}y(n)\,{\overline {y(n-\ell )}}.\end{aligned}}}$$

Ці визначення мають ту перевагу, що вони дають осмислені однозначно визначені однопараметрові результати для періодичних функцій, навіть якщо ці функції не є результатом стаціонарних ергодичних процесів.

Крім того, сигнали, які тривають вічно, можливо розглядати за допомогою аналізу віконних автокореляційних функцій (англ. short-time autocorrelation function analysis), застосовуючи скінченні інтеграли за часом. (Про пов'язаний процес див. віконне перетворення Фур'є.)

Визначення для періодичних сигналів

Якщо ${\displaystyle f}$ — неперервна періодична функція з періодом ${\displaystyle T}$, то інтегрування від ${\displaystyle -\infty }$ до ${\displaystyle \infty }$ замінюють інтегруванням над будь-яким інтервалом ${\displaystyle [t_{0},t_{0}+T]}$ довжини ${\displaystyle T}$:

$${\displaystyle R_{ff}(\tau )\triangleq \int _{t_{0}}^{t_{0}+T}f(t+\tau ){\overline {f(t)}}\,dt}$$

що рівнозначне

$${\displaystyle R_{ff}(\tau )\triangleq \int _{t_{0}}^{t_{0}+T}f(t){\overline {f(t-\tau )}}\,dt}$$

Властивості

Далі ми опишемо властивості лише одновимірних автокореляцій, оскільки більшість властивостей легко переносяться з одновимірного випадку на багатовимірні. Ці властивості справедливі для стаціонарних у широкому сенсі процесів.

• Основною властивістю автокореляції є симетрія, ${\displaystyle R_{ff}(\tau )=R_{ff}(-\tau )}$, що легко довести з визначення. У неперервному випадку
  • автокореляція є парною функцією ${\displaystyle R_{ff}(-\tau )=R_{ff}(\tau )}$, коли ${\displaystyle f}$ є дійсною функцією, і
  • автокореляція є ^[en] ${\displaystyle R_{ff}(-\tau )=R_{ff}^{*}(\tau )}$, коли ${\displaystyle f}$ є комплексною функцією.
• Неперервна автокореляційна функція досягає свого піку в початку координат, де вона набуває дійсного значення, тобто, для будь-якої затримки ${\displaystyle \tau }$, ${\displaystyle |R_{ff}(\tau )|\leq R_{ff}(0)}$.^:с.410 Це — наслідок нерівності перестановок. Той самий результат має місце і в дискретному випадку.
• Автокореляція періодичної функції сама по собі є періодичною, з тим самим періодом.
• Автокореляція суми двох абсолютно некорельованих функцій (взаємна кореляція дорівнює нулеві для всіх ${\displaystyle \tau }$) є сумою автокореляцій кожної з функцій окремо.
• Оскільки автокореляція є особливим видом взаємної кореляції, вона зберігає всі властивості взаємної кореляції.
• За допомогою символу ${\displaystyle *}$ для подання згортки, й функції ${\displaystyle g_{-1}}$, що маніпулює функцією ${\displaystyle f}$, й визначена як ${\displaystyle g_{-1}(f)(t)=f(-t)}$, визначення для ${\displaystyle R_{ff}(\tau )}$ може бути записано так:
  $${\displaystyle R_{ff}(\tau )=(f*g_{-1}({\overline {f}}))(\tau )}$$

Багатовимірна автокореляція

Багатовимірну автокореляцію визначають аналогічно. Наприклад, у трьох вимірах автокореляцією квадратно-сумовного дискретного сигналу була би

$${\displaystyle R(j,k,\ell )=\sum _{n,q,r}x_{n,q,r}\,{\overline {x}}_{n-j,q-k,r-\ell }.}$$

Коли перед обчисленням автокореляційної функції від сигналів віднімають середні значення, отриману функцію зазвичай називають автоковаріаційною функцією.

Ефективне обчислення

Для даних, виражених як дискретна послідовність, часто необхідно обчислювати автокореляцію з високою обчислювальною ефективністю. ^[en], що ґрунтується на визначенні обробки сигналу ${\displaystyle R_{xx}(j)=\sum _{n}x_{n}\,{\overline {x}}_{n-j}}$, можливо використовувати, коли розмір сигналу невеликий. Наприклад, для обчислення автокореляції послідовності дійсного сигналу ${\displaystyle x=(2,3,-1)}$ (тобто, ${\displaystyle x_{0}=2,x_{1}=3,x_{2}=-1}$, й ${\displaystyle x_{i}=0}$ для всіх інших значень i) вручну ми спочатку з'ясовуємо, що щойно наведене визначення таке саме, як і «звичайне» множення, але зі зміщеннями праворуч, де кожне вертикальне додавання дає автокореляцію для певних значень відставання:

$${\displaystyle {\begin{array}{rrrrrr}&2&3&-1\\\times &2&3&-1\\\hline &-2&-3&1\\&&6&9&-3\\+&&&4&6&-2\\\hline &-2&3&14&3&-2\end{array}}}$$

Таким чином, потрібна послідовність автокореляції — ${\displaystyle R_{xx}=(-2,3,14,3,-2)}$, де ${\displaystyle R_{xx}(0)=14,}$${\displaystyle R_{xx}(-1)=R_{xx}(1)=3,}$ а ${\displaystyle R_{xx}(-2)=R_{xx}(2)=-2,}$ автокореляція для інших значень відставання дорівнює нулеві. В цьому обчисленні ми не виконуємо операцію перенесення під час додавання, як це зазвичай відбувається при звичайному множенні. Зауважте, що ми можемо зменшити кількість необхідних операцій вдвічі, використовуючи притаманну автокореляції симетрію. Якщо сигнал виявляється періодичним, тобто ${\displaystyle x=(\ldots ,2,3,-1,2,3,-1,\ldots ),}$ то ми отримуємо циклічну автокореляцію (англ. circular autocorrelation, подібну до ^[en]), де лівий та правий хвости попередньої автокореляційної послідовності перекриватимуться й даватимуть ${\displaystyle R_{xx}=(\ldots ,14,1,1,14,1,1,\ldots )}$, що має той самий період, що й послідовність сигналу ${\displaystyle x.}$ Цю процедуру можливо розглядати як застосування властивості згортки Z-перетворення дискретного сигналу.

В той час як алгоритм грубої сили має порядок n², існує декілька ефективних алгоритмів, які можуть обчислювати автокореляцію в межах порядку n log(n). Наприклад, ^[en] дозволяє обчислювати автокореляцію з сирих даних X(t) за допомогою двох швидких перетворень Фур'є (англ. fast Fourier transforms, FFT):^[]

$${\displaystyle {\begin{aligned}F_{R}(f)&=\operatorname {FFT} [X(t)]\\S(f)&=F_{R}(f)F_{R}^{*}(f)\\R(\tau )&=\operatorname {IFFT} [S(f)]\end{aligned}}}$$

де IFFT позначує обернене швидке перетворення Фур'є (англ. inverse fast Fourier transform). Зірочка позначує комплексне спряження.

Як альтернатива, кореляцію для декількох τ можливо виконувати, використовуючи обчислення грубою сили для низьких значень τ, а потім поступово об'єднуючи дані X(t) з логарифмічною густиною для обчислення для вищих значень, що дає ту ж ефективність n log(n), але з нижчими вимогами до пам'яті.

Оцінювання

Для дискретного процесу з відомими середнім значенням та дисперсією, для якого ми спостерігаємо ${\displaystyle n}$ спостережень ${\displaystyle \{X_{1},\,X_{2},\,\ldots ,\,X_{n}\}}$, оцінку коефіцієнта автокореляції можна отримати через

$${\displaystyle {\hat {R}}(k)={\frac {1}{(n-k)\sigma ^{2}}}\sum _{t=1}^{n-k}(X_{t}-\mu )(X_{t+k}-\mu )}$$

для будь-якого додатного цілого ${\displaystyle k<n}$. Коли істинне середнє значення ${\displaystyle \mu }$ та дисперсія ${\displaystyle \sigma ^{2}}$ відомі, ця оцінка є незмі́щеною (англ. unbiased). Якщо істинне середнє значення та дисперсія процесу невідомі, є декілька можливостей:

• Якщо ${\displaystyle \mu }$ та ${\displaystyle \sigma ^{2}}$ замінити стандартними формулами для вибіркового середнього та вибіркової дисперсії, то це змі́щена оці́нка (англ. biased estimate).
• Оцінка на основі ^[en] замінює ${\displaystyle n-k}$ у наведеній вище формулі на ${\displaystyle n}$. Ця оцінка завжди зміщена; проте, вона зазвичай має меншу середньоквадратичну похибку.
• Інші можливості випливають із розгляду двох частин даних ${\displaystyle \{X_{1},\,X_{2},\,\ldots ,\,X_{n-k}\}}$ та ${\displaystyle \{X_{k+1},\,X_{k+2},\,\ldots ,\,X_{n}\}}$ окремо, та обчислення окремих вибіркових середніх та/або вибіркових дисперсій для використання при визначенні оцінки.^[]

Перевага оцінок останнього типу полягає в тому, що набір оцінених автокореляцій, як функція від ${\displaystyle k}$, потім формує функцію, яка є дійсною автокореляцією в тому сенсі, що можливо визначити теоретичний процес, що має саме таку автокореляцію. Інші оцінки можуть страждати від проблеми, що, якщо їх використовують для обчислення дисперсії лінійної комбінації ${\displaystyle X}$-ів, то обчислювана дисперсія може виявлятися від'ємною.

Регресійний аналіз

У регресійному аналізі з використанням даних часових рядів автокореляцію у цільовій змінній зазвичай моделюють авторегресійною моделлю (АР, англ. autoregressive model, AR), ^[en] (КС, англ. moving average model, MA), їхнім поєднанням як моделлю авторегресії з ковзним середнім (АРКС, англ. autoregressive-moving-average model, ARMA) або розширенням крайнього, званим моделлю авторегресії з інтегрованим ковзним середнім (АРІКС, англ. autoregressive integrated moving average model, ARIMA). При множинних взаємопов'язаних рядах даних використовують векторну авторегресію (ВАР, англ. vector autoregression, VAR) або її розширення.

У ^[en] (ЗНК, англ. ordinary least squares, OLS) адекватність специфікації моделі можливо частково перевіряти, встановлюючи, чи існує автокореляція залишків регресії. Проблемну автокореляцію похибок, що самі по собі неспостережні, зазвичай можливо виявляти через те, що вона створює автокореляцію у спостережуваних залишках. (Похибки також відомі як «члени похибки», англ. error terms, в економетрії.) Автокореляція похибок порушує припущення звичайних найменших квадратів, що члени похибки некорельовані, що означає незастосовність теореми Гауса — Маркова, і що оцінювачі ЗНК вже не є найкращими лінійними незміщеними оцінювачами (НЛНО, англ. Best Linear Unbiased Estimators, BLUE). Хоч це й не зміщує оцінок коефіцієнтів ЗНК, але коли автокореляції похибок при малих відставання є додатними, то стандартні похибки, як правило, недооцінюються (а ^[en] завищуються).

Традиційною перевіркою на наявність автокореляції першого порядку є критерій Дарбіна — Уотсона, або, якщо пояснювальні змінні включають залежну змінну з відставанням, h-критерій Дарбіна. Проте, Дарбіна — Уотсона можливо лінійно відобразити на кореляцію Пірсона між значеннями та їхніми відставаннями. Гнучкішим критерієм, що охоплює автокореляцію вищих порядків, і є застосовним незалежно від того, чи включають незалежні змінні відставання залежної змінної, є ^[en]. Він включає допоміжну регресію залишків, отримуваних в результаті оцінки цільової моделі, на (а) первинні незалежні змінні, та (б) k відставань залишків, де «k» є порядком цього критерію. Найпростішим варіантом статистичного критерію з цієї допоміжної регресії є TR ², де T — розмір вибірки, а R ² — коефіцієнт детермінації. За нульової гіпотези відсутності автокореляції ця статистика асимптотично має розподіл ${\displaystyle \chi ^{2}}$ з k ступенями вільності.

До відповідей на ненульову автокореляцію належать ^[en] та ^[en] (гетероскедастично та автокореляційно стійкий, англ. Heteroskedasticity and Autocorrelation Consistent, HAC).

В оцінюванні ^[en] (КС) функцію автокореляції використовують, щоби визначати, яку кількість членів відставання буде доречно включити. Це ґрунтується на тому факті, що для процесу КС порядку q маємо ${\displaystyle R(\tau )\neq 0}$ для ${\displaystyle \tau =0,1,\ldots ,q}$, й ${\displaystyle R(\tau )=0}$ для ${\displaystyle \tau >q}$.

Застосування

• Автокореляційний аналіз широко застосовують у флуоресцентній кореляційній спектроскопії, щоби забезпечувати кількісне уявлення про дифузію та хімічні реакції на молекулярному рівні.
• Іншим застосуванням автокореляції є вимірювання оптичних спектрів і вимірювання надкоротких світлових імпульсів, створюваних лазерами, обидва з використанням ^[en].
• Автокореляцію використовують для аналізу даних ^[en], що, зокрема, дозволяє визначати розподіл розмірів нанометрових частинок або міцел, зважених у рідині. Лазер, що світить у суміш, створює ^[en], яка виникає в результаті руху частинок. Автокореляцію цього сигналу можливо аналізувати з точки зору дифузії частинок. З цього, знаючи в'язкість рідини, можливо обчислювати розміри частинок.
• Використовують у системі GPS для уточнення ^[en], або часового зсуву між моментом передачі опорного сигналу на супутниках і моментом часу в приймачі на землі. Для цього приймач генерує копію сигналу 1 023-бітового коду C/A (англ. Coarse/Acquisition), і генерує рядки кодових імпульсів [-1,1] у пакетах по десять за раз, або 10 230 імпульси (1 023 × 10), злегка зміщуючись по ходу, щоби врахувати доплерівський зсув у вхідному супутниковому сигналі, доки сигнал приймачевої копії та коди супутникового сигналу не збіжаться.
• Інтенсивність малокутового рентгенівського розсіювання наноструктурної системи — це перетворенням Фур'є просторової автокореляційної функції електронної густини.
• У науці про поверхню та в сканувальній зондовій мікроскопії автокореляцію використовують для встановлювання зв'язку між морфологією поверхні та функційними характеристиками.
• В оптиці нормовані автокореляції та взаємні кореляції дають ^[en] електромагнітного поля.
• В обробці сигналів автокореляція може давати інформацію про повторювані події, такі як музичні долі (наприклад, щоби визначати темп) або частоти пульсарів, хоч вона й не може визначити положення долі в часі. Її також можуть використовувати, щоб ^[en].
• У музичнім звукозаписі автокореляцію використовують як ^[en] перед обробкою голосу, як ефект дисторшн, або для усунення небажаних помилок і неточностей.
• Дифракціювальники рентгенівських променів використовують автокореляцію в просторі замість часу за допомогою ^[en], щоби полегшувати відновлення «фазової інформації Фур'є» про положення атомів, недоступної за допомогою самої лише дифракції.
• У статистиці просторова автокореляція між положеннями зразків також допомагає оцінювати ^[en] під час вибірки з неоднорідної сукупності.
• Алгоритм ^[en] для аналізу спектрів мас використовує автокореляцію у поєднанні зі взаємною кореляцією, щоб оцінювати подібність спостережуваного спектру до ідеалізованого спектру, що подає якийсь пептид.
• В астрофізиці автокореляцію використовують для вивчення та характеризування просторового розподілу галактик у Всесвіті, та при багатохвильових спостереженнях рентгенівських подвійних малої маси.
• У ^[en] просторова автокореляція стосується кореляції змінної з самою собою в просторі.
• При аналізі даних Монте-Карло марковських ланцюгів автокореляцію необхідно враховувати, щоби правильного визначати похибку.
• У науках про Землю (зокрема в геофізиці) її можливо використовувати для обчислення автокореляційного сейсмічного параметра за допомогою тривимірної сейсмічної зйомки під землею.
• У медичній ультразвуковій візуалізації автокореляцію використовують для унаочнювання кровотоку.
• При ^[en] наявність або відсутність автокореляції в нормі прибутковості активу може впливати на оптимальну частину портфеля для зберігання в цьому активі.

Послідовна залежність

Послідо́вна зале́жність (англ. serial dependence) тісно пов'язана з поняттям автокореляції, але подає окреме поняття (див. кореляцію та залежність). Зокрема, можливо мати послідовну залежність за відсутності (лінійної) кореляції. Проте у деяких областях ці два терміни використовують як синоніми.

Часовий ряд випадкової величини має послідовну залежність, якщо значення в якийсь момент часу ${\displaystyle t}$ цього ряду статистично залежне від значення в інший момент часу ${\displaystyle s}$. Ряд є послідовно незалежним, якщо між будь-якою парою моментів часу залежності немає.

Якщо часовий ряд ${\displaystyle \left\{X_{t}\right\}}$ стаціонарний, то статистична залежність всередині пари ${\displaystyle (X_{t},X_{s})}$ означала би, що існує статистична залежність між усіма парами значень з однаковим відставанням ${\displaystyle \tau =s-t}$.

Див. також

• Автокореляційна матриця
• ^[en]
• ^[en]
• ^[en]
• Взаємна кореляція
• ^[en]
• Кореляційна функція
• Корелограма
• ^[en]
• Флюоресцентна кореляційна спектроскопія
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• ^[en] (перетворення для автокорельованих членів похибки)
• ^[en]
• ^[en]
• ^[en]

Примітки

1. Gubner, John A. (2006). Probability and Random Processes for Electrical and Computer Engineers. Cambridge University Press. ISBN . (англ.)
2. Kun Il Park, Fundamentals of Probability and Stochastic Processes with Applications to Communications, Springer, 2018, (англ.)
3. Papoulis, Athanasius, Probability, Random variables and Stochastic processes, McGraw-Hill, 1991 (англ.)
4. Dunn, Patrick F. (2005). Measurement and Data Analysis for Engineering and Science. New York: McGraw–Hill. ISBN . (англ.)
5. Proakis, John (31 серпня 2001). Communication Systems Engineering (2nd Edition) (вид. 2). Pearson. с. 168. ISBN . (англ.)
6. Box, G. E. P.; Jenkins, G. M.; Reinsel, G. C. (1994). Time Series Analysis: Forecasting and Control (вид. 3rd). Upper Saddle River, NJ: Prentice–Hall. ISBN . (англ.)
7. Frenkel, D.; Smit, B. (2002). chap. 4.4.2. Understanding Molecular Simulation (вид. 2nd). London: Academic Press. ISBN . (англ.)
8. Colberg, P.; Höfling, F. (2011). Highly accelerated simulations of glassy dynamics using GPUs: caveats on limited floating-point precision. ^[en]. 182 (5): 1120—1129. arXiv:0912.3824. Bibcode:2011CoPhC.182.1120C. doi:10.1016/j.cpc.2011.01.009. S2CID 7173093. (англ.)
9. Priestley, M. B. (1982). Spectral Analysis and Time Series. London, New York: Academic Press. ISBN . (англ.)
10. Percival, Donald B.; Andrew T. Walden (1993). Spectral Analysis for Physical Applications: Multitaper and Conventional Univariate Techniques. Cambridge University Press. с. 190–195. ISBN . (англ.)
11. Percival, Donald B. (1993). Three Curious Properties of the Sample Variance and Autocovariance for Stationary Processes with Unknown Mean. The American Statistician (англ.). 47 (4): 274—276. doi:10.1080/00031305.1993.10475997. (англ.)
12. . Statistical Ideas. 26 травня 2014. Архів оригіналу за 27 листопада 2021. Процитовано 27 листопада 2021. (англ.)
13. Baum, Christopher F. (2006). An Introduction to Modern Econometrics Using Stata. Stata Press. ISBN . (англ.)
14. Elson, Elliot L. (December 2011). Fluorescence Correlation Spectroscopy: Past, Present, Future. Biophysical Journal (англ.). 101 (12): 2855—2870. Bibcode:2011BpJ...101.2855E. doi:10.1016/j.bpj.2011.11.012. PMC 3244056. PMID 22208184. (англ.)
15. Hołyst, Robert; Poniewierski, Andrzej; Zhang, Xuzhu (2017). Analytical form of the autocorrelation function for the fluorescence correlation spectroscopy. Soft Matter (англ.). 13 (6): 1267—1275. Bibcode:2017SMat...13.1267H. doi:10.1039/C6SM02643E. ISSN 1744-683X. PMID 28106203. (англ.)
16. Van Sickle, Jan (2008). GPS for Land Surveyors (вид. Third). CRC Press. с. 18—19. ISBN . (англ.)
17. Kalvani, Payam Rajabi; Jahangiri, Ali Reza; Shapouri, Samaneh; Sari, Amirhossein; Jalili, Yousef Seyed (August 2019). Multimode AFM analysis of aluminum-doped zinc oxide thin films sputtered under various substrate temperatures for optoelectronic applications. Superlattices and Microstructures (англ.). 132: 106173. doi:10.1016/j.spmi.2019.106173. (англ.)
18. Tyrangiel, Josh (5 лютого 2009). . Time. Архів оригіналу за 10 лютого 2009. (англ.)

 

Література

• (1986). Elements of Econometrics (вид. Second). New York: Macmillan. с. 298–334. ISBN . (англ.)
• (10 серпня 2017). . Wiley. ISBN . Архів оригіналу за 27 листопада 2021. Процитовано 27 листопада 2021. (англ.)
• Mojtaba Soltanalian, and Petre Stoica. "Computational design of sequences with good correlation properties [ 15 грудня 2013 у Wayback Machine.]." IEEE Transactions on Signal Processing, 60.5 (2012): 2180–2193. (англ.)
• Solomon W. Golomb, and Guang Gong. Signal design for good correlation: for wireless communication, cryptography, and radar [ 23 вересня 2015 у Wayback Machine.]. Cambridge University Press, 2005. (англ.)
• Klapetek, Petr (2018). Quantitative Data Processing in Scanning Probe Microscopy: SPM Applications for Nanometrology [ 27 листопада 2021 у Wayback Machine.] (Second ed.). Elsevier. pp. 108–112 . (англ.)
• Weisstein, Eric W. Autocorrelation(англ.) на сайті Wolfram MathWorld.