Найкращий лінійний незміщений оцінювач

У статистиці, теорема Гаусса-Маркова (або просто теорема Гаусса для деяких акторів) стверджує, що у звичайному методі найменших квадратів (ЗМНК) оцінювач має найменшу дисперсію вибірки в межах класу від лінійних неупереджених оцінок, якщо помилки у лінійній регресійній моделі є некорильованими, мають рівні дисперсії та очікуване значення нуля. Помилки не повинні бути нормальними, вони також не повинні бути незалежними та однаково розподіленими (лише некорильованими із середнім нулем та гомосцедастичними з кінцевою дисперсією). Не можна відмовлятись від вимоги щодо неупередженості оцінювача, оскільки упереджені оцінювачі існують з меншою дисперсією. Дивіться, наприклад (який також знижує лінійність), регресійну регресію, або просто будь-який вироджений оцінювач.

Теорема була названа на честь Карла Фрідріха Гаусса та Андрія Маркова, хоча робота Гаусса значно передує роботі Маркова. Але в той час, як Гаусс отримував результат, припускаючи незалежність і нормальність, Марков звів припущення до форми, зазначеної вище. Подальше узагальнення до сферичних помилок дав .

Ствердження

Припустимо ми маємо матричні позначення,

${\displaystyle {\underline {y}}=X{\underline {\beta }}+{\underline {\varepsilon }},\quad ({\underline {y}},{\underline {\varepsilon }}\in \mathbb {R} ^{n},{\underline {\beta }}\in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})}$

розширюються до,

${\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \forall i=1,2,\ldots ,n}$

де ${\displaystyle \beta _{j}}$ не є випадковими, але un спостережуваних параметрів, ${\displaystyle X_{ij}}$ є невипадковими та спостережуваними (їх називають «пояснювальними змінними»), ${\displaystyle \varepsilon _{i}}$ випадкові, і так ${\displaystyle y_{i}}$ є випадковими. Випадкові величини ${\displaystyle \varepsilon _{i}}$ називаються «порушенням», «шумом» або просто «помилкою» (буде протиставлено «залишковим» далі в статті; див. помилки та залишки в статистиці). Зверніть увагу, що для включення константи у вищенаведену модель можна ввести константу як змінну ${\displaystyle \beta _{K+1}}$ з нещодавно введеним останнім стовпцем X є одиницею, тобто ${\displaystyle X_{i(K+1)}=1}$ для усіх ${\displaystyle i}$. Зауважте, що хоча ${\displaystyle y_{i},}$ як вибіркові відповіді можна спостерігати наступні твердження та аргументи, включаючи припущення, докази та інші, припускають за єдиною умовою знання ${\displaystyle X_{ij},}$ але не ${\displaystyle y_{i}.}$

Припущення Гаусса-Маркова стосуються безлічі помилок випадкових величин, ${\displaystyle \varepsilon _{i}}$:

• Вони мають середній нуль: ${\displaystyle \operatorname {E} [\varepsilon _{i}]=0.}$
• Вони гомосцедастичні, тобто всі мають однакову кінцеву дисперсію: ${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$ для усіх ${\displaystyle i}$ та
• Виразні терміни помилок не пов'язані між собою: ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.}$

Лінійна оцінка ${\displaystyle \beta _{j}}$ є лінійною комбінацією

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

В якій коефіцієнтам ${\displaystyle c_{ij}}$ не дозволяється залежати від базових коефіцієнтів ${\displaystyle \beta _{j}}$, оскільки вони не спостерігаються, але дозволяється залежати від значень ${\displaystyle X_{ij}}$, оскільки ці дані є доступними. (Залежність коефіцієнтів від кожного ${\displaystyle X_{ij}}$ типово нелінійна; оцінювач є лінійним у кожному ${\displaystyle y_{i}}$ а отже і в кожному випадковому ${\displaystyle \varepsilon ,}$ саме тому це лінійна регресія.) Кажуть що оцінювач є неупередженим тоді і лише тоді

${\displaystyle \operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}}$

Незалежно від значень ${\displaystyle X_{ij}}$. А тепер нехай ${\displaystyle \sum \nolimits _{j=1}^{K}\lambda _{j}\beta _{j}}$ буде деякою лінійною комбінацією коефіцієнтів. Тоді середньоквадратична похибка відповідної оцінки становить

${\displaystyle \operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}$

Іншими словами, це очікування квадрата зваженої суми (по параметрах) різниць між оцінювачами та відповідними параметрами, які слід оцінити. (Оскільки ми розглядаємо випадок, коли всі оцінки параметрів є неупередженими, ця середньоквадратична похибка така ж, як і дисперсія лінійної комбінації.) Найкращий лінійний неупереджений оцінювач (СИНІЙ) вектора ${\displaystyle \beta }$ параметрів ${\displaystyle \beta _{j}}$ є найменшою середньоквадратичною похибкою для кожного вектора ${\displaystyle \lambda }$ параметрів лінійної комбінації. Це еквівалентно умов

${\displaystyle \operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$

Є позитивною напіввизначеною матрицею для кожного іншого лінійного неупередженого оцінювача ${\displaystyle {\widetilde {\beta }}}$.

Звичайний оцінювач найменших квадратів (ЗОНК) є функцією

${\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}$

з ${\displaystyle y}$ та ${\displaystyle X}$ (де ${\displaystyle X'}$ позначає переміщення з ${\displaystyle X}$), що мінімізує суму квадратів залишків (суми непередбачуваних значень):

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}$

Тепер теорема стверджує, що оцінювач ЗОНК є СИНІМ. Основна ідея доказу полягає в тому, що оцінювач найменших квадратів не корелює з кожною лінійною неупередженою оцінкою нуля, тобто з кожною лінійною комбінацією ${\displaystyle a_{1}y_{1}+\cdots +a_{n}y_{n}}$ коефіцієнти якої не залежать від неспостережуваного ${\displaystyle \beta }$ але очікуване значення якого завжди дорівнює нулю.

Зауваження

Доказ того, що ЗОНК справді МІНІМІЗУЄ суму суми квадратів залишків, може діяти наступним чином із розрахунком матриці Гесса та показуючи, що вона є позитивно визначеною.

Функція СКП (середньоквадратична похибка) яку ми хочемо мінімізувати, є

${\displaystyle f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$

Для моделі множинної регресії з p змінними. Першка похідна -

${\displaystyle {\begin{aligned}{\frac {d}{d{\overrightarrow {\beta }}}}f&=-2X^{T}({\overrightarrow {y}}-X{\overrightarrow {\beta }})\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&={\overrightarrow {0}}_{p+1}\end{aligned}}}$

,де X – матриця проектування

${\displaystyle X={\begin{bmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\dots &x_{2p}\\&&\dots \\1&x_{n1}&\dots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geqslant p+1}$

матриця Гессе інших похідних

${\displaystyle {\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\dots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\dots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\dots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{T}X}$

Припускаючи стовпці ${\displaystyle X}$ є лінійно незалежними так, що ${\displaystyle X^{T}X}$ є зворотнім, нехай ${\displaystyle X={\begin{bmatrix}{\overrightarrow {v_{1}}}&{\overrightarrow {v_{2}}}&\dots &{\overrightarrow {v}}_{p+1}\end{bmatrix}}}$, потім

${\displaystyle k_{1}{\overrightarrow {v_{1}}}+\dots +k_{p+1}{\overrightarrow {v}}_{p+1}=0\iff k_{1}=\dots =k_{p+1}=0}$

Тепер нехай ${\displaystyle {\overrightarrow {k}}=(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}}$ буде власним вектором ${\displaystyle {\mathcal {H}}}$.

${\displaystyle {\overrightarrow {k}}\neq {\overrightarrow {0}}\implies (k_{1}{\overrightarrow {v_{1}}}+\dots +k_{p+1}{\overrightarrow {v}}_{p+1})^{2}>0}$

З точки зору векторного множення це означає

${\displaystyle {\begin{bmatrix}k_{1}&\dots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}{\overrightarrow {v_{1}}}\\\vdots \\{\overrightarrow {v}}_{p+1}\end{bmatrix}}{\begin{bmatrix}{\overrightarrow {v_{1}}}&\dots &{\overrightarrow {v}}_{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}={\overrightarrow {k}}^{T}{\mathcal {H}}{\overrightarrow {k}}=\lambda {\overrightarrow {k}}^{T}{\overrightarrow {k}}>0}$

де ${\displaystyle \lambda }$ власне значення, що відповідає ${\displaystyle {\overrightarrow {k}}}$. Більше того,

${\displaystyle {\overrightarrow {k}}^{T}{\overrightarrow {k}}=\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0}$

Нарешті, як власний ветор ${\displaystyle {\overrightarrow {k}}}$ був довільним, це означає що всі значення ${\displaystyle {\mathcal {H}}}$ тому є позитивними ${\displaystyle {\mathcal {H}}}$ є позитивно визначеним. Таким чином,

${\displaystyle {\overrightarrow {\beta }}=(X^{T}X)^{-1}X^{T}Y}$

Є справді місцевим мінімумом.

Доказ

Дозволимо ${\displaystyle {\tilde {\beta }}=Cy}$ бути ще одним лінійним оцінювачем ${\displaystyle \beta }$ with ${\displaystyle C=(X'X)^{-1}X'+D}$ де ${\displaystyle D}$ is a ${\displaystyle K\times n}$ ненульова матриця. Оскільки ми обмежуємося неупередженими оцінювачами, мІнімальна середньоквадратична похибка передбачає мінімальну дисперсію. Отже, мета полягає в тому, щоб показати, що такий оцінювач має дисперсію, не меншу, ніж у ${\displaystyle {\widehat {\beta }},}$ ЗОНК оцінювача. Обчислюємо:

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

Тому, оскільки ${\displaystyle \beta }$ є не спостережуваною, ${\displaystyle {\tilde {\beta }}}$ є неупередженим якщо і тільки якщо ${\displaystyle DX=0}$. Потім:

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

Оскільки DD' є позитивною напіввизначеною матрицею, ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)}$ перевищує ${\displaystyle \operatorname {Var} \left({\widehat {\beta }}\right)}$ позитивну напіввизначену матрицю.

Зауваження щодо доказу

Як зазначалося раніше, стан ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$ є позитивною напіввизначеною матрицею, що еквівалентно властивості, якою є найкращий лінійний неупереджений оцінювач ${\displaystyle \ell ^{t}\beta }$ є ${\displaystyle \ell ^{t}{\widehat {\beta }}}$ (найкращий в тому сенсі, що він має мінімальну дисперсію). Щоб побачити це, нехай ${\displaystyle \ell ^{t}{\tilde {\beta }}}$ інший лінійний неупереджений оцінювач ${\displaystyle \ell ^{t}\beta }$.

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\ell ^{t}{\tilde {\beta }}\right)&=\ell ^{t}\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell +\ell ^{t}DD^{t}\ell \\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+(D^{t}\ell )^{t}(D^{t}\ell )&&\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell =\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+\|D^{t}\ell \|\\&\geqslant \operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\end{aligned}}}$

Більше того, рівність виконується якщо і тільки якщо ${\displaystyle D^{t}\ell =0}$. Обчислюємо

${\displaystyle {\begin{aligned}\ell ^{t}{\tilde {\beta }}&=\ell ^{t}\left(((X'X)^{-1}X'+D)Y\right)&&{\text{ зверху }}\\&=\ell ^{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^{t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\beta }}&&D^{t}\ell =0\end{aligned}}}$

Це доводить, що рівність виконується якщо і тільки якщо ${\displaystyle \ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}}$ що надає унікальність оцінювачу ЗОНК як СИНЬОМУ.

Узагальнювач оцінки найменших квадратів

(УНК), розроблені , розширюють теорему Гаусса-Маркова для випадку, коли вектор помилки має нескалярну коваріоційну матрицю. Оцінювач Аіткена також є СИНІМ.

Теорема Гаусса-Маркова, як зазначено в економетриці

У більшості методів обчислення ЗОНК регресори (параметри, що цікавлять) у ${\displaystyle \mathbf {X} }$ передбачають фіксування у повторних зразках. Це припущення вважається недоречним для переважно неекспериментальної науки, такої як економетрика. Натомість припущення теореми Гаусса-Маркова висловлюється умовно ${\displaystyle \mathbf {X} }$.

Лінійність

Залежною змінною вважається лінійна функція змінних, зазначених у моделі. Специфікація повинна бути лінійною за своїми параметрами. Це не означає, що між незалежними та залежними змінними повинна існувати лінійна залежність. Незалежні змінні можуть приймати нелінійну форму, доки параметри є лінійними. Рівняння ${\displaystyle y=\beta _{0}+\beta _{1}x^{2},}$ кваліфікується як лінійне ${\displaystyle y=\beta _{0}+\beta _{1}^{2}x}$ може бути перетворене в лінійне шляхом заміни ${\displaystyle \beta _{1}^{2}}$ іншим параметром ${\displaystyle \gamma }$. Наприклад, рівняння з параметром, що залежить від незалежної змінної, не кваліфікується як лінійне ${\displaystyle y=\beta _{0}+\beta _{1}(x)\cdot x}$, де ${\displaystyle \beta _{1}(x)}$ є функцією ${\displaystyle x}$.

Перетворення данних часто використовуються для перетворення рівняння в лінійну форму. Наприклад, функція Кобба-Дугласа - яка часто використовується в економіці, є нелінійною:

${\displaystyle Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }}$

Але це можна виразити в лінійній формі, взявши натуральний логарифм обох сторін:

${\displaystyle \ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon }$

Це припущення також охоплює питання специфікації: припускаючи, що вибрано відповідну функціональну форму і відсутні .

Однак слід пам’ятати, що параметри, що мінімізують залишки перетвореного рівняння, не обов'язково мінімізують залишки вихідного рівняння.

Сувора екзогенність

Для усіх ${\displaystyle n}$ спостережень, очікування – залежно від регресорів – терміну помилки, дорівнює нулю:

${\displaystyle \operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x_{1}} ,\dots ,\mathbf {x_{n}} ]=0.}$

де ${\displaystyle \mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\dots &x_{ik}\end{bmatrix}}^{\mathsf {T}}}$ вектор даних регресорів для i спостереження, а отже ${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x_{1}^{\mathsf {T}}} &\mathbf {x_{2}^{\mathsf {T}}} &\dots &\mathbf {x_{n}^{\mathsf {T}}} \end{bmatrix}}^{\mathsf {T}}}$ - це матриця даних або матриця проектування.

Геометрично з цього припущення випливає, що ${\displaystyle \mathbf {x} _{i}}$ та ${\displaystyle \varepsilon _{i}}$ є ортогональними один одному, так що їх внутрішній добуток (тобто поперечний момент) дорівнює нулю.

${\displaystyle \operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{ для всіх }}i,j\in n}$

Це припущення порушується, якщо пояснювальні змінні є стохастичними, наприклад, коли вони , або є . Ендогенність може бути результатом , коли причинність протікає туди-сюди як між залежною, так і незалежною змінною. Для вирішення цієї проблеми зазвичай використовують інструментальні методи.

Повний ранг

Зразок матриці данних ${\displaystyle \mathbf {X} }$ повинен мати повний ранг стовпця.

${\displaystyle \operatorname {rank} (\mathbf {X} )=k}$

Syfrit ${\displaystyle \mathbf {X'X} }$ не є оборотним, і оцінювач ЗОНК не може бути обчислений.

Порушенням цього припущення є досконала мультиколінеарність, тобто деякі пояснювальні змінні лінійно залежать. Один із сценаріїв, в якому це відбуватиметься, називається "фіксованою пасткою змінної", коли базова фіктивна змінна не опускається, що призводить до ідеальної кореляції між фіктивними змінними та постійним членом.

Мультиколінеарність (якщо вона не є "ідеальною") може мати наслідком менш ефективну, але все ще неупереджену оцінку. Оцінки будуть менш точними та високочутливими до певних наборів даних. Мультиколінеарність можна виявити за номером умови або серед інших тестів.

Сферичні помилки

Зовнішній продукт вектора помилки повинний бути сферичним.

${\displaystyle \operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon ^{\mathsf {T}}}}\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\dots &0\\0&\sigma ^{2}&\dots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\dots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0}$

Це означає, що термін помилки має рівномірну дисперсію (гомоскедастичніть) і не має послідовної залежності. якщо це припущення порушується, ЗОНК все ще є неупередженим, але неефективним. Термін "сферичних помилок" буде описувати багатовимірний нормальний розподіл: якщо ${\displaystyle \operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I} }$ у багатовимірній нормальній щільності, то рівняння ${\displaystyle f(\varepsilon )=c}$ - формула кульки з центром μ з радіусом σ у n-вимірному просторі.

Гетероскедастичність виникає, коли кількість помилок співвідноситься з незалежною змінною. Наприклад, при регресії витрат на їжу та доходів помилка корелює з доходом. Люди з низьким рівнем доходу зазвичай витрачають подібну суму на їжу, тоді як люди з високим рівнем доходу можуть витратити дуже велику суму або стільки ж, скільки витрачають люди з низьким доходом. Гетероскедастичність також може бути причиною змін у практиці вимірювання. Наприклад, коли статистичні органи вдосконалюють свої дані, похибка вимірювання зменшується, тому термін помилки з часом зменшується.

Це припущення порушується, коли існує автокореляція. Автокореляція може бути візуалізована на графіку даних, коли дане спостереження, швидше за все, лежить вище встановленої лінії, якщо сусідні спостереження також лежать вище встановленої лінії регресії. Автокореляція є загальною для даних часових рядів, де ряд даних може відчувати "інерцію". Якщо залежній змінній потрібно деякий час, щоб повністю поглинути удар. Також може відбуватися просторова автокореляція, географічні райони можуть мати подібні помилки. Автокореляція може бути результатом неправильної специфікації, наприклад, вибору неправильної функціональної форми. У цих випадках виправлення специфікації є одним із можливих способів боротьби з автокореляцією.

За наявності сферичних помилок узагальнений оцінювач найменших квадратів може бути показаний СИНІМ.

Див. також

• Незалежні однаково розподілені випадкові величини
• Лінійна регресія
• Невизначеність вимірювання

Інша неупереджена статистика

• (НЛНП)
• (БОзМД)

Список літератури

1. See chapter 7 of Johnson, R.A.; Wichern, D.W. (2002). Applied multivariate statistical analysis. Т. 5. Prentice hall.
2. (1971). Best Linear Unbiased Estimation and Prediction. Principles of Econometrics. New York: John Wiley & Sons. с. 119–124. ISBN .
3. (1949). A Historical Note on the Method of Least Squares. . 36 (3/4): 458—460. doi:10.2307/2332682.
4. David, F. N.; Neyman, J. (1938). Extension of the Markoff theorem on least squares. Statistical Research Memoirs. 2: 105—116. OCLC 4025782.
5. Aitken, A. C. (1935). On Least Squares and Linear Combinations of Observations. Proceedings of the Royal Society of Edinburgh. 55: 42—48. doi:10.1017/S0370164600014346.
6. Huang, David S. (1970). Regression and Econometric Methods. New York: John Wiley & Sons. с. 127–147. ISBN .
7. (2000). Econometrics. Princeton University Press. с. 13. ISBN .
8. Walters, A. A. (1970). An Introduction to Econometrics. New York: W. W. Norton. с. 275. ISBN .
9. (2000). Econometrics. Princeton University Press. с. 7. ISBN .
10. (1972). Econometric Methods (вид. Second). New York: McGraw-Hill. с. 267–291. ISBN .
11. (2012). Introductory Econometrics (вид. Fifth international). South-Western. с. 220. ISBN .
12. (1972). Econometric Methods (вид. Second). New York: McGraw-Hill. с. 159–168. ISBN .
13. (2000). Econometrics. Princeton University Press. с. 10. ISBN .
14. Ramanathan, Ramu (1993). Nonspherical Disturbances. Statistical Methods in Econometrics. Academic Press. с. 330–351. ISBN .

Джерела

• Davidson, James (2000). Statistical Analysis of the Regression Model. Econometric Theory. Oxford: Blackwell. с. 17–36. ISBN .
• Goldberger, Arthur (1991). Classical Regression. A Course in Econometrics. Cambridge: Harvard University Press. с. 160–169. ISBN .
• (1971). Least Squares and the Standard Linear Model. Principles of Econometrics. New York: John Wiley & Sons. с. 101–162. ISBN .

Посилання

• Earliest Known Uses of Some of the Words of Mathematics: G (коротка історія та пояснення назви)
• Proof of the Gauss Markov theorem for multiple linear regression (використовує матричну алгебру)