Регресійний аналіз

Регресі́йний ана́ліз — розділ математичної статистики, присвячений методам аналізу залежності однієї величини від іншої. На відміну від кореляційного аналізу не з'ясовує , а займається пошуком моделі цього зв'язку, вираженої у функції регресії.

Регресійний аналіз використовується в тому випадку, якщо відношення між змінними можуть бути виражені кількісно у виді деякої комбінації цих змінних. Отримана комбінація використовується для передбачення значення, що може приймати цільова (залежна) змінна, яка обчислюється на заданому наборі значень вхідних (незалежних) змінних. У найпростішому випадку для цього використовуються стандартні статистичні методи, такі як лінійна регресія. На жаль, більшість реальних моделей не вкладаються в рамки лінійної регресії. Наприклад, розміри продажів чи фондові ціни дуже складні для передбачення, оскільки можуть залежати від комплексу взаємозв'язків множин змінних. Таким чином, необхідні комплексні методи для передбачення майбутніх значень.

Регресійні моделі

До регресійної моделі відносяться наступні параметри і змінні:

• Невідомі параметри, що позначаються як ${\displaystyle {\boldsymbol {\beta }}}$, і які задають скаляри або вектор.
• Незалежні змінні, ${\displaystyle \mathbf {X} }$.
• Залежна змінна, ${\displaystyle Y}$.

У різних сферах застосування, може використовуватися різна термінологія замість понять залежних та незалежних змінних.

Регресійна модель співвідносить ${\displaystyle Y}$ до функції по ${\displaystyle \mathbf {X} }$ і ${\displaystyle {\boldsymbol {\beta }}}$.

${\displaystyle Y\approx f(\mathbf {X} ,{\boldsymbol {\beta }})}$

Наближення зазвичай формалізують як ${\displaystyle \operatorname {E} (Y|\mathbf {X} )=f(\mathbf {X} ,{\boldsymbol {\beta }})}$. Для проведення регресійного аналізу необхідно визначити форму функції ${\displaystyle f}$. Іноді форма функції основана на знаннях про взаємовідношення між ${\displaystyle Y}$ і ${\displaystyle \mathbf {X} }$ і не покладається на дані. Якщо таких знань немає, обирають гнучку або зручну форму для визначення ${\displaystyle f}$.

Припустимо, що вектор невідомих параметрів ${\displaystyle {\boldsymbol {\beta }}}$ має довжину ${\displaystyle k}$. Для здійснення регресійного аналізу необхідно надати інформацію про залежну змінну ${\displaystyle Y}$:

• Якщо спостерігали ${\displaystyle N}$ точок даних у формі ${\displaystyle (Y,\mathbf {X} )}$, де ${\displaystyle N<k}$, більшість класичних методів регресійного аналізу не можна виконати: оскільки система рівнянь, що визначає регресійну модель є недовизначеною, в ній не достатньо даних для відновлення ${\displaystyle {\boldsymbol {\beta }}}$.
• Якщо спостерігалося точно ${\displaystyle N=k}$ точок даних, а функція ${\displaystyle f}$ є лінійною, рівняння ${\displaystyle Y=f(\mathbf {X} ,{\boldsymbol {\beta }})}$ можна розв'язати точно, а не наближено. Задача спрошується до вирішення множини з ${\displaystyle N}$ рівнянь із ${\displaystyle N}$ невідомими (елементами ${\displaystyle {\boldsymbol {\beta }})}$, які мають унікальне рішення за умови що ${\displaystyle \mathbf {X} }$ лінійно незалежні. Якщо ${\displaystyle f}$ не є лінійною, рішення може не існувати, або може існувати багато рішень.
• Найбільш типовою ситуацією є випадок, де спостерігають ${\displaystyle N>k}$ точок даних. В такому випадку, існує достатньо інформації з даних, для того щоб оцінити унікальні значення ${\displaystyle {\boldsymbol {\beta }}}$ які в деякому розумінні підходять найкраще, а регресійна модель у застосування до даних може розглядатися як перевизначена система для ${\displaystyle {\boldsymbol {\beta }}}$.

В останньому випадку, регресійний аналіз надає засоби для:

1. Знаходження рішення щодо невідомих параметрів ${\displaystyle {\boldsymbol {\beta }}}$ які будуть, наприклад, мінімізувати відстань між виміряними і прогнозованими значеннями залежної змінної ${\displaystyle Y}$ (що відомо як метод найменших квадратів).
2. При певних статистичних припущеннях, регресійний аналіз використовує надлишок інформації для надання статистичної інформації про невідомі параметри ${\displaystyle {\boldsymbol {\beta }}}$ і передбачені значення залежних змінних ${\displaystyle Y}$.

Необхідна кількість незалежних вимірювань

Розглянемо регресійну модель, яка має три невідомі параметри, ${\displaystyle \beta _{0}}$, ${\displaystyle \beta _{1}}$, і ${\displaystyle \beta _{2}}$. Припустимо, що експериментатор провів 10 вимірювань всі при точно однаковому значенні вектору незалежних змінних ${\displaystyle \mathbf {X} }$ (який містить незалежні змінні ${\displaystyle X_{1}}$, ${\displaystyle X_{2}}$, і ${\displaystyle X_{3}}$). У такому випадку, регресійний аналіз не дозволяє визначити унікальний набір оцінених значень для трьох невідомих параметрів; експериментатор не надав достатньо інформації. Найкраще що можна зробити це оцінити середнє значення стандартного відхилення залежної змінної ${\displaystyle Y}$. Аналогічним чином, вимірювання при двох різних значеннях ${\displaystyle \mathbf {X} }$ дозволило б мати достатньо даних для регресії із двома невідомими, але не з трьома і більше невідомими.

Якщо експериментатор виконав вимірювання при трьох різних значеннях вектору незалежних змінних ${\displaystyle \mathbf {X} }$, тоді регресійний аналіз поверне унікальний набір оцінок для трьох невідомих параметрів у ${\displaystyle {\boldsymbol {\beta }}}$.

У випадку із загальною лінійною регресією, вищенаведене твердження є еквівалентним вимозі, що матриця ${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$ повинна бути невиродженою.

Коли кількість вимірювань, ${\displaystyle N}$, є більшим ніж кількість невідомих параметрів, ${\displaystyle k}$, а виміряні похибки ${\displaystyle \epsilon _{i}}$ мають нормальний розподіл тоді надлишок інформації, що міститься у ${\displaystyle (N-k)}$ вимірюваннях використовують щоб зробити статистичне передбачення щодо невідомих параметрів. Цей надлишок інформації називають степенями свободи регресії.

Задачі регресійного аналізу

1. Визначення ступеня детермінованості варіації критеріальної (залежної) змінної предикторами (незалежними змінними).
2. Прогнозування значення залежної змінної за допомогою незалежної.
3. Визначення внеску окремих незалежних змінних у варіацію залежної.

Регресійний аналіз не можна використовувати для визначення наявності зв'язку між змінними, оскільки наявність такого зв'язку і є передумова для застосування аналізу.

Припущення

До класичних ^[en], що лежать в основі регресійного аналізу, відносяться:

• Для здійснення прогнозування вибірка повинна бути репрезентативна для даної сукупності.
• Похибка є випадковою величиною із нульовим умовним математичним сподіванням для (описових змінних).
• Незалежні змінні виміряні без похибки. (Примітка: Якщо це не так, замість цього можна використати техніки ^[en]).
• Незалежні змінні є лінійно незалежними, (відсутність мультиколінеарності). Тобто, не можливо виразити будь-яку з цих змінних як лінійну комбінацію інших змінних.
• Похибки є некореловані, тобто, коваріаційна матриця похибок є діагональною, а елементи на діагоналі матриці є дисперсією похибки.
• Дисперсія похибки є сталою поміж спостережень (гомоскедастичність).

Виконання цих умов достатньо щоб оцінка найменших квадратів мала бажані властивості; зокрема, ці припущення означатимуть, що оцінки параметрів будуть незміщеними, конзистентними, і ^[en] у класі лінійних незміщених оцінок. Варто відмітити, що фактичні дані вимірювань дуже рідко задовольняють припущенням. Таким чином, метод використовують навіть коли припущення не правдиві. Відхилення від даних припущень, іноді використовують як міру того, наскільки корисною є дана модель. Багато з цих припущень можуть бути пом'якшені при ширшому трактуванні. У результатах статистичного аналізу як правило наводять результати тестів вибіркових даних та методологію щодо відповідності і вживаності моделі.

Алгоритм регресійного аналізу

Нехай у точках x_n незалежної змінної x отримані виміри Y_n. Потрібно знайти залежність середнього значення величини ${\displaystyle {\bar {Y}}}$від величини х, тобто ${\displaystyle {\bar {Y}}(x)=f(x|a)}$, де a — вектор невідомих параметрів ${\displaystyle a_{i}}$. Функцію ${\displaystyle f(x|a)}$ називають функцією регресії. Звичайно припускають, що ${\displaystyle f(x|a)}$ є лінійною функцією параметрів а, тобто має вигляд:

${\displaystyle f(x|a)=\sum _{i=1}^{I}a_{i}\varphi _{i}(x)}$ (1),

де ${\displaystyle f_{i}(x)}$ — задані функції.

У цьому випадку матрицю ${\displaystyle A_{ni}=f_{i}(x_{n})}$ називається регресійною матрицею.

Для визначення параметрів ${\displaystyle a_{i}}$ звичайно використовують метод найменших квадратів, тобто оцінки ${\displaystyle a_{i}}$ визначають із умови мінімуму функціонала:

${\displaystyle \Phi =\sum _{n=1}^{N}{\frac {(Y_{n}-\sum _{i}^{}A_{ni}a_{i})^{2}}{\sigma _{n}^{2}}}}$

і з мінімуму функціоналу:${\displaystyle \Phi =\sum _{n,m}(Y_{n}-\sum _{i}A_{ni}a_{i})(R^{-1})_{nm}(Y_{m}-\sum _{i}A_{mi}a_{i})}$ для корельованих вимірів з кореляційною матрицею R.

Як функції ${\displaystyle f_{i}(x)}$ при невеликих ${\displaystyle I(I\geq 5)}$ звичайно служать степеневі функції ${\displaystyle f_{i}(x)=x^{i}}$. Часто використовують ортогональні й нормовані поліноми на множині ${\displaystyle x_{n}}$:

${\displaystyle \varphi _{i}(x)=\sum _{k=1}^{i}c_{k}^{i}x^{k},\sum _{n}\varphi _{i}(x_{n})\sigma _{n}^{-2}\varphi _{j}(x_{n})=\delta _{ij}}$.

У цьому випадку легко знайти оцінку ${\displaystyle {\tilde {a}}_{i}}$:

${\displaystyle {\tilde {a}}_{i}=\sum _{n}\varphi _{i}(x_{n})Y_{n}}$.

Звідси випливає, що обчислення ${\displaystyle {\tilde {a}}_{i}}$ не залежить від обчислення інших ${\displaystyle {\tilde {a}}_{j}}$.

Популярне використання як ${\displaystyle f_{i}(x)}$ сплайнів ${\displaystyle B_{i}(x)}$, які мають дві основні властивості:

1. ${\displaystyle B_{i}(x)}$ — поліном заданого степеня;
2. ${\displaystyle B_{i}(x)}$ відмінний від нуля в околі точки ${\displaystyle x_{i}}$.

При пошуку функції регресії у вигляді (1) природно виникає питання про кількість членів I у сумі (1). При малому значенні I не можна досягти гарного опису ${\displaystyle {\bar {Y}}(x)}$, а при великому — великі статистичні помилки функції регресії.

Інтерполяція і екстраполяція

По середині показано пряму, що є результатом інтерполяції - збалансована середина між точками над і під прямою. Пунктиром показано дві лінії екстремумів. Перша крива показує оцінені значення. Зовнішні криві показують передбачення нових вимірювань.

Регресійні моделі передбачають значення змінної Y на основі заданих значень змінних X. Процедура підбору параметрів моделі з використанням передбачення на основі вибірки даних в межах діапазону її значень відомо як інтерполяція. Передбачення за межами діапазону значень даних відомо як екстраполяція. Виконання екстраполяції тісно залежить від регресійних припущень. Чим далі екстраполяція поширюються від даних, тим більшою буде відхилення моделі від реальних значень.

При виконанні екстраполяції, як правило рекомендують, передбачені значення слід супроводжувати довірчим інтервалом прогнозування, який задає міру невпевненості. Такі інтервали мають тенденцію значно розширюватися коли значення незалежної величини (або величин) виходять за межі діапазону, що покривали дані спостереження. З цієї та інших причин не можна бездумно використовувати дані екстраполяції.

Однак, такі інтервали не покривають усієї множини можливих помилок моделювання, що можуть виникнути: зокрема, припущення існування певної форми залежності між величинами Y і X. Якісно проведений регресійний аналіз буде мати також оцінку того, наскільки припущена форма залежності відповідає цим спостереження, але тільки в межах діапазону значень наявних незалежних змінних. Це означає, що будь-яка екстраполяція значно залежить від припущень щодо структурної форми регресійної залежності. Не слід обирати залежність лінійності за змінними і лінійність за параметрами лише з міркувань зручності розрахунків, для побудови моделі слід залучати всі доступні знання. Якщо відомо, що залежні змінні не можуть вийти за межі певного діапазону значень, це може стати корисним при виборі моделі – навіть якщо в отриманій вибірці не має значень близьких до таких меж. Вплив цього кроку на вибір правильної форми функції для регресії може бути досить важливим, якщо передбачається екстраполяція. Як мінімум, це може запевнити що будь-яка екстраполяція на основі підібраної моделі буде "реалістичною" (або відповідає тому, що відомо).

Регресійний аналіз в Excel/Calc

MS Excel має можливості для розрахунку коефіцієнту регресії. Для цього потрібно додатково встановити «Пакет аналізу» в надбудовах.

Див. також

• Регресійний аналіз в Excel. Приклад та покрокова інструкція. «Аналітика і статистика».
• Логістична регресія
• Аналіз Вільсона

Примітки

1. Rouaud, Mathieu (2013). Probability, Statistics and Estimation (PDF). с. 60.
2. Chiang, C.L, (2003) Statistical methods of analysis, World Scientific. - page 274 section 9.7.4 "interpolation vs extrapolation"