Ця стаття містить правописні, лексичні, граматичні, стилістичні або інші мовні помилки, які треба виправити. (березень 2018) |
У статистиці лінійна регресія — це метод моделювання залежності між скалярною змінною y та векторною (у загальному випадку) змінною X. У разі, якщо змінна X також є скаляром, регресію називають простою.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHpMek5oTDB4cGJtVmhjbDl5WldkeVpYTnphVzl1TG5OMlp5ODBNREJ3ZUMxTWFXNWxZWEpmY21WbmNtVnpjMmx2Ymk1emRtY3VjRzVuLnBuZw==.png)
При використанні лінійної регресії взаємозв'язок між даними моделюється за допомогою лінійних функцій, а невідомі параметри моделі оцінюються за вхідними даними. Подібно до інших методів регресійного аналізу лінійна регресія повертає розподіл умовної імовірності y в залежності від X, а не розподіл спільної імовірності y та X, що стосується області мультиваріативного аналізу.
При розрахунках параметрів моделі лінійної регресії зазвичай застосовується метод найменших квадратів (МНК), але також можуть бути використані інші методи. Але метод найменших квадратів може бути використаний і для нелінійних моделей, тому МНК та лінійна регресія, хоч і є тісно пов'язаними, але не є синонімами.
Означення
Загальна лінійна регресійна модель має вигляд:
- де
— залежна пояснювана змінна,
— незалежні пояснювальні змінні,
— випадкова похибка, розподіл якої в загальному випадку залежить від незалежних змінних, але математичне сподівання якої дорівнює нулеві.
Згідно з цією моделлю, математичне сподівання залежної змінної є лінійною функцією незалежних змінних:
Вектор параметрів є невідомим і задача лінійної регресії полягає у пошуку цих параметрів на основі деяких експериментальних значень
і
Тобто для деяких n експериментів мають бути відомими значення
незалежних змінних і відповідні їм значення
залежної змінної.
Згідно з означенням моделі для кожного експериментального випадку залежність між змінними визначається формулою
або, у матричних позначеннях,
- де:
На основі цих даних потрібно оцінити значення параметрів а також розподіл випадкової величини
Зважаючи на характеристики досліджуваних змінних, можуть додаватися різні додаткові специфікації моделі і застосовуватися різні методи оцінки параметрів. Серед найпоширеніших специфікацій лінійних моделей є класична модель лінійної регресії і узагальнена модель лінійної регресії.
Класична модель лінійної регресії
Згідно з класичною моделлю додатково вводяться такі вимоги щодо специфікації моделі і відомих експериментальних даних:
(відсутність кореляції залишків)
(гомоскедастичність)
- попередні дві властивості можна також записати в матричних позначеннях
де
— одинична матриця розмірності n.
- Ранг матриці X дорівнює K+1.
- Усі елементи матриці X є невипадковими.
Часто додається також умова нормальності випадкових відхилень, яка дозволяє провести значно ширший аналіз оцінок параметрів та їх значимості, хоча і не є обов'язковою для можливості використання наприклад методу найменших квадратів:
Для асимптотичних властивостей оцінок додатково вимагається виконання деяких додаткових умов на матрицю X коли її розмірність прямує до безмежності. Однією з таких умов може бути існування границі при прямуванні розмірності до нескінченності:
де
позначає найменше власне значення матриці.
Узагальнена модель лінійної регресії
Умови гомоскедастичності та відсутності кореляції між випадковими залишками у моделі не часто виконуються на практиці. Якщо замість цих двох умов у визначенні моделі взяти загальнішу умову де
— відома додатноозначена матриця, то одержана модель називається узагальненою моделлю лінійної регресії.
Оскільки для кожної додатноозначеної матриці існує матриця
така що
то модель
вже буде класичною моделлю лінійної регресії.
Методи оцінювання
Залежно від об'єктів, що досліджуються за допомогою лінійної регресії, та конкретних цілей дослідження можуть використовуватися різні методи оцінки невідомих параметрів. Найпопулярнішим є звичайний метод найменших квадратів. Він приймає за оцінку параметра значення, що мінімізують суму квадратів залишків по всіх спостереженнях:
Метод найменших квадратів можна застосувати у будь-яких задачах, в яких ранг матриці рівний кількості її стовпців. Також цей метод дає простий аналітичний вираз для оцінки параметрів:
У випадку класичної моделі лінійної регресії оцінка методу найменших квадратів є незміщеною, змістовною і найкращою лінійною незміщеною оцінкою (детальніше про ці статистичні властивості у статті метод найменших квадратів).
У випадку коли деякі з умов класичної лінійної регресії не виконуються метод найменших квадратів може не бути оптимальним. Так для узагальненої моделі лінійної регресії де найкращою лінійною незміщеною оцінкою є оцінка, що одержується так званим узагальненим методом найменших квадратів:
Узагальнений метод найменших квадратів теж одержується мінімізацією деякої норми вектора відхилень:
Серед інших методів оцінювання:
- Метод найменших модулів, що знаходить мінімум суми не квадратів відхилень, а їх абсолютних значень:
- Цей метод є найкращим в сенсі максимальної правдоподібності у випадку коли відхилення мають розподіл Лапласа. Метод найменших модулів є значно менш чутливим до викидів значень, ніж метод найменших квадратів, проте може мати більш ніж один розв'язок і не має простої формули визначення оцінки.
- Метод максимальної правдоподібності. Використовується коли відомі всі розподіли відхилень для всіх спостережень. При класичній і узагальненій моделях лінійної регресії з умовою нормальності відхилень приводить до того ж результату, що і метод найменших квадратів і узагальнений метод найменших квадратів відповідно.
- Ортогональна регресія. Застосовується у випадках коли в значення пояснюючих змінних теж можуть містити випадкові складові і при оцінці враховуються можливі відхилення по всіх змінних.
Див. також
Джерела
- Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
- Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
- Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы эконометрики: Учебник для вузов. — М.: ЮНИТИ, 1998. — 1022 с.
- С. Р. Рао, Линейные статистические методы и их применения / Пер. с англ. — М.: Наука,1968
- Rao, C. Radhakrishna; Toutenburg, Shalabh, Heumann (2008). Linear Models and Generalizations (3rd ed.). Berlin: Springer. .
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Cya stattya mistit pravopisni leksichni gramatichni stilistichni abo inshi movni pomilki yaki treba vipraviti Vi mozhete dopomogti vdoskonaliti cyu stattyu pogodivshi yiyi iz chinnimi movnimi standartami berezen 2018 U statistici linijna regresiya ce metod modelyuvannya zalezhnosti mizh skalyarnoyu zminnoyu y ta vektornoyu u zagalnomu vipadku zminnoyu X U razi yaksho zminna X takozh ye skalyarom regresiyu nazivayut prostoyu Priklad prostoyi linijnoyi regresiyi z odniyeyu nezalezhnoyu zminnoyu Pri vikoristanni linijnoyi regresiyi vzayemozv yazok mizh danimi modelyuyetsya za dopomogoyu linijnih funkcij a nevidomi parametri modeli ocinyuyutsya za vhidnimi danimi Podibno do inshih metodiv regresijnogo analizu linijna regresiya povertaye rozpodil umovnoyi imovirnosti y v zalezhnosti vid X a ne rozpodil spilnoyi imovirnosti y ta X sho stosuyetsya oblasti multivariativnogo analizu Pri rozrahunkah parametriv modeli linijnoyi regresiyi zazvichaj zastosovuyetsya metod najmenshih kvadrativ MNK ale takozh mozhut buti vikoristani inshi metodi Ale metod najmenshih kvadrativ mozhe buti vikoristanij i dlya nelinijnih modelej tomu MNK ta linijna regresiya hoch i ye tisno pov yazanimi ale ne ye sinonimami OznachennyaZagalna linijna regresijna model maye viglyad y b0 b1x1 bKxK u displaystyle y beta 0 beta 1 x 1 ldots beta K x K u de y displaystyle y zalezhna poyasnyuvana zminna x1 x2 xK displaystyle x 1 x 2 ldots x K nezalezhni poyasnyuvalni zminni u displaystyle u vipadkova pohibka rozpodil yakoyi v zagalnomu vipadku zalezhit vid nezalezhnih zminnih ale matematichne spodivannya yakoyi dorivnyuye nulevi Zgidno z ciyeyu modellyu matematichne spodivannya zalezhnoyi zminnoyi ye linijnoyu funkciyeyu nezalezhnih zminnih E y b0 b1x1 bKxK u displaystyle mathbb E y beta 0 beta 1 x 1 ldots beta K x K u Vektor parametriv b0 b1 bK displaystyle beta 0 beta 1 ldots beta K ye nevidomim i zadacha linijnoyi regresiyi polyagaye u poshuku cih parametriv na osnovi deyakih eksperimentalnih znachen y displaystyle y i x1 x2 xK displaystyle x 1 x 2 ldots x K Tobto dlya deyakih n eksperimentiv mayut buti vidomimi znachennya xi1 xiK i 1n displaystyle x i1 ldots x iK i 1 n nezalezhnih zminnih i vidpovidni yim znachennya yi displaystyle y i zalezhnoyi zminnoyi Zgidno z oznachennyam modeli dlya kozhnogo eksperimentalnogo vipadku zalezhnist mizh zminnimi viznachayetsya formuloyu yi b0 b1x1 i bKxK i ui displaystyle y i beta 0 beta 1 x 1 i ldots beta K x K i u i abo u matrichnih poznachennyah y Xb u displaystyle y X beta u de y y1y2 yn X x1 x2 xn 1x11 x1K1x21 x2K 1xn1 xnK b b0b1 bK u u1u2 un displaystyle y begin pmatrix y 1 y 2 vdots y n end pmatrix quad X begin pmatrix x 1 x 2 vdots x n end pmatrix begin pmatrix 1 amp x 11 amp cdots amp x 1K 1 amp x 21 amp cdots amp x 2K vdots amp ddots amp vdots 1 amp x n1 amp cdots amp x nK end pmatrix quad beta begin pmatrix beta 0 beta 1 vdots beta K end pmatrix quad u begin pmatrix u 1 u 2 vdots u n end pmatrix Na osnovi cih danih potribno ociniti znachennya parametriv b0 b1 bK displaystyle beta 0 beta 1 ldots beta K a takozh rozpodil vipadkovoyi velichini u displaystyle u Zvazhayuchi na harakteristiki doslidzhuvanih zminnih mozhut dodavatisya rizni dodatkovi specifikaciyi modeli i zastosovuvatisya rizni metodi ocinki parametriv Sered najposhirenishih specifikacij linijnih modelej ye klasichna model linijnoyi regresiyi i uzagalnena model linijnoyi regresiyi Klasichna model linijnoyi regresiyi Zgidno z klasichnoyu modellyu dodatkovo vvodyatsya taki vimogi shodo specifikaciyi modeli i vidomih eksperimentalnih danih i jE uiuj xi 0 displaystyle forall i neq j quad mathbb E u i u j x i 0 vidsutnist korelyaciyi zalishkiv iE ui2 xi s2 displaystyle forall i quad mathbb E u i 2 x i sigma 2 gomoskedastichnist poperedni dvi vlastivosti mozhna takozh zapisati v matrichnih poznachennyah V u X s2In displaystyle mathbb V u X sigma 2 I n de In displaystyle I n odinichna matricya rozmirnosti n Rang matrici X dorivnyuye K 1 Usi elementi matrici X ye nevipadkovimi Chasto dodayetsya takozh umova normalnosti vipadkovih vidhilen yaka dozvolyaye provesti znachno shirshij analiz ocinok parametriv ta yih znachimosti hocha i ne ye obov yazkovoyu dlya mozhlivosti vikoristannya napriklad metodu najmenshih kvadrativ ui xi N 0 s2 displaystyle u i x i sim mathcal N 0 sigma 2 Dlya asimptotichnih vlastivostej ocinok dodatkovo vimagayetsya vikonannya deyakih dodatkovih umov na matricyu X koli yiyi rozmirnist pryamuye do bezmezhnosti Odniyeyu z takih umov mozhe buti isnuvannya granici pri pryamuvanni rozmirnosti do neskinchennosti limn l X X displaystyle lim n to infty lambda X X infty de l displaystyle lambda poznachaye najmenshe vlasne znachennya matrici Uzagalnena model linijnoyi regresiyi Umovi gomoskedastichnosti ta vidsutnosti korelyaciyi mizh vipadkovimi zalishkami u modeli ne chasto vikonuyutsya na praktici Yaksho zamist cih dvoh umov u viznachenni modeli vzyati zagalnishu umovu V u X s2W displaystyle mathbb V u X sigma 2 W de W displaystyle W vidoma dodatnooznachena matricya to oderzhana model nazivayetsya uzagalnenoyu modellyu linijnoyi regresiyi Oskilki dlya kozhnoyi dodatnooznachenoyi matrici W displaystyle W isnuye matricya N displaystyle N taka sho W 1 NN displaystyle W 1 NN to model Ny NXb Nu displaystyle Ny NX beta Nu vzhe bude klasichnoyu modellyu linijnoyi regresiyi Metodi ocinyuvannyaZalezhno vid ob yektiv sho doslidzhuyutsya za dopomogoyu linijnoyi regresiyi ta konkretnih cilej doslidzhennya mozhut vikoristovuvatisya rizni metodi ocinki nevidomih parametriv Najpopulyarnishim ye zvichajnij metod najmenshih kvadrativ Vin prijmaye za ocinku parametra znachennya sho minimizuyut sumu kvadrativ zalishkiv po vsih sposterezhennyah b argminb i 1n yi b0 j 1KXijbj 2 argminb y Xb 2 displaystyle hat beta underset beta operatorname arg min sum i 1 n left y i beta 0 sum j 1 K X ij beta j right 2 underset beta operatorname arg min big y X beta big 2 Metod najmenshih kvadrativ mozhna zastosuvati u bud yakih zadachah v yakih rang matrici X displaystyle X rivnij kilkosti yiyi stovpciv Takozh cej metod daye prostij analitichnij viraz dlya ocinki parametriv b X X 1X y displaystyle hat beta X X 1 X y U vipadku klasichnoyi modeli linijnoyi regresiyi ocinka metodu najmenshih kvadrativ ye nezmishenoyu zmistovnoyu i najkrashoyu linijnoyu nezmishenoyu ocinkoyu detalnishe pro ci statistichni vlastivosti u statti metod najmenshih kvadrativ U vipadku koli deyaki z umov klasichnoyi linijnoyi regresiyi ne vikonuyutsya metod najmenshih kvadrativ mozhe ne buti optimalnim Tak dlya uzagalnenoyi modeli linijnoyi regresiyi de V u X s2W displaystyle mathbb V u X sigma 2 W najkrashoyu linijnoyu nezmishenoyu ocinkoyu ye ocinka sho oderzhuyetsya tak zvanim uzagalnenim metodom najmenshih kvadrativ b XTW 1X 1XTW 1y displaystyle hat beta X T W 1 X 1 X T W 1 y Uzagalnenij metod najmenshih kvadrativ tezh oderzhuyetsya minimizaciyeyu deyakoyi normi vektora vidhilen b argminb y Xb TW 1 y Xb displaystyle hat beta underset beta operatorname arg min y X beta T W 1 y X beta Sered inshih metodiv ocinyuvannya Metod najmenshih moduliv sho znahodit minimum sumi ne kvadrativ vidhilen a yih absolyutnih znachen b argminb i 1n yi b0 j 1KXijbj displaystyle hat beta underset beta operatorname arg min sum i 1 n left y i beta 0 sum j 1 K X ij beta j right Cej metod ye najkrashim v sensi maksimalnoyi pravdopodibnosti u vipadku koli vidhilennya mayut rozpodil Laplasa Metod najmenshih moduliv ye znachno mensh chutlivim do vikidiv znachen nizh metod najmenshih kvadrativ prote mozhe mati bilsh nizh odin rozv yazok i ne maye prostoyi formuli viznachennya ocinki Metod maksimalnoyi pravdopodibnosti Vikoristovuyetsya koli vidomi vsi rozpodili vidhilen dlya vsih sposterezhen Pri klasichnij i uzagalnenij modelyah linijnoyi regresiyi z umovoyu normalnosti vidhilen privodit do togo zh rezultatu sho i metod najmenshih kvadrativ i uzagalnenij metod najmenshih kvadrativ vidpovidno Ortogonalna regresiya Zastosovuyetsya u vipadkah koli v znachennya poyasnyuyuchih zminnih tezh mozhut mistiti vipadkovi skladovi i pri ocinci vrahovuyutsya mozhlivi vidhilennya po vsih zminnih Div takozhRegresijnij analiz Metod najmenshih kvadrativDzherelaKartashov M V Imovirnist procesi statistika Kiyiv VPC Kiyivskij universitet 2007 504 s Gihman I I Skorohod A V Yadrenko M V Teoriya veroyatnostej i matematicheskaya statistika Kiyiv Visha shkola 1988 436 s ros Ajvazyan S A Mhitaryan V S Prikladnaya statistika i osnovy ekonometriki Uchebnik dlya vuzov M YuNITI 1998 1022 s S R Rao Linejnye statisticheskie metody i ih primeneniya Per s angl M Nauka 1968 Rao C Radhakrishna Toutenburg Shalabh Heumann 2008 Linear Models and Generalizations 3rd ed Berlin Springer ISBN 978 3 540 74226 5