Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.
Мотиваційний приклад
Нехай в результаті деякого досліду отримано чотири точки даних: і (на малюнку ліворуч позначені червоним). Потрібно знайти пряму , яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа і , які приблизно розв'язують надвизначену лінійну систему
чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.
Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції
Мінімум визначають через обчислення часткової похідної від щодо і і прирівнюванням їх до нуля
Це приводить нас до системи з двох рівнянь і двох невідомих, які називаються нормальними рівняннями. Роз'язком СЛАР будуть
- ,
звідки отримуємо , що є рівнянням прямої, яка проходить найближче до поданих чотирьох точок. Мінімальна сума квадратів похибок є
Використання квадратичної моделі
Важливо, що у методі лінійних найменших квадратів ми не обмежені використанням прямої як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель . Ця модель все ще лінійна в сенсі параметру , отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:
Часткові похідні щодо параметрів (цього разу лише одного) так само обчислюються і прирівнюються до 0:
Розв'язок отриманого рівняння:
що призводить до визначення найбільш підходящої моделі
Лінійний випадок
Одна незалежна змінна
Нехай маємо лінійну регресію зі скалярною змінною x:
а також вибірку початкових даних розміру M. Тоді
Множинна регресія (випадок багатьох незалежних змінних)
Для надлишково-визначеної системи m лінійних рівнянь з n невідомими
чи в матричній формі запису:
зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:
Такий розв'язок завжди існує і він є єдиним:
хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.
Виведення формули
Значення досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:
де використано позначення
Також виконуються рівності:
Підставляючи вирази для залишків і їх похідних одержимо рівність:
Дану рівність можна звести до вигляду:
або в матричній формі:
Числові методи для обчислення розв'язку
Якщо матриця є невиродженою та додатноозначеною, тобто має повний ранг, тоді система може бути розв'язана за допомогою розкладу Холецького , де — верхня трикутна матриця.
Розв'язок отримаємо в два кроки:
- Отримаємо з рівняння
- Підставимо і отримаємо з
В обох випадках використовуються властивості трикутної матриці.
Статистичні властивості
Одним із найважливіших застосувань лінійного МНК є оцінка параметрів лінійної регресії. Для заданого набору даних будується модель:
або в матричній формі:
де:
В цих формулах — вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а — вектор випадкових змінних.
У класичній моделі множинної лінійної регресії приймаються такі умови:
- тобто випадкові змінні є гомоскедастичними і між ними відсутня будь-яка залежність.
- Ранг матриці X рівний p + 1, тобто між пояснюючими змінними відсутня лінійна залежність.
Для такої моделі оцінка одержана методом найменших квадратів володіє властивостями:
- Незміщеність. Оцінка є незміщеною, тобто Справді:
- Коваріаційна матриця оцінки рівна:
- Це випливає з того, що і
-
- Ефективність. Згідно з оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
- Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці до безмежності при збільшенні розміру вибірки.
- Якщо додатково припустити нормальність змінних то оцінка МНК має розподіл:
В математичному моделюванні
Нехай ми маємо вибірку початкових даних . Функція — невідома.
Якщо ми знаємо приблизний вигляд функції , то задамо її у вигляді функціоналу , де — невідомі константи.
Нам потрібно мінімізувати відмінності між та . Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках і її мінімізують (тому метод так і називається):
Коефіцієнти в яких така міра мінімальна знаходять з системи:
Примітки
- Повне квадратне рівняння у загальному випадку має три ненульові коефіцієнти і має вигляд
Див. також
Джерела
- Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
- Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
- Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
- Метод найменших квадратів // Вища математика в прикладах і задачах / Клепко В.Ю., Голець В.Л.. — 2-ге видання. — К. : Центр учбової літератури, 2009. — С. 358. — 594 с.
- Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
- Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. — 432 с.
- Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. .
- Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall
В іншому мовному розділі є повніша стаття Least squares(англ.). Ви можете допомогти, розширивши поточну статтю за допомогою з англійської.
|
Це незавершена стаття зі статистики. Ви можете проєкту, виправивши або дописавши її. |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Metod najmenshih kvadrativ metod znahodzhennya nablizhenogo rozv yazku nadlishkovo viznachenoyi sistemi Chasto zastosovuyetsya v regresijnomu analizi Na praktici najchastishe vikoristovuyetsya linijnij metod najmenshih kvadrativ sho vikoristovuyetsya u vipadku sistemi linijnih rivnyan Zokrema vazhlivim zastosuvannyam u comu vipadku ye ocinka parametriv u linijnij regresiyi sho shiroko zastosovuyetsya u matematichnij statistici i ekonometrici Motivacijnij prikladGrafik tochok danih chervonim liniya najmenshih kvadrativ sinim i vidstani zelenim Nehaj v rezultati deyakogo doslidu otrimano chotiri x y displaystyle x y tochki danih 1 6 displaystyle 1 6 2 5 displaystyle 2 5 3 7 displaystyle 3 7 i 4 10 displaystyle 4 10 na malyunku livoruch poznacheni chervonim Potribno znajti pryamu y b1 b2x displaystyle y beta 1 beta 2 x yaka najkrashe pidhodit dlya cih tochok Inakshe kazhuchi mi hotili b znajti chisla b1 displaystyle beta 1 i b2 displaystyle beta 2 yaki priblizno rozv yazuyut nadviznachenu linijnu sistemu b1 1b2 6b1 2b2 5b1 3b2 7b1 4b2 10 displaystyle begin alignedat 3 beta 1 1 beta 2 amp amp amp amp 6 amp beta 1 2 beta 2 amp amp amp amp 5 amp beta 1 3 beta 2 amp amp amp amp 7 amp beta 1 4 beta 2 amp amp amp amp 10 amp end alignedat chotiroh rivnyan z dvoma nevidomimi v deyakomu najkrashomu sensi Pidhid najmenshih kvadrativ rozv yazannya ciyeyi problemi polyagaye u sprobi zrobiti yakomoga menshoyu sumu kvadrativ pohibok mizh pravoyu i livoyu storonami ciyeyi sistemi tobto neobhidno znajti minimum funkciyi S b1 b2 6 b1 1b2 2 5 b1 2b2 2 7 b1 3b2 2 10 b1 4b2 2 displaystyle begin aligned S beta 1 beta 2 amp left 6 beta 1 1 beta 2 right 2 left 5 beta 1 2 beta 2 right 2 amp left 7 beta 1 3 beta 2 right 2 left 10 beta 1 4 beta 2 right 2 end aligned Minimum viznachayut cherez obchislennya chastkovoyi pohidnoyi vid S b1 b2 displaystyle S beta 1 beta 2 shodo b1 displaystyle beta 1 i b2 displaystyle beta 2 i pririvnyuvannyam yih do nulya S b1 0 8b1 20b2 56 displaystyle frac partial S partial beta 1 0 8 beta 1 20 beta 2 56 S b2 0 20b1 60b2 154 displaystyle frac partial S partial beta 2 0 20 beta 1 60 beta 2 154 Ce privodit nas do sistemi z dvoh rivnyan i dvoh nevidomih yaki nazivayutsya normalnimi rivnyannyami Roz yazkom SLAR budut b1 3 5 displaystyle beta 1 3 5 b2 1 4 displaystyle beta 2 1 4 zvidki otrimuyemo y 3 5 1 4x displaystyle y 3 5 1 4x sho ye rivnyannyam pryamoyi yaka prohodit najblizhche do podanih chotiroh tochok Minimalna suma kvadrativ pohibok ye S 3 5 1 4 1 12 1 3 2 0 7 2 0 92 4 2 displaystyle S 3 5 1 4 1 1 2 1 3 2 0 7 2 0 9 2 4 2 Rezultat pidgonki sukupnosti sposterezhen xi yi displaystyle x i y i chervonim kvadratichnoyu funkciyeyu y b1 b2x b3x2 displaystyle y beta 1 beta 2 x beta 3 x 2 sinim U linijnih najmenshih kvadratah funkciya ne povinna buti linijnoyu u svoyemu argumenti x displaystyle x a lishe shodo svoyih parametriv bj displaystyle beta j yaki treba viznachiti dlya otrimannya najkrashogo rezultatuVikoristannya kvadratichnoyi modeli Vazhlivo sho u metodi linijnih najmenshih kvadrativ mi ne obmezheni vikoristannyam pryamoyi yak modeli yak u poperednomu prikladi Napriklad mi mogli vibrati obmezhenu kvadratichnu model y b1x2 displaystyle y beta 1 x 2 Cya model vse she linijna v sensi parametru b1 displaystyle beta 1 otzhe mi vse she mozhemo zdijsnyuvati toj samij analiz buduyuchi sistemu rivnyan z tochok danih 6 b1 1 25 b1 2 27 b1 3 210 b1 4 2 displaystyle begin alignedat 2 6 amp amp beta 1 1 2 5 amp amp beta 1 2 2 7 amp amp beta 1 3 2 10 amp amp beta 1 4 2 end alignedat Chastkovi pohidni shodo parametriv cogo razu lishe odnogo tak samo obchislyuyutsya i pririvnyuyutsya do 0 S b1 0 708b1 498 displaystyle frac partial S partial beta 1 0 708 beta 1 498 Rozv yazok otrimanogo rivnyannya b1 0 703 displaystyle beta 1 0 703 sho prizvodit do viznachennya najbilsh pidhodyashoyi modeli y 0 703x2 displaystyle y 0 703x 2 Linijnij vipadokOdna nezalezhna zminna Nehaj mayemo linijnu regresiyu zi skalyarnoyu zminnoyu x y xb1 b0 displaystyle y x beta 1 beta 0 a takozh vibirku pochatkovih danih yi xi displaystyle y i x i rozmiru M Todi b0 1M iyi b1M ixi b1 M ixiyi ixi iyiM ixi2 ixi 2 displaystyle beta 0 frac 1 M sum i y i frac beta 1 M sum i x i beta 1 frac M sum i x i y i sum i x i sum i y i M sum i x i 2 sum i x i 2 Mnozhinna regresiya vipadok bagatoh nezalezhnih zminnih Dlya nadlishkovo viznachenoyi sistemi m linijnih rivnyan z n nevidomimi bj m gt n displaystyle beta j quad m gt n j 1nXijbj yi i 1 m j 1 n displaystyle sum j 1 n X ij beta j y i quad i overline 1 m quad j overline 1 n chi v matrichnij formi zapisu Xb y displaystyle X boldsymbol beta mathbf y zazvichaj ne isnuye tochnogo rozv yazku i potribno znajti taki b yaki minimizuyut nastupnu normu argminb i 1m yi j 1nXijbj 2 argminb y Xb 2 displaystyle underset boldsymbol beta operatorname arg min sum i 1 m left y i sum j 1 n X ij beta j right 2 underset boldsymbol beta operatorname arg min big mathbf y X boldsymbol beta big 2 Takij rozv yazok zavzhdi isnuye i vin ye yedinim b X X 1X y displaystyle hat boldsymbol beta X top X 1 X top mathbf y hoch dana formula ne ye efektivnoyu cherez neobhidnist znahoditi obernenu matricyu Vivedennya formuli Znachennya S i 1m yi j 1nXijbj 2 displaystyle S sum i 1 m left y i sum j 1 n X ij beta j right 2 dosyagaye minimumu v tochci v yakij pohidna po kozhnomu parametru rivna nulyu Obchislyuyuchi ci pohidni oderzhimo S bj 2 iri ri bj 0 j 1 2 n displaystyle frac partial S partial beta j 2 sum i r i frac partial r i partial beta j 0 j 1 2 dots n de vikoristano poznachennya ri yi j 1nXijbj displaystyle r i y i sum j 1 n X ij beta j Takozh vikonuyutsya rivnosti ri bj Xij displaystyle frac partial r i partial beta j X ij Pidstavlyayuchi virazi dlya zalishkiv i yih pohidnih oderzhimo rivnist S bj 2 i 1mXij yi k 1nXikbk 0 displaystyle frac partial S partial beta j 2 sum i 1 m X ij left y i sum k 1 n X ik beta k right 0 Danu rivnist mozhna zvesti do viglyadu i 1m k 1nXijXikb k i 1mXijyi j 1 2 n displaystyle sum i 1 m sum k 1 n X ij X ik hat beta k sum i 1 m X ij y i j 1 2 dots n abo v matrichnij formi X X b X y displaystyle mathbf X top mathbf X hat boldsymbol beta mathbf X top mathbf y Chislovi metodi dlya obchislennya rozv yazku Yaksho matricya X X displaystyle X top X ye nevirodzhenoyu ta dodatnooznachenoyu tobto maye povnij rang todi sistema mozhe buti rozv yazana za dopomogoyu rozkladu Holeckogo X X R R displaystyle X top X R top R de R displaystyle R verhnya trikutna matricya R Rb X y displaystyle R top R hat boldsymbol beta X top mathbf y Rozv yazok otrimayemo v dva kroki Otrimayemo z displaystyle mathbf z z rivnyannya R z X y displaystyle R top mathbf z X top mathbf y Pidstavimo i otrimayemo b displaystyle hat boldsymbol beta z Rb z displaystyle R hat boldsymbol beta mathbf z V oboh vipadkah vikoristovuyutsya vlastivosti trikutnoyi matrici Statistichni vlastivosti Odnim iz najvazhlivishih zastosuvan linijnogo MNK ye ocinka parametriv linijnoyi regresiyi Dlya zadanogo naboru danih yi xi1 xip i 1n displaystyle y i x i1 ldots x ip i 1 n buduyetsya model yi b0b1xi1 bpxip ei xi b ei i 1 n displaystyle y i beta 0 beta 1 x i1 cdots beta p x ip varepsilon i x i beta varepsilon i qquad i 1 ldots n abo v matrichnij formi y Xb e displaystyle y X beta varepsilon de y y1y2 yn X x1 x2 xn x11 x1px21 x2p xn1 xnp b b1 bp e e1e2 en displaystyle y begin pmatrix y 1 y 2 vdots y n end pmatrix quad X begin pmatrix x 1 x 2 vdots x n end pmatrix begin pmatrix x 11 amp cdots amp x 1p x 21 amp cdots amp x 2p vdots amp ddots amp vdots x n1 amp cdots amp x np end pmatrix quad beta begin pmatrix beta 1 vdots beta p end pmatrix quad varepsilon begin pmatrix varepsilon 1 varepsilon 2 vdots varepsilon n end pmatrix V cih formulah b displaystyle beta vektor parametriv yaki ocinyuyutsya napriklad za dopomogoyu metodu najmenshih kvadrativ a e displaystyle varepsilon vektor vipadkovih zminnih U klasichnij modeli mnozhinnoyi linijnoyi regresiyi prijmayutsya taki umovi yi b0b1xi1 bpxip ei xi b ei i 1 n displaystyle y i beta 0 beta 1 x i1 cdots beta p x ip varepsilon i x i beta varepsilon i qquad i 1 ldots n E ei 0 displaystyle operatorname E varepsilon i 0 E eiej s2i j0i j displaystyle operatorname E varepsilon i varepsilon j begin cases sigma 2 amp i j 0 amp i neq j end cases tobto vipadkovi zminni ye gomoskedastichnimi i mizh nimi vidsutnya bud yaka zalezhnist Rang matrici X rivnij p 1 tobto mizh poyasnyuyuchimi zminnimi vidsutnya linijna zalezhnist Dlya takoyi modeli ocinka b displaystyle hat boldsymbol beta oderzhana metodom najmenshih kvadrativ volodiye vlastivostyami Nezmishenist Ocinka b displaystyle hat boldsymbol beta ye nezmishenoyu tobto E b X b displaystyle operatorname E hat beta X beta Spravdi E b E X X 1X Xb e b E X X 1X e b X X 1X E e b displaystyle operatorname E hat beta operatorname E Big X top X 1 X top X beta varepsilon Big beta operatorname E Big X top X 1 X top varepsilon Big beta X top X 1 X top operatorname E varepsilon beta Kovariacijna matricya ocinki b displaystyle hat boldsymbol beta rivna Var b s2 X X 1 displaystyle operatorname Var hat beta sigma 2 X top X 1 Ce viplivaye z togo sho Var Y Var e displaystyle operatorname Var Y operatorname Var varepsilon i E b Var X X 1X Y X X 1X Var Y X X X 1 displaystyle operatorname E hat beta operatorname Var X top X 1 X top Y X top X 1 X top operatorname Var Y X X top X 1 s2 X X 1 X X X X 1 s2 X X 1 displaystyle sigma 2 X top X 1 X top X X top X 1 sigma 2 X top X 1 dd dd Efektivnist Zgidno z ocinka sho oderzhana MNK ye najkrashoyu linijnoyu nezmishenoyu ocinkoyu Zmistovnist Pri dovoli slabkih obmezhennyah na matricyu X metod najmenshih kvadrativ ye zmistovnim tobto pri zbilshenni rozmiru vibirki ocinka za imovirnistyu pryamuye do tochnogo znachennya parametru Odniyeyu z dostatnih umov ye napriklad pryamuvannya najmenshogo vlasnogo znachennya matrici X X displaystyle X top X do bezmezhnosti pri zbilshenni rozmiru vibirki Yaksho dodatkovo pripustiti normalnist zminnih e displaystyle varepsilon to ocinka MNK maye rozpodil b N b s2 X X 1 displaystyle hat beta sim mathcal N big beta sigma 2 X top X 1 big V matematichnomu modelyuvanniNehaj mi mayemo vibirku pochatkovih danih f xi yi i 1 n displaystyle f x i y i i overline 1 n Funkciya f displaystyle f nevidoma Yaksho mi znayemo pribliznij viglyad funkciyi f x displaystyle f x to zadamo yiyi u viglyadi funkcionalu F xi a0 am yi displaystyle F x i a 0 ldots a m approx y i de a0 am displaystyle a 0 ldots a m nevidomi konstanti Nam potribno minimizuvati vidminnosti mizh F displaystyle F ta f displaystyle f Dlya cogo berut za miru sumu kvadrativ riznic znachen cih funkcij u vsih tochkah xi displaystyle x i i yiyi minimizuyut tomu metod tak i nazivayetsya I a0 am i 0n yi F xi a0 am 2 min displaystyle I a 0 ldots a m sum i 0 n y i F x i a 0 ldots a m 2 to min Koeficiyenti aj displaystyle a j v yakih taka mira minimalna znahodyat z sistemi I a0 am a0 0 I a0 am am 0 displaystyle begin cases displaystyle frac partial I a 0 ldots a m partial a 0 0 ldots displaystyle frac partial I a 0 ldots a m partial a m 0 end cases PrimitkiPovne kvadratne rivnyannya u zagalnomu vipadku maye tri nenulovi koeficiyenti i maye viglyad y b1x2 b2x b3 displaystyle y beta 1 x 2 beta 2 x beta 3 Div takozhVidstan Kuka Test Brojsha Pagana Metod instrumentalnih zminnihDzherelaKartashov M V Imovirnist procesi statistika Kiyiv VPC Kiyivskij universitet 2007 504 s Gnedenko B V Kurs teorii veroyatnostej 6 e izd Moskva Nauka 1988 446 s ros Gihman I I Skorohod A V Yadrenko M V Teoriya veroyatnostej i matematicheskaya statistika Kiyiv Visha shkola 1988 436 s ros Metod najmenshih kvadrativ Visha matematika v prikladah i zadachah Klepko V Yu Golec V L 2 ge vidannya K Centr uchbovoyi literaturi 2009 S 358 594 s Louson Ch Henson R Chislennoe reshenie zadach metodom naimenshih kvadratov M Nauka 1986 Prikladnaya statistika Osnovy ekonometriki Uchebnik dlya vuzov V 2 t 2 e izd ispr T 2 Ajvazyan S A Osnovy ekonometriki M YuNITI DANA 2001 432 s ISBN 5 238 00305 6 Bjorck Ake 1996 Numerical methods for least squares problems Philadelphia SIAM ISBN 0 89871 360 9 Greene William H 2002 Econometric analysis 5th ed New Jersey Prentice HallV inshomu movnomu rozdili ye povnisha stattya Least squares angl Vi mozhete dopomogti rozshirivshi potochnu stattyu za dopomogoyu perekladu z anglijskoyi Divitis avtoperekladenu versiyu statti z movi anglijska Perekladach povinen rozumiti sho vidpovidalnist za kincevij vmist statti u Vikipediyi nese same avtor redaguvan Onlajn pereklad nadayetsya lishe yak korisnij instrument pereglyadu vmistu zrozumiloyu movoyu Ne vikoristovujte nevichitanij i nevidkorigovanij mashinnij pereklad u stattyah ukrayinskoyi Vikipediyi Mashinnij pereklad Google ye korisnoyu vidpravnoyu tochkoyu dlya perekladu ale perekladacham neobhidno vipravlyati pomilki ta pidtverdzhuvati tochnist perekladu a ne prosto skopiyuvati mashinnij pereklad do ukrayinskoyi Vikipediyi Ne perekladajte tekst yakij vidayetsya nedostovirnim abo neyakisnim Yaksho mozhlivo perevirte tekst za posilannyami podanimi v inshomovnij statti Dokladni rekomendaciyi div Vikipediya Pereklad Ce nezavershena stattya zi statistiki Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi