Ма́рковський проце́с — це випадковий процес у якому ймовірність його конкретних значень у будь-який момент за умови відомих значень у попередні моменти залежить тільки від значення у найближчий (останній) момент . Іншими словами, «майбутнє» процесу залежить лише від останнього відомого стану, і не залежить від більш ранніх.
Історія
Властивість, яка характеризує процес як марковський, називають марковською або властивістю Маркова. Вперше цю властивість сформулював російський математик Марков А. А., який 1907 року започаткував дослідження послідовностей залежних випробувань і пов'язаних із ними сум випадкових величин. Цей напрямок досліджень відомий зараз як теорія ланцюгів Маркова.
Вже в роботі є спроба трактувати броунівський рух як марковський процес, що отримало обґрунтування після досліджень Вінера 1923 року.
Вступ
Марківський процес є стохастичною моделлю, що має властивість Маркова. Він може бути використаний для моделювання випадкової системи, що змінює стан відповідно до правила переходу, що залежить від поточного стану. Ця стаття описує процес Маркова в дуже загальному значенні. Наступна таблиця дає огляд різних випадках марковських процесів для різних рівнів просторових станів та дискретного часу проти безперервного часу.
кінцевий простір | безперервний або загальний стан | |
---|---|---|
Дискретний час | Ланцюг Маркова з кінцевим простором станів | Ланцюг Харісса (ланцюг Маркова на загальному просторі станів) |
Безперервний час | Процесу Маркова із безперервним часом | Будь-який безперервний стохастичний процес з марківською властивістю, наприклад процес Вінера) |
Марківські процеси виникають в теорії ймовірності та статистики в один з двох способів. Може бути доведено, що стохастичний процес має властивість Маркова, і, як наслідок, має властивості, виведені з цього для всіх процесів Маркова. З іншого боку, при моделюванні процесу можна припустити, що процес є Марківським, і прийняти це як основу для його побудови. В задачах моделювання властивість Маркова вважається одним з небагатьох простих способів введення статистичної залежності в модель стохастичного процесу.
Марковська властивість
Нехай — імовірнісний простір з фільтрацією по деякій (частково впорядкованій) множинні ; і нехай — вимірний простір. Вважається, що випадковий процес , заданий на ймовірністному просторі, задовольняє марковській властивості, якщо для кожного та , .
Марковський процес — це випадковий процес, що задовольняє марковській властивості з природною фільтрацією.
Ланцюги Маркова (процеси з дискретним часом): У випадку, коли є дискретною множиною $T=N$, визначення може бути переформульовано:
Приклад марковського процесу
Розглянемо простий приклад марковського випадкового процесу. По осі абсцис випадковим чином переміщується точка. У початковий момент точка знаходиться на початку координат, , і залишається там протягом однієї секунди. Через секунду кидається монета — якщо випав герб, то точка переміщається на одиницю довжини вправо, якщо решка — вліво. Через секунду знову кидається монета і проводиться таке ж випадкове переміщення, і так далі. Процес зміни положення точки («блукання») являє собою випадковий процес з дискретним часом і зліченною множиною станів. Такий випадковий процес називається марковським, оскільки наступний стан точки залежить тільки від її поточного стану і не залежить від минулих станів (неважливо, яким шляхом і за який час точка потрапила в поточну координату).
Марківське уявлення
У деяких випадках, очевидно, немарковскі процеси можуть набувати марковского виду за будовою за рахунок розширення концепції «поточного» і «майбутнього» станів. Наприклад, нехай є немарковским процесом. Визначимо процес (при цьому кожен стан являє собою інтервал часу станів ) як: .
Якщо процес має властивість Маркова, то він є марковським уявленням процесу .
Основи загальної теорії марковських процесів із неперервним часом було закладено у працях А. Колмогорова.
Джерела
- Гихман И. И., Скороход А. В. Введение в теорию случайных процессов. — 2-е. — Москва : Наука, 1977. — 567 с.(рос.)
- Феллер В. Введение в теорию вероятностей и ее приложения. — 3-е. — М. : Мир, 1984. — Т. 1. — С. 528.(рос.)
- Баруча-Рид А. Т. Элементы теории марковских процессов и их приложения. — М. : Наука, 1969. — 512 с.
- Гардинер К. В. Стохастические методы в естественных науках. — М. : Мир, 1986. — 528 с.
- ван Кампен Н. Г. Стохастические процессы в физике и химии. — М. : Высшая школа, 1990. — 376 с.
Див. також
Посилання
- Марковський процес на MathWorld [ 11 березня 2007 у Wayback Machine.](англ.)
Це незавершена стаття з математики. Ви можете проєкту, виправивши або дописавши її. |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Ma rkovskij proce s ce vipadkovij proces u yakomu jmovirnist jogo konkretnih znachen u bud yakij moment t0 displaystyle t 0 za umovi vidomih znachen u poperedni momenti lt t 3 lt t 2 lt t 1 displaystyle lt t 3 lt t 2 lt t 1 zalezhit tilki vid znachennya u najblizhchij ostannij moment t 1 displaystyle t 1 Inshimi slovami majbutnye procesu zalezhit lishe vid ostannogo vidomogo stanu i ne zalezhit vid bilsh rannih IstoriyaVlastivist yaka harakterizuye proces yak markovskij nazivayut markovskoyu abo vlastivistyu Markova Vpershe cyu vlastivist sformulyuvav rosijskij matematik Markov A A yakij 1907 roku zapochatkuvav doslidzhennya poslidovnostej zalezhnih viprobuvan i pov yazanih iz nimi sum vipadkovih velichin Cej napryamok doslidzhen vidomij zaraz yak teoriya lancyugiv Markova Vzhe v roboti ye sproba traktuvati brounivskij ruh yak markovskij proces sho otrimalo obgruntuvannya pislya doslidzhen Vinera 1923 roku VstupMarkivskij proces ye stohastichnoyu modellyu sho maye vlastivist Markova Vin mozhe buti vikoristanij dlya modelyuvannya vipadkovoyi sistemi sho zminyuye stan vidpovidno do pravila perehodu sho zalezhit vid potochnogo stanu Cya stattya opisuye proces Markova v duzhe zagalnomu znachenni Nastupna tablicya daye oglyad riznih vipadkah markovskih procesiv dlya riznih rivniv prostorovih staniv ta diskretnogo chasu proti bezperervnogo chasu kincevij prostir bezperervnij abo zagalnij stanDiskretnij chas Lancyug Markova z kincevim prostorom staniv Lancyug Harissa lancyug Markova na zagalnomu prostori staniv Bezperervnij chas Procesu Markova iz bezperervnim chasom Bud yakij bezperervnij stohastichnij proces z markivskoyu vlastivistyu napriklad proces Vinera Markivski procesi vinikayut v teoriyi jmovirnosti ta statistiki v odin z dvoh sposobiv Mozhe buti dovedeno sho stohastichnij proces maye vlastivist Markova i yak naslidok maye vlastivosti vivedeni z cogo dlya vsih procesiv Markova Z inshogo boku pri modelyuvanni procesu mozhna pripustiti sho proces ye Markivskim i prijnyati ce yak osnovu dlya jogo pobudovi V zadachah modelyuvannya vlastivist Markova vvazhayetsya odnim z nebagatoh prostih sposobiv vvedennya statistichnoyi zalezhnosti v model stohastichnogo procesu Markovska vlastivistNehaj W F P displaystyle Omega F P imovirnisnij prostir z filtraciyeyu Ft t T displaystyle F t t in T po deyakij chastkovo vporyadkovanij mnozhinni T displaystyle T i nehaj S S displaystyle S mathbf S vimirnij prostir Vvazhayetsya sho vipadkovij proces X Xt t T displaystyle X X t t in T zadanij na jmovirnistnomu prostori zadovolnyaye markovskij vlastivosti yaksho dlya kozhnogo A S displaystyle A in mathbf S ta s t T s lt t displaystyle s t in T s lt t P Xt A Fs P Xt A Xs displaystyle P X t in A F s P X t in A X s Markovskij proces ce vipadkovij proces sho zadovolnyaye markovskij vlastivosti z prirodnoyu filtraciyeyu Lancyugi Markova procesi z diskretnim chasom U vipadku koli S displaystyle S ye diskretnoyu mnozhinoyu T N viznachennya mozhe buti pereformulovano P Xn xn Xn 1 xn 1 X0 x0 P Xn xn Xn 1 xn 1 displaystyle P X n x n mid X n 1 x n 1 dots X 0 x 0 P X n x n mid X n 1 x n 1 Priklad markovskogo procesuRozglyanemo prostij priklad markovskogo vipadkovogo procesu Po osi abscis vipadkovim chinom peremishuyetsya tochka U pochatkovij moment t 0 displaystyle t 0 tochka znahoditsya na pochatku koordinat X 0 displaystyle X 0 i zalishayetsya tam protyagom odniyeyi sekundi Cherez sekundu kidayetsya moneta yaksho vipav gerb to tochka X displaystyle X peremishayetsya na odinicyu dovzhini vpravo yaksho reshka vlivo Cherez sekundu znovu kidayetsya moneta i provoditsya take zh vipadkove peremishennya i tak dali Proces zmini polozhennya tochki blukannya yavlyaye soboyu vipadkovij proces z diskretnim chasom t 0 1 2 displaystyle t 0 1 2 i zlichennoyu mnozhinoyu staniv Takij vipadkovij proces nazivayetsya markovskim oskilki nastupnij stan tochki zalezhit tilki vid yiyi potochnogo stanu i ne zalezhit vid minulih staniv nevazhlivo yakim shlyahom i za yakij chas tochka potrapila v potochnu koordinatu Markivske uyavlennyaU deyakih vipadkah ochevidno nemarkovski procesi mozhut nabuvati markovskogo vidu za budovoyu za rahunok rozshirennya koncepciyi potochnogo i majbutnogo staniv Napriklad nehaj X displaystyle X ye nemarkovskim procesom Viznachimo proces Y displaystyle Y pri comu kozhen stan Y displaystyle Y yavlyaye soboyu interval chasu staniv X displaystyle X yak Y t X s s a t b t displaystyle Y t X s s in a t b t Yaksho proces Y displaystyle Y maye vlastivist Markova to vin ye markovskim uyavlennyam procesu X displaystyle X Osnovi zagalnoyi teoriyi markovskih procesiv iz neperervnim chasom bulo zakladeno u pracyah A Kolmogorova DzherelaGihman I I Skorohod A V Vvedenie v teoriyu sluchajnyh processov 2 e Moskva Nauka 1977 567 s ros Feller V Vvedenie v teoriyu veroyatnostej i ee prilozheniya 3 e M Mir 1984 T 1 S 528 ros Barucha Rid A T Elementy teorii markovskih processov i ih prilozheniya M Nauka 1969 512 s Gardiner K V Stohasticheskie metody v estestvennyh naukah M Mir 1986 528 s van Kampen N G Stohasticheskie processy v fizike i himii M Vysshaya shkola 1990 376 s Div takozhLancyug Markova Markovska vlastivist Markovska merezha Prihovana markovska modelPosilannyaMarkovskij proces na MathWorld 11 bereznya 2007 u Wayback Machine angl Ce nezavershena stattya z matematiki Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi